8장 문장생성 관련하여 문의 드립니다. about nlpbook HOT 1 CLOSED

from transformers import GPT2LMHeadModel
model = GPT2LMHeadModel.from_pretrained(
    "skt/kogpt2-base-v2",
)
model.eval()

from transformers import PreTrainedTokenizerFast
tokenizer = PreTrainedTokenizerFast.from_pretrained(
    "skt/kogpt2-base-v2",
    eos_token="</s>",
)

inputs = tokenizer(["안녕하세요", "반갑습니다"], return_tensors="pt") # 이 부분에 배치로 인퍼런스할 문장을 리스트로 입력
generated_ids = model.generate(
        inputs['input_ids'],
        do_sample=True,
        min_length=10,
        max_length=50,
        repetition_penalty=1.5,
        no_repeat_ngram_size=3,
        temperature=0.9,
        top_k=50,
        top_p=0.92,
)

for instance in generated_ids:
  print(tokenizer.decode([el.item() for el in instance]) + "\n\n")