skywalker023 / pragmatic-consistency Goto Github PK

안녕하세요

Blender 90M 모델에 대해 정량적 실험 결과가 논문에 기재된 결과와 유사하게 잘 복원되는지를 확인하는 도중에 한 가지 질문이 생겼습니다.

논문에 기재된 0.85 (Blender S0 에 해당) C-score 와 달리, 제가 직접 실행해보니 C-score 가 음수 값이 산출되고 있습니다. 실험에 사용한 데이터셋은 convai2:normalized valid dataset 에 대해 정량적 점수를 구하고 있습니다. (다른 ppl, f1 값은 유사하게 산출되고 있습니다) 모델은 동일하게 zoo:blender/blender_90M/model 을 사용하고 있습니다.

혹시, 제가 놓친 부분이 있거나 잘못한 부분이 있을까요?

감사합니다.

Hi,
One more question. In your experiments, did you use the original or the revised version of PersonaChat? Or both? (I see a both setting in Parlai's doc but not sure what that implies)

Hi! Could you specify what hyperparameters you use when finetuning the Blender model on PersonaChat? (I did not see that specified in your paper). To be more specific, what's the parlai comment you use to finetune the model? We tried the following commend but did not obtain the same results:
parlai train_model -m transformer/generator --delimiter ‘\n’ -t personachat:self_original -bs 4 -mf zoo:blender/blender_90M/model -tblog True -stim 1000 -lr 0.0001

Hello, thank you for the great work. I wander how to interact with the provided checkpoint via CLI? Could you provide a script to do it?