en-de在toy上复现问题 about mrasp HOT 12 OPEN

上面这个版本问题解决了，但是遇到了新的问题，请问我在预处理之后获得的mergerd_data为啥为空呢，我也没有找到对应的vocab.bpe.600；以至于预处理的数据不对，调用fairseq generate导致后面字典和数据维度对不上

from mrasp.

上面这个版本问题解决了，但是遇到了新的问题，请问我在预处理之后获得的mergerd_data为啥为空呢，我也没有找到对应的vocab.bpe.600；以至于预处理的数据不对，调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的，可是现在链接用不了

from mrasp.

您好，请问我直接用您的en-de模型在toy数据形成的二进制文件上跑，出现以下错误是为什么呢？hydra.errors.ConfigCompositionException: Error merging override generation.print_alignment=False

您好，请问我直接用您的en-de模型在toy数据形成的二进制文件上跑，出现以下错误是为什么呢？hydra.errors.ConfigCompositionException: Error merging override generation.print_alignment=False

你好，我也报了这个错，可以告诉我怎么解决么

from mrasp.

您好，我也报了这个错，请问您最后是怎么解决的呢？

from mrasp.

您好，我也报了这个错，请问您最后是怎么解决的呢？

把你现在fairseq删掉，去git上找到最新的release，下载源码重装一下就好了，版本问题

from mrasp.

上面这个版本问题解决了，但是遇到了新的问题，请问我在预处理之后获得的mergerd_data为啥为空呢，我也没有找到对应的vocab.bpe.600；以至于预处理的数据不对，调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的，可是现在链接用不了

您好，我在dataset小节中找到了vocab.bep.32000，请问这个可以替代vocab.bep.600吗

from mrasp.

from mrasp.

from mrasp.

您好，我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】，使用的vocab.bpe.32000代替600，checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt，在执行export CUDA_VISIBLE_DEVICES=1
export EVAL_GPU_INDEX=${eval_gpu_index}
bash ${PROJECT_ROOT}/train/fine-tune.sh ${PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml
时，屏幕打印出如下错误：
Usage: sacremoses tokenize [OPTIONS]
Try 'sacremoses tokenize -h' for help.
Error: No such option: -l
sacreBLEU: System and reference streams have different lengths.
请帮忙看一下，是什么问题

from mrasp.

我也遇到了同样的问题，请问该问题您是否已经解决？

from mrasp.

您好，我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】，使用的vocab.bpe.32000代替600，checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt，在执行export CUDA_VISIBLE_DEVICES=1
export EVAL_GPU_INDEX=${eval_gpu_index}
bash ${PROJECT_ROOT}/train/fine-tune.sh ${PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml
时，屏幕打印出如下错误：
Usage: sacremoses tokenize [OPTIONS]
Try 'sacremoses tokenize -h' for help.
Error: No such option: -l
sacreBLEU: System and reference streams have different lengths.
请帮忙看一下，是什么问题

你好， sacreBLEU: System and reference streams have different lengths.的意思是reference和hypo文件长度不一致，另外sacreBLEU的版本也在更新， 具体的可以查看sacreBLEU的git官网查看使用说明。

from mrasp.

您好，我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】，使用的vocab.bpe.32000代替600，checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt，在执行export CUDA_VISIBLE_DEVICES=1 export EVAL_GPU_INDEX=${eval_gpu_index} bash PROJECTROOT/train/fine−tune.sh{PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml 时，屏幕打印出如下错误： Usage: sacremoses tokenize [OPTIONS] Try 'sacremoses tokenize -h' for help. Error: No such option: -l sacreBLEU: System and reference streams have different lengths. 请帮忙看一下，是什么问题

你好，请问这个问题你是怎么解决的呀？

from mrasp.