raw:

changed:

训练时，发现eval_loss的曲线太奇怪了，后来发现原版的pytorch_transformer把eval_loss的计算放在了
with torch.no_grad 里，于是修改代码为：

with torch.no_grad():
    tmp_eval_loss= model(input_ids=input_ids, token_type_ids=segment_ids, attention_mask=input_mask, labels=label_ids)
    logits = model(input_ids=input_ids, token_type_ids=segment_ids, attention_mask=input_mask)
    eval_loss += tmp_eval_loss.mean().item()

然后就正常了，不知道是不是这个原因？

请问bert输出层截断部分融合怎么处理的，代码体现在哪里，谢谢回复！

/home/ming/anaconda3/lib/python3.7/site-packages/sklearn/metrics/classification.py:1439: UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no true samples.
'recall', 'true', average, warn_for)
test 0.06457949662369551
F1正常，test值低，而且出现这样的报错，寻求许久，未解决，请问这是因为什么？

可以测试对比一下在XLNet_zh_Large上的效果吗？
（目前的XLNet_zh_Large是尝鲜版，如有问题会协助解决）

是的话lstm的输入是bert的输出的第一向量，还是所有的输出呢

跑roberta的时候出现了这个问题，麻烦郭大帮忙看下

哈喽。大佬。
我想运行robera-english，调用了pytorch_transformers中的RobertaForSequenceClassification, RobertaConfig，RobertaTokenizer。
但是会报错，RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling cublasCreate(handle)
这个是什么原因。
好奇，感谢大佬解答。

求解释下一个文章截成k端后怎么输入训练的，没有找到是在哪个地方“分别输入语言模型”的？如果是这样，理论上是不是不管多长的文章都可以通过切成很多端，分别输入处理了，不用截断文章了
BertForSequenceClassification中的forward：
def forward(self, input_ids, token_type_ids=None, attention_mask=None, labels=None,
position_ids=None, head_mask=None):

    flat_input_ids = input_ids.view(-1, input_ids.size(-1))
    flat_position_ids = position_ids.view(-1, position_ids.size(-1)) if position_ids is not None else None
    flat_token_type_ids = token_type_ids.view(-1, token_type_ids.size(-1)) if token_type_ids is not None else None

flat_attention_mask = attention_mask.view(-1, attention_mask.size(-1)) if attention_mask is not None else None
比如k＝2，input_ids中就包含文章划分的两端，通过view又展平了，那输入的长度还是没有变短？和不划分一样？

你好，

请问为什么robert.sh 用的是run_bert.py呢
是因为roberta的模型可以在bert上finetune吗？
另外我尝试用albert的预训练模型在run_bert.py上跑，结果显示torch
size 不匹配， 一个是[21128, 2048]，一个是(21128, 128)

其实知道跑是可以跑的，只是花费的时间问题，因为实在没有这么多计算资源，很多模型都不尝试，直接放弃，kaggle上有 gpu资源，想回头去尝试一下，因此还是想咨询你一下，你这个模型跑完多久？

Roberta-large 与Roberta-mid的差别R只是参数max_seq_length=512, split_num=1，直接修改一下脚本就可以？

在昨天在运行过程中遇到一个坑，就是pytorch的标签不能为负数，不知道是不是这个原因，所以要显式的规定test集的标签？能否直接用没有标签的数据直接预测。（另外，昨天发现，如果下载的是pytorch版本的权重，就不需要进行转换了，直接bash run_roberta.sh 即可。）