shannonai / mrc-for-flat-nested-ner Goto Github PK

ACE05
{
  "bert_frozen": "false",
  "hidden_size": 768,
  "hidden_dropout_prob": 0.2,
  "classifier_sign": "multi_nonlinear",
  "clip_grad": 1,
  "bert_config": {
    "attention_probs_dropout_prob": 0.1,
    "hidden_act": "gelu",
    "hidden_dropout_prob": 0.1,
    "hidden_size": 768,
    "initializer_range": 0.02,
    "intermediate_size": 3072,
    "max_position_embeddings": 512,
    "num_attention_heads": 12,
    "num_hidden_layers": 12,
    "type_vocab_size": 2,
    "vocab_size": 30522
  },
  "config_path": "./config/en_bert_base_uncased.json",
  "data_dir": "./data_preprocess/en_ace05",
  "bert_model": "./uncased_L-12_H-768_A-12",
  "task_name": null,
  "max_seq_length": 150,
  "train_batch_size": 32,
  "dev_batch_size": 32,
  "test_batch_size": 32,
  "checkpoint": 600,
  "learning_rate": 4e-05,
  "num_train_epochs": 40,
  "warmup_proportion": -1.0,
  "local_rank": -1,
  "gradient_accumulation_steps": 1,
  "seed": 2333,
  "export_model": false,
  "output_dir": "./result-05",
  "data_sign": "ace2005",
  "weight_start": 1.0,
  "weight_end": 1.0,
  "weight_span": 1.0,
  "entity_sign": "nested",
  "n_gpu": 2,
  "dropout": 0.2,
  "entity_threshold": 0.5,
  "data_cache": false
}

Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Please notice that merge the args_dict and json_config ... ...
{
  "bert_frozen": "false",
  "hidden_size": 768,
  "hidden_dropout_prob": 0.2,
  "classifier_sign": "multi_nonlinear",
  "clip_grad": 1,
  "bert_config": {
    "attention_probs_dropout_prob": 0.1,
    "directionality": "bidi",
    "hidden_act": "gelu",
    "hidden_dropout_prob": 0.1,
    "hidden_size": 768,
    "initializer_range": 0.02,
    "intermediate_size": 3072,
    "max_position_embeddings": 512,
    "num_attention_heads": 12,
    "num_hidden_layers": 12,
    "pooler_fc_size": 768,
    "pooler_num_attention_heads": 12,
    "pooler_num_fc_layers": 3,
    "pooler_size_per_head": 128,
    "pooler_type": "first_token_transform",
    "type_vocab_size": 2,
    "vocab_size": 21128
  },
  "config_path": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/config/zh_bert.json",
  "data_dir": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_mrc_data/zh_msra_new",
  "bert_model": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_checkpoints/chinese_L-12_H-768_A-12",
  "task_name": null,
  "max_seq_length": 100,
  "train_batch_size": 28,
  "dev_batch_size": 32,
  "test_batch_size": 32,
  "checkpoint": 300,
  "learning_rate": 1e-05,
  "num_train_epochs": 10,
  "warmup_proportion": -1.0,
  "local_rank": -1,
  "gradient_accumulation_steps": 1,
  "seed": 2333,
  "export_model": true,
  "output_dir": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new",
  "data_sign": "zh_msra",
  "weight_start": 1.0,
  "weight_end": 1.0,
  "weight_span": 1.0,
  "entity_sign": "flat",
  "n_gpu": 2,
  "dropout": 0.5,
  "entity_threshold": 0.5,
  "data_cache": false
}
-*--*--*--*--*--*--*--*--*--*-
current data_sign: zh_msra
=*==*==*==*==*==*==*==*==*==*=
loading train data ... ...
125184
125184 train data loaded
=*==*==*==*==*==*==*==*==*==*=
loading dev data ... ...
13908
13908 dev data loaded
=*==*==*==*==*==*==*==*==*==*=
loading test data ... ...
13095
13095 test data loaded
######################################################################
EPOCH:  0
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003709064330905676
............................................................
DEV: loss, acc, precision, recall, f1
0.0093 0.8065 0.3027 0.3457 0.3228
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0121 0.7021 0.3227 0.3498 0.3357
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.017259005457162857
............................................................
DEV: loss, acc, precision, recall, f1
0.0057 0.8323 0.3274 0.3557 0.341
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0078 0.7381 0.3487 0.3592 0.3539
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.008477499708533287
............................................................
DEV: loss, acc, precision, recall, f1
0.005 0.8335 0.3295 0.3484 0.3387
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00913945771753788
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.8559 0.3639 0.3278 0.3449
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_1200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0049 0.7759 0.4154 0.3747 0.394
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.009499709121882915
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.852 0.3597 0.3604 0.36
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_1500.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.004 0.7733 0.4011 0.3875 0.3942
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0031920350156724453
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.8607 0.3918 0.3739 0.3826
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_1800.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0036 0.7785 0.4282 0.403 0.4152
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0036160091403871775
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.8728 0.4586 0.4279 0.4427
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_2100.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0036 0.7945 0.4993 0.4805 0.4897
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.4987242543138564e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.8748 0.4482 0.4158 0.4314
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.018135201185941696
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.8643 0.4061 0.3935 0.3997
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0006583106005564332
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.8799 0.4774 0.4217 0.4478
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_3000.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0029 0.806 0.5064 0.4535 0.4785
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0013783248141407967
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9158 0.6883 0.6256 0.6554
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0029 0.8576 0.6877 0.6292 0.6571
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.477923307102174e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.8626 0.3895 0.3248 0.3542
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001600581599632278
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.8871 0.5343 0.5201 0.5271
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.006113825365900993
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.8901 0.5318 0.5047 0.5179
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  1
current learning rate 9.5e-06
current learning rate 9.5e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00010193065099883825
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9056 0.6209 0.604 0.6124
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0031829369254410267
............................................................
DEV: loss, acc, precision, recall, f1
0.0022 0.9065 0.6214 0.6084 0.6149
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002457249443978071
............................................................
DEV: loss, acc, precision, recall, f1
0.0023 0.9127 0.6468 0.5984 0.6216
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0036396891809999943
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.9118 0.6393 0.6053 0.6218
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.001102091046050191
............................................................
DEV: loss, acc, precision, recall, f1
0.0022 0.899 0.5569 0.552 0.5545
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002639753744006157
............................................................
DEV: loss, acc, precision, recall, f1
0.0021 0.8977 0.5695 0.5385 0.5536
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00040013709804043174
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9202 0.7055 0.6882 0.6967
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_1_2100.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.003 0.8719 0.6716 0.6403 0.6556
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.1349966270208824e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9288 0.7213 0.7066 0.7138
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_1_2400.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0027 0.8769 0.6836 0.6471 0.6649
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003793400712311268
............................................................
DEV: loss, acc, precision, recall, f1
0.0022 0.9263 0.7162 0.7046 0.7104
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.844341649208218e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.9273 0.749 0.6757 0.7104
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0006897203857079148
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.9239 0.6936 0.6416 0.6666
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.337423575227149e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0022 0.9206 0.6974 0.6558 0.6759
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.904028173768893e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9325 0.7243 0.6769 0.6998
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0017087730811908841
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.923 0.6829 0.6641 0.6734
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  2
current learning rate 9.025e-06
current learning rate 9.025e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.572391142370179e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.936 0.7424 0.7424 0.7424
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_2_300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.003 0.9 0.7143 0.6891 0.7015
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0002671282854862511
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.9392 0.7642 0.7404 0.7521
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_2_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0029 0.8993 0.7349 0.6938 0.7138
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00020011379092466086
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.9349 0.7454 0.708 0.7262
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0007080938667058945
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.9443 0.7854 0.7463 0.7654
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_2_1200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0036 0.9039 0.7389 0.6862 0.7116
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004826923832297325
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.943 0.7894 0.8084 0.7988
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_2_1500.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.003 0.911 0.773 0.7501 0.7614
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0013181626563891768
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.945 0.7911 0.7731 0.782
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.680655107833445e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9313 0.7098 0.6936 0.7016
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.5900772016029805e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0027 0.9413 0.7615 0.7316 0.7462
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0007286354666575789
............................................................
DEV: loss, acc, precision, recall, f1
0.0027 0.9415 0.7589 0.7559 0.7574
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.554381303023547e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.9425 0.7897 0.7169 0.7515
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0014772666618227959
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.9367 0.7375 0.7306 0.734
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.3654104047163855e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.9413 0.7677 0.7306 0.7487
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0011215854901820421
............................................................
DEV: loss, acc, precision, recall, f1
0.0027 0.9457 0.7887 0.7544 0.7712
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005052422638982534
............................................................
DEV: loss, acc, precision, recall, f1
0.003 0.9385 0.7716 0.7385 0.7547
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  3
current learning rate 8.57375e-06
current learning rate 8.57375e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.786872209981084e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.9412 0.751 0.7505 0.7508
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.6883044231217355e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.945 0.7651 0.7368 0.7507
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00026876796619035304
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9435 0.751 0.7392 0.7451
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005867047584615648
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9401 0.7598 0.7529 0.7564
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0003530888934619725
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9418 0.7649 0.7679 0.7664
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.64657447184436e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.9499 0.807 0.7794 0.793
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.678406058810651e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9438 0.7812 0.7245 0.7518
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.638787239244266e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9453 0.7639 0.7392 0.7514
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0008462652331218123
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.9469 0.7832 0.7532 0.7679
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003733318066224456
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9471 0.793 0.7311 0.7608
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004604206478688866
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.9454 0.759 0.7363 0.7474
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.81521693320974e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9461 0.7833 0.7804 0.7819
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.128935077256756e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.9459 0.7783 0.7657 0.772
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00015788532618898898
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9435 0.7687 0.7299 0.7488
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  4
current learning rate 8.1450625e-06
current learning rate 8.1450625e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.4038858100539073e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.941 0.7442 0.7618 0.7529
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.912970275152475e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9467 0.7873 0.7684 0.7778
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.056797479279339e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9432 0.7629 0.7525 0.7577
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00013186527939978987
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9445 0.7672 0.7642 0.7657
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.000299242848996073
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9439 0.7744 0.7647 0.7695
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001854709116742015
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9481 0.7842 0.7674 0.7757
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.7972604079404846e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9421 0.7568 0.7556 0.7562
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.1530944448168157e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9494 0.7817 0.7696 0.7756
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002238978398963809
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9435 0.7507 0.7556 0.7531
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.25590730831027e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9463 0.7766 0.7618 0.7691
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.0732316594803706e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9457 0.7819 0.7731 0.7774
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.1368946363509167e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9447 0.7948 0.7812 0.7879
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.3121558595230454e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9482 0.7924 0.7829 0.7876
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001302013552049175
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9415 0.7497 0.7429 0.7463
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  5
current learning rate 7.737809375e-06
current learning rate 7.737809375e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.1721472876379266e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9409 0.7519 0.7709 0.7612
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00020708562806248665
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9476 0.7939 0.7581 0.7756
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00012495477858465165
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9435 0.7592 0.7451 0.7521
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.76084600854665e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9444 0.7636 0.7765 0.77
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0002898084931075573
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9452 0.764 0.776 0.77
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.778118116315454e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9525 0.8089 0.7851 0.7968
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.654498479794711e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9528 0.8098 0.7814 0.7954
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.1837482816190459e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9467 0.7632 0.7794 0.7712
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003885742276906967
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.948 0.7909 0.7951 0.793
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.392687681800453e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9509 0.8067 0.7927 0.7997
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_5_3000.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0039 0.9201 0.7929 0.7723 0.7825
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.9305941502097994e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9474 0.7881 0.7593 0.7735
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.2214766229590168e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9501 0.8106 0.7834 0.7968
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.3114838566252729e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9539 0.8211 0.7964 0.8086
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_5_3900.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0037 0.921 0.8058 0.771 0.788
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00011340352648403496
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9488 0.7774 0.7755 0.7765
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  6
current learning rate 7.35091890625e-06
current learning rate 7.35091890625e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.088798833545297e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9516 0.8116 0.7873 0.7993
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.373324478976429e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9519 0.8269 0.7912 0.8087
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0036 0.9184 0.8179 0.7759 0.7963
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.692039899760857e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9462 0.7844 0.7866 0.7855
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.542749957181513e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9497 0.8105 0.7964 0.8034
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00022528451518155634
............................................................
DEV: loss, acc, precision, recall, f1
0.0043 0.9473 0.8003 0.8221 0.8111
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_1500.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.005 0.9209 0.7957 0.7945 0.7951
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005641370080411434
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9532 0.833 0.8209 0.8269
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_1800.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0042 0.9299 0.8247 0.8184 0.8216
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004577793297357857
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9515 0.8185 0.8054 0.8119
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.467610316780338e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9545 0.8385 0.8278 0.8331
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_2400.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0037 0.9336 0.8392 0.823 0.831
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00014384184032678604
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.955 0.8396 0.8501 0.8448
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_2700.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.004 0.937 0.8398 0.8375 0.8387
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.342401032568887e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9541 0.8442 0.8204 0.8322
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00020298067829571664
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9506 0.8208 0.8393 0.8299
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.076973262570391e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9542 0.8447 0.8597 0.8521
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_3600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.004 0.9388 0.8515 0.8517 0.8516
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.1249686445517e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9516 0.8301 0.8486 0.8393
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.345501555595547e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9539 0.8299 0.8297 0.8298
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  7
current learning rate 6.9833729609374995e-06
current learning rate 6.9833729609374995e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.043228727823589e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.954 0.8378 0.8224 0.83
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00039202457992359996
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9514 0.8262 0.842 0.834
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.632404695963487e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9501 0.8067 0.8234 0.815
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.399443059810437e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9562 0.8615 0.8364 0.8487
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00017888784350361675
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9554 0.8433 0.8555 0.8493
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.9343957319506444e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9539 0.8619 0.8376 0.8496
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.579341500881128e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9583 0.8678 0.868 0.8679
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_7_2100.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0043 0.9432 0.8813 0.8766 0.8789
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.265644631435862e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9534 0.8374 0.853 0.8452
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00029382319189608097
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9517 0.8333 0.8538 0.8434
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.263807932147756e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9578 0.8628 0.8513 0.857
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.8777241823263466e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9588 0.8728 0.8656 0.8692
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_7_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0044 0.9447 0.8758 0.8706 0.8732
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.0047420902265e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9598 0.8677 0.853 0.8603
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.263941602606792e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9563 0.8476 0.8472 0.8474
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.551185262855142e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9597 0.8822 0.8761 0.8791
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_7_4200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0042 0.9517 0.887 0.8846 0.8858
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  8
current learning rate 6.634204312890624e-06
current learning rate 6.634204312890624e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.8492053135996684e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9584 0.8651 0.8513 0.8582
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.777913874131627e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.962 0.8931 0.8651 0.8789
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.2939608243177645e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9564 0.8517 0.8523 0.852
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.324803037685342e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9584 0.8691 0.8604 0.8648
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00017886720888782293
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9598 0.8904 0.8606 0.8752
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0007464283262379467
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9564 0.8563 0.8584 0.8574
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.9155448171659373e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9619 0.8881 0.8817 0.8849
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_8_2100.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0043 0.9472 0.8923 0.8927 0.8925
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.873957095696824e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9586 0.8614 0.8614 0.8614
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0025372281670570374
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9582 0.878 0.8813 0.8796
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.61212267105293e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0045 0.9615 0.8956 0.8714 0.8834
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.7969865186605603e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.96 0.8856 0.8773 0.8814
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.077626378304558e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9602 0.8864 0.8729 0.8796
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.5381450566565036e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9602 0.8845 0.8759 0.8802
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.49105422780849e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9599 0.8847 0.8943 0.8895
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_8_4200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0044 0.9526 0.8983 0.9005 0.8994
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  9
current learning rate 6.302494097246093e-06
current learning rate 6.302494097246093e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.3866313060570974e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9582 0.8695 0.8697 0.8696
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.368812021013582e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9636 0.9024 0.8844 0.8933
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_9_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0044 0.9527 0.9038 0.89 0.8968
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.5595760487485677e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0042 0.9618 0.8887 0.8795 0.8841
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.529859870672226e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.005 0.9593 0.9009 0.8388 0.8688
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00022552689188160002
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9618 0.8883 0.8862 0.8873
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.776603832899127e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9616 0.8993 0.8871 0.8932
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.422881268808851e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9583 0.8739 0.8908 0.8823
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.909374749535345e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9613 0.8847 0.8844 0.8846
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00016942492220550776
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9582 0.8738 0.8815 0.8776
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.059729690197855e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9619 0.9062 0.868 0.8867
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.639337799337227e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9603 0.8854 0.8849 0.8852
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.462526809831616e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0043 0.9584 0.8609 0.8913 0.8758
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.65903519600397e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9618 0.8902 0.883 0.8866
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.575884617632255e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0042 0.9586 0.8749 0.8854 0.8801
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Best DEV : overall best loss, acc, precision, recall, f1 
0.0041 0.9636 0.9024 0.8844 0.8933
scores on TEST when Best DEV:loss, acc, precision, recall, f1 
0.0044 0.9527 0.9038 0.89 0.8968
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Finish to execute command, exited with: 0

Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Please notice that merge the args_dict and json_config ... ...
{
  "bert_frozen": "false",
  "hidden_size": 768,
  "hidden_dropout_prob": 0.2,
  "classifier_sign": "multi_nonlinear",
  "clip_grad": 1,
  "bert_config": {
    "attention_probs_dropout_prob": 0.1,
    "directionality": "bidi",
    "hidden_act": "gelu",
    "hidden_dropout_prob": 0.1,
    "hidden_size": 768,
    "initializer_range": 0.02,
    "intermediate_size": 3072,
    "max_position_embeddings": 512,
    "num_attention_heads": 12,
    "num_hidden_layers": 12,
    "pooler_fc_size": 768,
    "pooler_num_attention_heads": 12,
    "pooler_num_fc_layers": 3,
    "pooler_size_per_head": 128,
    "pooler_type": "first_token_transform",
    "type_vocab_size": 2,
    "vocab_size": 21128
  },
  "config_path": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/config/zh_bert.json",
  "data_dir": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_mrc_data/zh_ontonotes4",
  "bert_model": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_checkpoints/chinese_L-12_H-768_A-12",
  "task_name": null,
  "max_seq_length": 100,
  "train_batch_size": 16,
  "dev_batch_size": 32,
  "test_batch_size": 32,
  "checkpoint": 300,
  "learning_rate": 8e-06,
  "num_train_epochs": 6,
  "warmup_proportion": -1.0,
  "local_rank": -1,
  "gradient_accumulation_steps": 1,
  "seed": 2333,
  "export_model": true,
  "output_dir": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export",
  "data_sign": "zh_onto",
  "weight_start": 1.0,
  "weight_end": 1.0,
  "weight_span": 1.0,
  "entity_sign": "flat",
  "n_gpu": 2,
  "dropout": 0.2,
  "entity_threshold": 0.5,
  "data_cache": false
}
-*--*--*--*--*--*--*--*--*--*-
current data_sign: zh_onto
=*==*==*==*==*==*==*==*==*==*=
loading train data ... ...
62896
62896 train data loaded
=*==*==*==*==*==*==*==*==*==*=
loading dev data ... ...
17204
17204 dev data loaded
=*==*==*==*==*==*==*==*==*==*=
loading test data ... ...
17384
17384 test data loaded
######################################################################
EPOCH:  0
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.015635447576642036
............................................................
DEV: loss, acc, precision, recall, f1
0.0139 0.7215 0.3345 0.3251 0.3297
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_0_300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.014 0.7203 0.348 0.3313 0.3394
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.007844654843211174
............................................................
DEV: loss, acc, precision, recall, f1
0.0127 0.7288 0.3737 0.3722 0.3729
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_0_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0125 0.7235 0.3866 0.3692 0.3777
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005729345139116049
............................................................
DEV: loss, acc, precision, recall, f1
0.0138 0.7407 0.4195 0.2787 0.3349
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002610839204862714
............................................................
DEV: loss, acc, precision, recall, f1
0.0181 0.701 0.1474 0.0357 0.0575
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00010268688492942601
............................................................
DEV: loss, acc, precision, recall, f1
0.0145 0.711 0.2596 0.1811 0.2134
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0021138559095561504
............................................................
DEV: loss, acc, precision, recall, f1
0.0133 0.7255 0.3243 0.2181 0.2608
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.213035471271724e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0097 0.7517 0.3611 0.3479 0.3544
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.004232677631080151
............................................................
DEV: loss, acc, precision, recall, f1
0.0094 0.7557 0.3796 0.3389 0.3581
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.005775002297013998
............................................................
DEV: loss, acc, precision, recall, f1
0.0097 0.7405 0.3535 0.2601 0.2997
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.670418325578794e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0096 0.7586 0.3992 0.3248 0.3582
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00026009808061644435
............................................................
DEV: loss, acc, precision, recall, f1
0.0098 0.7589 0.4331 0.4117 0.4221
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_0_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0098 0.7515 0.4467 0.4163 0.431
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.004629841540008783
............................................................
DEV: loss, acc, precision, recall, f1
0.0143 0.709 0.2389 0.0955 0.1364
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.9041992345592007e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0098 0.7601 0.4985 0.3722 0.4262
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_0_3900.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0099 0.7544 0.5063 0.3828 0.436
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  1
current learning rate 7.599999999999999e-06
current learning rate 7.599999999999999e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00890625361353159
............................................................
DEV: loss, acc, precision, recall, f1
0.0099 0.7716 0.4363 0.434 0.4351
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_1_300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0099 0.7656 0.4357 0.4337 0.4347
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002970438916236162
............................................................
DEV: loss, acc, precision, recall, f1
0.0103 0.7981 0.5401 0.5912 0.5645
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_1_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0102 0.7905 0.5467 0.5949 0.5698
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.585673377732746e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0104 0.7812 0.5076 0.4711 0.4887
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.001252874732017517
............................................................
DEV: loss, acc, precision, recall, f1
0.0141 0.7187 0.3635 0.2176 0.2722
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.7688555089989677e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.014 0.7443 0.4731 0.3203 0.382
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.000615155790001154
............................................................
DEV: loss, acc, precision, recall, f1
0.0113 0.769 0.4995 0.4256 0.4596
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.140300628321711e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0101 0.8015 0.5079 0.5131 0.5105
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002192702842876315
............................................................
DEV: loss, acc, precision, recall, f1
0.0095 0.7762 0.4196 0.3985 0.4087
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00275650923140347
............................................................
DEV: loss, acc, precision, recall, f1
0.0104 0.7752 0.5051 0.4369 0.4685
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.547100151190534e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0111 0.7897 0.5184 0.4606 0.4878
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.813005115371197e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0117 0.8265 0.6658 0.652 0.6588
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_1_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0112 0.8245 0.6983 0.6696 0.6836
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.004789315164089203
............................................................
DEV: loss, acc, precision, recall, f1
0.0149 0.7135 0.2583 0.1273 0.1705
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.040058335405774e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0112 0.8004 0.6621 0.5128 0.578
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  2
current learning rate 7.219999999999999e-06
current learning rate 7.219999999999999e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.004940534010529518
............................................................
DEV: loss, acc, precision, recall, f1
0.0117 0.76 0.3856 0.3745 0.38
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002199856797233224
............................................................
DEV: loss, acc, precision, recall, f1
0.0117 0.8255 0.6533 0.6932 0.6727
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_2_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0115 0.8296 0.6795 0.7163 0.6974
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.4394217689405195e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0126 0.8136 0.6736 0.5756 0.6208
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005138662527315319
............................................................
DEV: loss, acc, precision, recall, f1
0.0159 0.7475 0.5579 0.3065 0.3956
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.171192919486202e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0154 0.7685 0.5678 0.4331 0.4914
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0008888521115295589
............................................................
DEV: loss, acc, precision, recall, f1
0.0133 0.8053 0.6792 0.558 0.6127
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.557718850468518e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0127 0.8029 0.5219 0.5499 0.5355
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005677390727214515
............................................................
DEV: loss, acc, precision, recall, f1
0.0119 0.7954 0.5096 0.4373 0.4707
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0006335428915917873
............................................................
DEV: loss, acc, precision, recall, f1
0.0139 0.7797 0.5437 0.4136 0.4698
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.084355962026166e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0147 0.8009 0.6843 0.5113 0.5853
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.823778676334769e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0133 0.8366 0.6872 0.6863 0.6867
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_2_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0129 0.834 0.7046 0.696 0.7003
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.006227924022823572
............................................................
DEV: loss, acc, precision, recall, f1
0.0165 0.7439 0.4169 0.2652 0.3242
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.544123268919066e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0151 0.7955 0.6788 0.4761 0.5596
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  3
current learning rate 6.858999999999998e-06
current learning rate 6.858999999999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002185183810070157
............................................................
DEV: loss, acc, precision, recall, f1
0.0138 0.7991 0.5125 0.5017 0.5071
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0016793797258287668
............................................................
DEV: loss, acc, precision, recall, f1
0.014 0.7925 0.611 0.6167 0.6138
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.0567140381899662e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.014 0.824 0.698 0.6065 0.6491
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.243372915079817e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0189 0.7558 0.5822 0.3763 0.4571
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.0184657993668225e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0175 0.7644 0.5536 0.4222 0.4791
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.5033217752934434e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0158 0.7993 0.645 0.5573 0.5979
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.953578016080428e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.013 0.8283 0.5891 0.6137 0.6011
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005898976814933121
............................................................
DEV: loss, acc, precision, recall, f1
0.014 0.7876 0.4804 0.3908 0.431
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00040149822598323226
............................................................
DEV: loss, acc, precision, recall, f1
0.0157 0.7979 0.6009 0.4885 0.5389
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.3822657314885873e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0145 0.8476 0.7095 0.6506 0.6788
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.995051469653845e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0145 0.8507 0.7152 0.6913 0.703
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_3_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0139 0.8524 0.7395 0.708 0.7234
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0014947339659556746
............................................................
DEV: loss, acc, precision, recall, f1
0.0148 0.7761 0.5482 0.4073 0.4674
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.9173493203416e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0163 0.8136 0.689 0.5582 0.6167
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  4
current learning rate 6.516049999999998e-06
current learning rate 6.516049999999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0002748646365944296
............................................................
DEV: loss, acc, precision, recall, f1
0.0152 0.8202 0.5604 0.5664 0.5634
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001686277100816369
............................................................
DEV: loss, acc, precision, recall, f1
0.0169 0.7881 0.6005 0.5829 0.5916
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.56941824167734e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.017 0.8233 0.6964 0.6386 0.6662
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.912009121151641e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0222 0.7561 0.597 0.3758 0.4613
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.676116648421157e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0184 0.7635 0.6237 0.496 0.5526
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.3288115951581858e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0169 0.7934 0.661 0.558 0.6051
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.7886032967217034e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0146 0.8246 0.6091 0.588 0.5984
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0012897758278995752
............................................................
DEV: loss, acc, precision, recall, f1
0.0163 0.8145 0.5931 0.5286 0.559
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004314161487855017
............................................................
DEV: loss, acc, precision, recall, f1
0.0168 0.8122 0.6643 0.5352 0.5928
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.5963781808968633e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0175 0.8206 0.6967 0.5852 0.6361
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.498541991575621e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.017 0.8382 0.7153 0.6529 0.6827
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0009119447786360979
............................................................
DEV: loss, acc, precision, recall, f1
0.0192 0.778 0.5853 0.4144 0.4852
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.2854179607966216e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0176 0.8144 0.6987 0.557 0.6198
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  5
current learning rate 6.190247499999998e-06
current learning rate 6.190247499999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004023508809041232
............................................................
DEV: loss, acc, precision, recall, f1
0.0185 0.8239 0.5906 0.5993 0.5949
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001371507823932916
............................................................
DEV: loss, acc, precision, recall, f1
0.0178 0.7743 0.6098 0.5625 0.5852
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.89199192088563e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0176 0.8038 0.7 0.5973 0.6446
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.853328133933246e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0285 0.7492 0.5185 0.2837 0.3667
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.2777915091864998e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0264 0.7694 0.661 0.3848 0.4864
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.30022168479627e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0204 0.7944 0.6469 0.4908 0.5581
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.568814124970231e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0151 0.8354 0.621 0.6415 0.6311
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001149507297668606
............................................................
DEV: loss, acc, precision, recall, f1
0.0177 0.8253 0.621 0.5553 0.5863
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00038258195854723454
............................................................
DEV: loss, acc, precision, recall, f1
0.0195 0.806 0.6516 0.5158 0.5758
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.0197035155433696e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0185 0.8312 0.7268 0.6077 0.6619
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.8620584998861887e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0176 0.844 0.7221 0.6339 0.6751
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0017854978796094656
............................................................
DEV: loss, acc, precision, recall, f1
0.0167 0.8096 0.6804 0.544 0.6046
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.354286375019001e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0169 0.8353 0.7247 0.6206 0.6686
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Best DEV : overall best loss, acc, precision, recall, f1 
0.0145 0.8507 0.7152 0.6913 0.703
scores on TEST when Best DEV:loss, acc, precision, recall, f1 
0.0139 0.8524 0.7395 0.708 0.7234
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Finish to execute command, exited with: 0

"FAC": "facility entities are limited to buildings and other permanent man-made structures such as buildings, airports, highways, bridges.",
"LOC": "location entities are limited to geographical entities such as geographical areas and landmasses, mountains, bodies of water, and geological formations.",
"ORG": "organization entities are limited to companies, corporations, agencies, institutions and other groups of people."

{
  "bert_frozen": "false",
  "hidden_size": 768,
  "hidden_dropout_prob": 0.2,
  "classifier_sign": "multi_nonlinear",
  "clip_grad": 1,
  "bert_config": {
    "attention_probs_dropout_prob": 0.1,
    "hidden_act": "gelu",
    "hidden_dropout_prob": 0.1,
    "hidden_size": 768,
    "initializer_range": 0.02,
    "intermediate_size": 3072,
    "max_position_embeddings": 512,
    "num_attention_heads": 12,
    "num_hidden_layers": 12,
    "type_vocab_size": 2,
    "vocab_size": 30522
  },
  "config_path": "./config/en_bert_base_uncased.json",
  "data_dir": "./data_preprocess/en_ace05",
  "bert_model": "./uncased_L-12_H-768_A-12",
  "task_name": null,
  "max_seq_length": 160,
  "train_batch_size": 15,
  "dev_batch_size": 16,
  "test_batch_size": 16,
  "checkpoint": 1200,
  "learning_rate": 4e-05,
  "num_train_epochs": 20,
  "warmup_proportion": -1.0,
  "local_rank": -1,
  "gradient_accumulation_steps": 1,
  "seed": 2333,
  "export_model": false,
  "output_dir": "result",
  "data_sign": "ace2005",
  "weight_start": 1.0,
  "weight_end": 1.0,
  "weight_span": 1.0,
  "entity_sign": "nested",
  "n_gpu": 1,
  "dropout": 0.2,
  "entity_threshold": 0.5,
  "data_cache": false
}

(mrcner) zhaoxf4@nyu:/data1/zhaoxf4/mrc-for-flat-nested-ner$ sh script/train_zh_msra.sh 
Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Please notice that merge the args_dict and json_config ... ...
{
  "bert_frozen": "false",
  "hidden_size": 768,
  "hidden_dropout_prob": 0.2,
  "classifier_sign": "multi_nonlinear",
  "clip_grad": 1,
  "bert_config": {
    "attention_probs_dropout_prob": 0.1,
    "directionality": "bidi",
    "hidden_act": "gelu",
    "hidden_dropout_prob": 0.1,
    "hidden_size": 768,
    "initializer_range": 0.02,
    "intermediate_size": 3072,
    "max_position_embeddings": 512,
    "num_attention_heads": 12,
    "num_hidden_layers": 12,
    "pooler_fc_size": 768,
    "pooler_num_attention_heads": 12,
    "pooler_num_fc_layers": 3,
    "pooler_size_per_head": 128,
    "pooler_type": "first_token_transform",
    "type_vocab_size": 2,
    "vocab_size": 21128
  },
  "config_path": "/data1/zhaoxf4/mrc-for-flat-nested-ner/config/zh_bert.json",
  "data_dir": "/data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra",
  "bert_model": "/data1/zhaoxf4/pretrained/chinese_L-12_H-768_A-12",
  "task_name": null,
  "max_seq_length": 100,
  "train_batch_size": 8,
  "dev_batch_size": 16,
  "test_batch_size": 16,
  "checkpoint": 10,
  "learning_rate": 1e-05,
  "num_train_epochs": 15,
  "warmup_proportion": -1.0,
  "max_grad_norm": 1.0,
  "gradient_accumulation_steps": 1,
  "seed": 2333,
  "output_dir": "/data1/zhaoxf4/mrc-for-flat-nested-ner/model_save/zh_msra_100_1e-5_8_0.3_15_10",
  "data_sign": "zh_msra",
  "weight_start": 1.0,
  "weight_end": 1.0,
  "weight_span": 1.0,
  "entity_sign": "flat",
  "n_gpu": 1,
  "dropout": 0.3,
  "entity_threshold": 0.5,
  "num_data_processor": 10,
  "data_cache": true,
  "export_model": true,
  "do_lower_case": false,
  "fp16": false,
  "amp_level": "O2",
  "local_rank": -1
}
-*--*--*--*--*--*--*--*--*--*-
current data_sign: zh_msra
=*==*==*==*==*==*==*==*==*==*=
loading train data ... ...
125184
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-0
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-1
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-2
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-3
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-4
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-5
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-6
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-7
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-8
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-9
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-8 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-0 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-5 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-9 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-6 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-4 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-7 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-3 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-2 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.train.cache.100.10-1 <<< <<< <<<
check number of examples before and after data processing : 
125184 125184
125184 train data loaded
=*==*==*==*==*==*==*==*==*==*=
loading dev data ... ...
13908
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-0
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-1
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-2
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-3
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-4
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-5
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-6
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-7
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-8
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-9
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-8 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-1 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-5 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-3 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-9 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-4 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-2 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-0 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-6 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.dev.cache.100.10-7 <<< <<< <<<
check number of examples before and after data processing : 
13908 13908
13908 dev data loaded
=*==*==*==*==*==*==*==*==*==*=
loading test data ... ...
13095
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-0
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-1
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-2
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-3
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-4
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-5
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-6
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-7
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-8
>>> >>> >>> export sliced features to : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-9
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-6 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-4 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-7 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-5 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-3 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-9 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-2 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-8 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-1 <<< <<< <<<
load sliced features from : /data1/zhaoxf4/mrc-for-flat-nested-ner/data/zh_msra/mrc-ner.test.cache.100.10-0 <<< <<< <<<
check number of examples before and after data processing : 
13095 13095
13095 test data loaded
######################################################################
EPOCH:  0
Traceback (most recent call last):
  File "/data1/zhaoxf4/mrc-for-flat-nested-ner/run/train_bert_mrc.py", line 339, in <module>
    main() 
  File "/data1/zhaoxf4/mrc-for-flat-nested-ner/run/train_bert_mrc.py", line 335, in main
    train(model, optimizer, sheduler, train_loader, dev_loader, test_loader, config, device, n_gpu, label_list)
  File "/data1/zhaoxf4/mrc-for-flat-nested-ner/run/train_bert_mrc.py", line 185, in train
    start_positions=start_pos, end_positions=end_pos, span_positions=span_pos, span_label_mask=span_label_mask)
  File "/data0/zhaoxf4/.conda/envs/mrcner/lib/python3.6/site-packages/torch/nn/modules/module.py", line 493, in __call__
    result = self.forward(*input, **kwargs)
  File "/data1/zhaoxf4/mrc-for-flat-nested-ner/model/bert_mrc.py", line 72, in forward
    start_loss = torch.sum(start_loss * token_type_ids.view(-1))
RuntimeError: expected backend CUDA and dtype Float but got backend CUDA and dtype Long