请问PTPCG论文中评价指标“事件表填充”和一般事件抽取（事件检测+论元抽取）中的“论元抽取”，这两种指标是一样的吗?都是代码输出结果overall属性下的overall属

支持的。可以参考这里的启动方法： <div class="Box-header f6"

好滴谢谢！祝您科研顺利！ <a target="_blank" rel="noopener noreferrer" href="https://private-us

Evaluation Metric,about spico197/docee

Spico197 commented on July 3, 2024 1

支持的。可以参考这里的启动方法：

Lines 31 to 38 in a32b6f8

    
           # DCFEE Baselines: DCFEE-O, DCFEE-M 
        
           MODEL_TYPE=DCFEE 
        
           MODEL_STR=DCFEE 
        
           echo "---> ${MODEL_STR} Run" 
        
           CUDA_VISIBLE_DEVICES=${GPU_SCOPE} ./scripts/train_multi.sh ${NUM_GPUS} --resume_latest_cpt ${RESUME_TRAIN} --save_cpt_flag ${SAVE_CPT} \ 
        
               --data_dir ${DATA_DIR} --exp_dir ${EXP_DIR} --task_name ${COMMON_TASK_NAME} --num_train_epochs ${N_EPOCH} \ 
        
               --train_batch_size ${TRAIN_BS} --gradient_accumulation_steps ${GRAD_ACC_STEP} --eval_batch_size ${EVAL_BS} \ 
        
               --model_type ${MODEL_TYPE} --cpt_file_name ${MODEL_STR}

from docee.

miraitowa9 commented on July 3, 2024 1

好滴谢谢！祝您科研顺利！

from docee.

Spico197 commented on July 3, 2024

嗨您好，这两种指标不太一样。

一般事件论元抽取任务会假设事件检测的正确率为100%，而论文中的F1值是整个事件表的F1，可以理解为包含了事件类型的判断，是一个任务的整体F1值。在DocEE任务中，通常不会考虑单一的论元抽取性能。输出结果中的实体部分是指实体抽取结果，而非论元（不是所有的实体都是论元）。

overall下的overall指的是事件表填充的整体F1值。

from docee.