[Bug] Medbench dataset about opencompass HOT 6 CLOSED

@xmshi-trio Hi, please check this issue

from opencompass.

    "0": {
        "origin_prompt": "<|im_start|>user\n给定病历或者医学影像报告，要求从中抽取临床发现事件的四个属性:主体词、解剖部位、描述词、发生状态。\n主体词：指患者的电子病历中的疾病名称或者由疾病引发的症状，也包括患者的一般情况如饮食，二便，睡眠等。\n描述词：对主体词的发生时序特征、轻重程度、形态颜色等多个维度的刻画，也包括疾病的起病缓急、突发。\n解剖部位：指主体词发生在患者的身体部位，也包括组织，细胞，系统等，也包括部位的方向和数量。\n发生状态：“不确定”或“否定”，肯定的情况不标注发生状态。\n\n\n\n要求输出所有的临床发生事件，每个临床发现事件占一行，临床发现事件中包含主体词、解剖部位、描述词、发生状态四个字段，每个字段用“；”分隔，然后每个字段是“字段名：字段值”的格式，字段值有多个，则用“，”符号分隔。。主体词是字符串。发生状态是字符串，如果没有发生状态，默认为\"不确定\"。如果没有描述词，默认为\"空\"。如果没有解剖部位，默认为\"空\"。\n示例：\n输入病历或者医学影像所见报告：\n精神好，食欲好。\n输出这个句子里的临床发现事件为：\n\n主体词：精神；发生状态：不确定；描述词：好；解剖部位：空。\n主体词：食欲；发生状态：不确定；描述词：好；解剖部位：空。\n\n请从以下病历或者医学影像所见报告中，直接抽取临床发现事件的四个属性:主体词、解剖部位、描述词、发生状态，不要进行额外的解释：患者本次发病以来，食欲正常，神志清醒，精神尚可，睡眠欠佳，大便正常，小便正常，体重无明显变化。\n答：<|im_end|>\n<|im_start|>assistant\n",
        "prediction": "以下是根据您提供的病历或医学影像报告中抽取的临床发现事件及其四个属性：\n\n1. **主体词**：食欲\n   - **解剖部位**：空\n   - **描述词**：正常\n   - **发生状态**：不确定\n\n2. **主体词**：神志\n   - **解剖部位**：空\n   - **描述词**：清醒\n   - **发生状态**：不确定\n\n3. **主体词**"
    },

这是中间结果

from opencompass.

是否 gt 和 reference 参数放反了？怀疑是 Medbench 的 eval 方法写错了，或者数据有问题？我下载的数据是name_test.json，code base 是 name.json，我的没有 answer，不过我看官网确实也没有 answer。还有不是很明白，我的数据中没有problem_input列

{"question": "请回答以下单选题。要求只输出选项，不输出解释：\n儿童可以使用八子补肾胶囊吗？\n(A)是\n(B)否。\n答：", "options": ["(A)是", "(B)否"], "answer": null, "other": {"source": "DrugCA", "id": 1}}
{"question": "请回答以下单选题。要求只输出选项，不输出解释：\n儿童可以使用八子补肾胶囊吗？\n(A)否\n(B)是。\n答：", "options": ["(A)否", "(B)是"], "answer": null, "other": {"source": "DrugCA", "id": 1}}

medbench_reader_cfg = dict(
    input_columns=['problem_input'], output_column='label')

但是代码中说读取这个列

from opencompass.

放出来的测试数据的答案为空吧。

from opencompass.

是否 gt 和 reference 参数放反了？怀疑是 Medbench 的 eval 方法写错了，或者数据有问题？我下载的数据是name_test.json，code base 是 name.json，我的没有 answer，不过我看官网确实也没有 answer。还有不是很明白，我的数据中没有problem_input列

{"question": "请回答以下单选题。要求只输出选项，不输出解释：\n儿童可以使用八子补肾胶囊吗？\n(A)是\n(B)否。\n答：", "options": ["(A)是", "(B)否"], "answer": null, "other": {"source": "DrugCA", "id": 1}}
{"question": "请回答以下单选题。要求只输出选项，不输出解释：\n儿童可以使用八子补肾胶囊吗？\n(A)否\n(B)是。\n答：", "options": ["(A)否", "(B)是"], "answer": null, "other": {"source": "DrugCA", "id": 1}}

medbench_reader_cfg = dict(
    input_columns=['problem_input'], output_column='label')

但是代码中说读取这个列

您好，测试数据的答案是不对外放的。后续如果我们释放带答案的开发集才能在本地进行评测。如果想进行评测，可以本地进行推理，然后通过https://medbench.opencompass.org.cn/home提交结果进行评测。

from opencompass.

是否 gt 和 reference 参数放反了？怀疑是 Medbench 的 eval 方法写错了，或者数据有问题？我下载的数据是name_test.json，code base 是 name.json，我的没有 answer，不过我看官网确实也没有 answer。还有不是很明白，我的数据中没有problem_input列

{"question": "请回答以下单选题。要求只输出选项，不输出解释：\n儿童可以使用八子补肾胶囊吗？\n(A)是\n(B)否。\n答：", "options": ["(A)是", "(B)否"], "answer": null, "other": {"source": "DrugCA", "id": 1}}
{"question": "请回答以下单选题。要求只输出选项，不输出解释：\n儿童可以使用八子补肾胶囊吗？\n(A)否\n(B)是。\n答：", "options": ["(A)否", "(B)是"], "answer": null, "other": {"source": "DrugCA", "id": 1}}

medbench_reader_cfg = dict(
    input_columns=['problem_input'], output_column='label')

但是代码中说读取这个列

您好，测试数据的答案是不对外放的。后续如果我们释放带答案的开发集才能在本地进行评测。如果想进行评测，可以本地进行推理，然后通过https://medbench.opencompass.org.cn/home提交结果进行评测。

感谢。Opencompass 真挺好用的。Salute！

from opencompass.