xpq-tech / pmet Goto Github PK

作者您好，非常感谢您开源的代码以及优秀的研究工作，我在复现PMET效果时遇到如下问题：
def get_ds():
# Load_From_File
# from datasets import Dataset
# raw_ds = Dataset.from_file('XXX/XXX/wikipedia-train.arrow')
# raw_ds = {'train': raw_ds}

    raw_ds = load_dataset(
        ds_name,
        dict(wikitext="wikitext-103-raw-v1", wikipedia="20200501.en")[ds_name],
    )

报错ConnectionError，可能是我服务器网络的问题。然后我尝试在本地下载该数据，想请教如下两个问题：
（1）上述代码试图访问一个python文件，我可以将wikipedia.py文件存在服务器上，但请问应当如何修改这段代码？
（2）在本地下载数据时发生报错，不存在wikipedia="20200501.en"，似乎仅能选择20220301，请问应该如何解决？
非常期待您的帮助～非常感谢！

Could you please tell me only one 3090 can run this program？I can't solve this problem.When I change to float16,I still can not run this program.Please help me.

Hello! Thanks for your outstanding work!
I wanted to edit LLaMA2 with PMET, but the experiment failed. Can you share the settings for conducting batch editing on LLaMA2-7B?
By the way, when will the SWEAOS code be open source? I am very excited and thank you very much for your new SOTA approach.

Looking forward to your reply!

同学你好，PMET是一篇非常nice的工作。我在复现PMET效果时遇到如下报错：
FileNotFoundError: Couldn't find a dataset script at /path/toPMET/edit/caches/wikipedia.py
请问我可以到哪里下载到上述文件？很期待您的帮助～非常感谢！

您好！非常感谢您为PMET开源的代码，这是一篇很好的工作！
想问一下在复现表1的结果时，这10000个edits怎么取呢？是直接取前10000个吗？还是说只是用batch=10000的setting对multicounterfact数据集中的全部数据进行编辑，然后计算在全部数据上的指标的平均值呢？
期待您的解答！非常感谢您的帮助～