有关实验结果的一些疑问 about sigma HOT 2 CLOSED

您好，感谢你对本工作的关注。
1）不知道你是否熟悉其他DAOD框架，由于对抗训练的不稳定性，目前几乎所有的DAOD算法的benchmark结果都是通过不公开的model selection得到的，这导致我曾经很难直接复现他们论文的结果。所以，在本工作里，与其存海量模型进行进一步model selection，不如直接让follower能直接跑出我们的结果，（我曾经花了将近一个月时间才跑出我们的baseline的论文类似结果，貌似你一次就跑出了我们差不多的结果了），而且这个做法在UDA里是基操。
2） 是的。
3）合理，你跑的应该是sim2city吧，你可以发现我们论文里汇报的是53左右，你跑出来54.7已经超过所有sota了，我们的57.1是通过详细调参以及多阶段才得到的，我们端到端训练也只能达到55左右的结果，DAOD算法非常难调且不稳定。
4） 你可以调整trainer.py里面的模型保存策略，并且自行尝试不同的迭代数（6w迭代对于DAOD真的很少，有的DAOD工作跑几十万iter寻找benchmark结果），而且由于对抗训练的不稳定性，也很难保证一次设置就合适，我们也是跑了上百个实验。
对于SIGMA的潜力能到哪，其实我们也很难说，因为我们的研究程度也有限（很多时候一个参数设置偏差就会导致性能下降），不过目前来看您已经能复现出高于我们论文汇报的结果了，后续的提升空间希望能自行探索了。

from sigma.

明白了！感谢您的解答！

from sigma.