关于测试结果 about mfgnet HOT 11 CLOSED

是的，在训练阶段我们选用测试集表现最好的模型作为最终模型，但此时的测试结果并不是最终的测试结果。在测试阶段时，我们对测试集进行了多次测试，并取测试结果的平均值作为最终的测试结果（没有设置固定的随机种子数导致每次测试结果会有一定的偏差，但这种方式可以较好地统计不同类别点云在不同变换幅度下平均误差）。

from mfgnet.

很感谢你的及时回复，是否readme中的python main.py --exp_name exp进行的就是刚才提到的训练阶段。因为我在后面的test.py中看到了你说到的取平均值的相关代码，所以要进行测试阶段需要运行指令python test.py --exp_name exp并在test.py中更改相关的参数。

from mfgnet.

是的。

from mfgnet.

好的十分感谢，我去尝试一下

from mfgnet.

你好，很抱歉过了这么久又来请教，代码中的高斯噪声部分实验结果可以很好的复现，但是在unseen point clouds实验的结果却不是很好，甚至比unseen categories的结果还要差，我并不知道其中的原因。我在unseen point clouds实验时将--gaussian_noise和--unseen都设置为False，在unseen categories将--gaussian_noise设置为False和--unseen设置为True，test.py的设置与训练时相同，我将unseen point clouds命名为clean1，unseen categories命名为unseen1，以下他们训练时的log。
clean1.txt
unseen1.txt

from mfgnet.

你好，很抱歉过了这么久又来请教，代码中的高斯噪声部分实验结果可以很好的复现，但是在unseen point clouds实验的结果却不是很好，甚至比unseen categories的结果还要差，我并不知道其中的原因。我在unseen point clouds实验时将--gaussian_noise和--unseen都设置为False，在unseen categories将--gaussian_noise设置为False和--unseen设置为True，test.py的设置与训练时相同，我将unseen point clouds命名为clean1，unseen categories命名为unseen1，以下他们训练时的log。 clean1.txt unseen1.txt

具体差多少呢，我看clean1和unseen1的MAE（R）似乎都是0.2°左右，测试结果应该是相近的。其中clean1在第3epoch结果最好（因为不加噪声任务很简单，网络容易过拟合）

from mfgnet.

根据unseen1中最好的数据，我选择了其中第6epoch的模型，我的测试结果如下
结果.docx
很奇怪的是，我在使用提供的预训练模型进行测试时也遇到了这个情况，在使用test.py对预训练model_clean测试时，--gaussian_noise和--unseen都设置为False，在使用test.py对预训练model_unseen测试时，--gaussian_noise设置为False和--unseen都设置为True，结果仍然是unseen比clean的结果好

from mfgnet.

根据你提供的结果，unseen categories误差略高于unseen point clouds（0.223>0.215），这是正常的，而且实际上论文中unseen categories与unseen point clouds情况旋转角误差仅相差0.05°，这是很小的差别，所以可以近似认为两种情况下模型性能是相近的，也说明了该网络对于不可见类别的适应性很强。

from mfgnet.

好的，十分感谢，不过对比其他论文的实验中的DCP等实验结果是怎么测得的，因为这似乎比DCP原本论文中的指标大了 不少，我也想试着跑一下，统一一下指标，还望解答一下，多谢

from mfgnet.

我们使用了统一的指标来评估模型性能，你可以使用DCP代码进行训练与测试。

from mfgnet.

好的，十分感谢

from mfgnet.