Some questions about CS-MPJPE/MPVPE and feature representations after various 2D cues. about handmesh HOT 7 CLOSED

你好。
（1）MPJPE 指的是在root-relative坐标系下，每个joint的误差，这种方式忽略了global translation；PA-MPJPE指的是计算误差之前，先把prediction和GT做一次rigid alignment，即进一步忽略他们之间的global rotation 和 scale （对应FreiHAND leaderboard中的aligned error）；CS-MPJPE 指的是在相机坐标系下，每个joint的误差，考虑了global translation, rotation 和 scale （对应FreiHAND leaderboard中的unaligned error）。Adaptive 2D-1D Registration 本质上就是根据3D mesh、2D pose和mask 去计算root在相机空间中的坐标。
（2）FreiHAND的标注是在相机坐标系下的。（0， 0， 0.6）只是初始值，因为手肯定在相机前方，所以给z>0，没有其他考量。
（3）文中可视化的是第二个stack的第一个block的特征，一般情况下浅层特征更适合做可视化，而高层语义更抽象。

from handmesh.

非常感谢您的回复！

不知道这样理解是否正确：root-relative坐标系指的是关键点相对于root的坐标，在FreiHAND中也就是关键点相对于手腕的坐标，手腕是原点。相机空间也就是相机坐标系，相机是原点。root recovery指的是求解root在相机坐标系下的坐标。

但是，我还有几点疑惑：
（1）既然FreiHAND的标注是在相机坐标系下的，那么模型loss计算的也是在相机坐标系下的差值，那么为什么还要再进行一步root recovery呢？还是说模型输出的值都被认为是root-relative坐标系下的。
（2）请问MobRecon或者其他算法的结果最后也都是要经过类似Adaptive 2D-1D Registration的root recovery吗？
（3）请问有没有推荐的论文或者博客啊。

from handmesh.

理解正确。
（1）他的标注在相机坐标系下，但是训练中使用的GT是root-relative的。
（2）是的。
（3）这个问题太宽泛了，可以具体描述一下想了解哪些方面的知识。

from handmesh.

理解正确。 （1）他的标注在相机坐标系下，但是训练中使用的GT是root-relative的。 （2）是的。 （3）这个问题太宽泛了，可以具体描述一下想了解哪些方面的知识。

非常感谢您的回复，解决了我一个很大的困惑。关于论文的几个细节还想请教下您：

（1）在cmr论文中Huamn3.6M数据集使用的评价标准是MPJPE，是否表示在Human3.6M数据集中测试集的标注是在root-relative下的呢
（2）论文中他人工作的PCK曲线一般是如何绘制的啊。我理解这需要所有预测点的坐标，在leaderboard上有detailed results这一栏但是链接点进去并没有任何数据，所以这需要先复现他人的工作吗
（3）希望您能推荐一些手的三维重建方面比较前沿或者经典的工作和综述，以及这个方向还有哪些可以深挖的痛点。万分感谢！

from handmesh.

（1）标注都是在相机空间中，只是测试在root坐标系下。
（2）可以参见 https://github.com/SeanChenxy/Hand3DResearch/blob/main/benchmarks/freihand/freihand_plots.py 。
detailed results 是有东西的，可能是服务器网络原因没有显示出来。
（3）相关论文参见 https://github.com/SeanChenxy/Hand3DResearch 。我个人觉得未来的发展方向包括：手部动力学、更强的通用手部模型（几何+texture、柔性）、手和人体的统一建模和驱动。

from handmesh.

作者您好，我看您在论文中说一些其他方法是通过估计external camera parameters来得到root值的，我去看了这些论文，没有太理解他们是怎么估计出来的，我非常困惑，作者您可以帮忙解答一下吗？

from handmesh.

（1）标注都是在相机空间中，只是测试在root坐标系下。 （2）可以参见 https://github.com/SeanChenxy/Hand3DResearch/blob/main/benchmarks/freihand/freihand_plots.py 。 detailed results 是有东西的，可能是服务器网络原因没有显示出来。 （3）相关论文参见 https://github.com/SeanChenxy/Hand3DResearch 。我个人觉得未来的发展方向包括：手部动力学、更强的通用手部模型（几何+texture、柔性）、手和人体的统一建模和驱动。

非常感谢您的回复！

from handmesh.