项目简介:中车株洲电力机车有限公司研发项目“机器视觉在轨道交通装备制造过程的应用研究”(2018GY121), 本项目利用 Unity2018 和 Vuforia 开发 AR 人机交互与机械臂示教运动虚拟显示软件。
项目内容:
- 根据机器人的自由度,在其运动关节处拆分,对各个关节进行建模。并通过运动学控制进行虚拟运动学仿真。
- 通过图像识别算法提取匹配特征点,用单应性矩阵求出相机姿态,进行虚拟机器人与真实机器人的虚实融合
- 用增强现实头盔 HoloLens 进行示教再现,通过凝视和手势识别(Air Tap)来取代鼠标点击,进行自然人机交互
项目成果:相较传统人机交互示教的示教效率提升 83.3%,示教精度提升 54.0%,并分别申请一项国家专利和软著。