The private repo for Cainiao Global Technology Competition 2019 vid HuaHuaGuai.
现阶段决定选用VINS Mono作为主要算法,在此基础上进行以下工作:
- 1. 手机端获取具有时间戳信息的视频和IMU数据
- 1.1 录制视频以及IMU数据
- 1.2 时间戳对齐(也可以放在服务端做)
- 2. 将手机获取的数据,发布为ROS Topic节点
- 2.1 视频使用opencv发布订阅节点,参考ROS&OpenCV进行摄像头数据的采集与订阅发布
- 2.2 IMU直接发布为订阅节点,参考 ros接入IMU数据,打包发布topic
- 2.3 配置ROS配置文件,根据节点生成轨迹以及点云图,参考文献待定;
- 3. 视频逐帧进行语义分割(若速度过慢,采用目标检测代替)
- 3.1 使用deeplabv3训练语义分割网络
- 3.2 融合点云图与语义分割信息,生成带有语义信息的点云图
- 4. 估计物体尺寸
- 4.1 处理目标物体的点云图,生成最小外接立方体
- 4.2 使用计数法调优立方体尺寸
- 编写手机app的界面
- 搭建服务端web架构,处理视频/IMU数据上传工作