视控瞄准型RobMaster机甲大师赛机器人
机械工程资助企业: 上海灵魁智能科技有限公司
企业导师: 陈乾
指导教师: 贡亮
项目成员: 何屹东,陈诗霖,张泽楷,林耿杰
项目概述
本项目基于RoboMaster机甲大师机器人框架研究视控瞄准型无人作战机器人的设计。视控瞄准型机器人分为两部分,一是视控选择人机交互端,二是跟踪瞄准机器人。在人机交互端,通过相应算法检测人眼注视位置,以此选择需要跟踪瞄准的识别对象。为了优化人机交互效果,本项目将主动减震和算法消抖结合来获得更为稳定的输出图像。对于跟踪瞄准机器人,本项目主要研究基于视觉SLAM的目标重建和景深估计方法,以及具有高动态性能的视觉伺服跟踪瞄准控制方法。
项目目标
1. 防抖成像软硬件协同方法
a. 基于被动阻尼隔振的重要部件减振方法
b. 基于战车物理振动特性的软硬件联合防抖方法
2. 高动态视觉伺服跟踪瞄准控制方法
a. 高动态性能云台控制方法
b. 并发多任务强实时调度规划方法
3. 基于视觉SLAM的目标重建和景深估计方法
a. RGBD图像信息与三维点云配准,实现对特定目标的重建
b. 动静态目标的识别和深度估计
c. 实现长距离目标重建
4. 基于眼动交互的目标实时识别追踪软硬件设计
a. 对敌方战车或英雄的高精度动态识别跟踪
b. 基于AR眼镜的眼动观瞄头盔,实现高效、强实时的人机交互
项目成果
本项目完成了既定任务指标。在硬件与减振设计方面,完成了野外机器人机械结构建模,设计了相机云台半主动减振台机械结构,仿真验证了相机云台半主动减振可行性。在环境感知方面,结合多传感器融合信息,采用基于ORB特征点的SLAM方法完成了环境地图的实时构建并进行目标深度估计。在眼动人机交互方面,完成交互系统相关硬件选型,设计了多模型融合目标识别方案,建立了边缘计算平台。在自动跟踪瞄准控制方面,设计了分布式并发多任务的强实时调度规划方案,完成了整体框架的制定。根据项目成果撰写了《动态场景下基于多传感器融合的巷战机器人景深估计方法》、《野外机器人相机云台半主动减振消抖装置》专利2篇。