我是来自2020级计算机科学与技术专业的孙立强，曾担任过战队2021赛季RMUT、2022赛季RMUL的队长、2023赛季RMUL的顾问、2023赛季RMUC的检录技术裁判。在此给想要参与到这个赛事中视觉算法方向的同学一个概念指引。
有想法的同学可以关注战队的宣传渠道或者直接邮箱联系：Limesn@outlook.com

Image description

战队介绍

首先先简单介绍一下代表成都大学的参加RoboMaster机甲大师赛的战队——Ultra
战队有机械工程学院、电子信息及自动化学院、计算机学院、商学院等不同学院的同学，战队同学的年级组成分布于大一至大四。在队内根据队员的兴趣方向，分为机械组、电控组、硬件组、算法组、运营组。战队拥有3D打印机、CNC雕刻机、激光切割机等诸多设备的使用权限，在2023赛季战队整体规模达60余人，未来或扩充至100人以上。
欢迎关注战队运营的微信公众号及Bilibili账号，以获取最新的招新、技术日常等资讯。
Bilibili：https://space.bilibili.com/1402799613
微信公众号【成大ultra战队】二维码：

也欢迎关注比赛的官方网站：https://www.robomaster.com/zh-CN
以及官方的技术论坛：https://bbs.robomaster.com/portal.php

战队相关的新闻

RoboMaster赛事介绍

RoboMaster 机甲大师高校系列赛（RMU, RoboMaster University Series ），由大疆创新发起，作为全国大学生机器人大赛旗下赛事之一，是专为全球科技爱好者打造的机器人竞技与学术交流平台。自2013年创办至今，始终秉承“为青春赋予荣耀，让思考拥有力量，服务全球青年工程师成为追求极致、有实干精神的梦想家”的理念，致力于培养与吸纳具有工程思维的综合素质人才，并将科技之美、科技创新理念向公众广泛传递。

平台要求参赛队员走出课堂，组成机甲战队，自主研发制作多种机器人参与团队竞技。他们将通过大赛获得宝贵的实践技能和战略思维，在激烈的竞争中打造先进的智能机器人。高校系列赛的规模逐年扩大，每年吸引全球400余所高等院校参赛、累计向社会输送4.5万名青年工程师，并与数百所高校开展各类人才培养、实验室共建等产学研合作项目。

RoboMaster赛事设置

超级对抗赛（RMUC）

超级对抗赛由DJI 大疆创新发起并承办，面向全球高校学子开放。作为全球首个射击对抗类的机器人比赛，在其诞生伊始就凭借其颠覆传统的机器人比赛方式、震撼人心的视听冲击力、激烈硬朗的竞技风格吸引到全球数百所高等院校、近千家高新科技企业以及数以万计的科技爱好者的深度关注。
RoboMaster 机甲大师超级对抗赛（RMUC, RoboMaster University Championship），侧重考察参赛队员对理工学科的综合应用与工程实践能力，充分融合了“机器视觉”、“嵌入式系统设计”、“机械控制”、“惯性导航”、“人机交互”等众多机器人相关技术学科，同时创新性的将电竞呈现方式与机器人竞技相结合，使机器人对抗更加直观激烈，吸引了众多的科技爱好者和社会公众的广泛关注。
规则概述
在2023赛季中，对战双方需自主研发不同种类和功能的机器人，在指定的比赛场地内进行战术对抗，通过操控机器人发射弹丸攻击敌方机器人和基地。比赛结束时，基地剩余血量高的一方获得比赛胜利。

高校联盟赛（RMUL）

RoboMaster 机甲大师高校联盟赛（RMUL, RoboMaster University League）由地方学术机构及高校申办，辐射周边高校参赛，旨在促进区域性高校机器人技术交流，形成浓厚的学术氛围，为地区科技创新发展助力。参赛队伍还可通过积分体系晋级到超级对抗赛。
规则概述
在2023赛季中，设置步兵对抗赛和3V3对抗赛。
步兵对抗赛中，双方步兵机器人在战场中进行1V1对抗，射击敌方装甲模块，比赛结束时，步兵机器人剩余血量高的队伍获胜。
3V3对抗赛中，对战双方需自主研发步兵机器人、英雄机器人及哨兵机器人，在指定的比赛场地内进行战术对抗，通过操控机器人发射弹丸攻击敌方机器人和基地。比赛结束时，基地剩余血量高的一方获得比赛胜利。

概述

在RoboMaster的比赛中，视觉主要发挥的作用有一下几点，这里做简要的说明，后续会有详细的说明：

识别敌方装甲板，自动控制子弹准确命中。（敌方装甲板包括敌方机器人、前哨战装甲板、基地装甲板等等）
识别场地BUFF，自动控制子弹准确命中。（场地BUFF一般指的是场地中心的能量机关）
识别基地引导灯，自动控制飞镖飞行姿态，准确命中基地。（20赛季新加入的元素：飞镖）
识别敌方飞镖，自动击落敌方飞镖，难度较大。（20赛季新加入的元素：飞镖）
识别矿石，自动控制工程车对矿石的抓取和矿石兑换（主要用于矿石的兑换）。
识别敌方车辆位置，通过自制的雷达站回馈的数据解析车辆在比赛场地的坐标，为队伍提供上帝视角。（20赛季新加入的元素：雷达站）

以上1-4点都是射击控制类的应用，类似FPS游戏中的锁头挂。以上5-6点则是辅助类的应用。

需要注意的是，RoboMaster的规则每年都会有一定程度的更新，需要结合当年的赛事规则来判断当年视觉需要达成的技术目标，以上的技术目标仅仅是在2023赛季中需要的。

以下的指引均是按照2023赛季的规则来进行阐述的，在具体的实现过程一定要吃透规则
赛事规则即为需求文档
赛事公告：https://www.robomaster.com/zh-CN/resource/announcement/competition

建议看湖南大学的教程文档，更为详细。链接在本文末尾部分。

1、装甲板识别

装甲板识别分为传统视觉方法和深度学习方法

传统视觉方案

传统视觉系统结构
其核心是使用OpenCV中的库函数进行图像处理：例如二值化、膨胀和腐蚀、寻找轮廓、匹配筛选，也会利用SVM之类的数字识别来进行目标的筛选，获取图像中真正的装甲板目标。最后利用这些识别到的信息，再结合PNP算法解算出云台的姿态并将数据发送给用于机器人控制的单片机。
传统视觉的优势是对运算平台的性能要求低，运算速度快，缺点是对场地光线要求高，一旦环境光线变化了，就需要调整相应的参数以适应新环境。

深度学习方案

深度学习方法主要采用YOLO，而目前再RoboMaster中比较好的技术是上海交通大学改进的YOLOv5的解算方案，可以训练得到能检测四个角点的网络，而不只是标注一个标准的矩形框。
基于深度学习的目标检测方法最显著的特点就是泛化性能好，对于复杂的光线条件能够通过扩充相应数据集的方法来解决，也可以加入负样本防止误识别。其部署也不是什么难事

2、能量机关识别

在比赛场地的中央有一个风车形状的场地道具，就是能量机关。它也被称作”风车“、”神符系统“或”大符“（大能量机关）”小符“（小能量机关）。能量机关的激活点是我方高地处的一个高台，距能量机关7m。我们需要用小弹丸按顺序连续击中五片随机亮起的扇叶的末端装甲板才可以激活能量机关。目前能量机关进行了一次迭代，扇叶末端的传感器可以检测击中的环数，越靠近中心点分数越高。

小能量机关：比赛开始一分钟后和比赛开始两分三十秒后（即倒计时为 5:59 和 4:29），能量机关开始旋转，进入可激活状态，能量机关进入可激活状态 30 秒后，若其仍未被激活，则将恢复为不可激活状态。若一方小能量机关进入已激活状态，另一方小能量机关立即变为不可激活状态。一方机器人成功激活小能量机关后，该方所有机器人获得 25%的防御增益，持续 45 秒。当次小能量机关增益失效时，该方在增益持续时间内对对方机器人造成的累计伤害将转化为经验，平均分给当时存活的英雄和步兵机器人，转化比例为伤害：经验=10:1，最高转化经验上限为 100。
大能量机关：比赛开始四分钟、五分十五秒、六分三十秒后（即倒计时 2:59、1:44、0:29），能量机关开始旋转，进入可激活状态，能量机关进入可激活状态 30 秒后，若其仍未被激活，则将恢复为不可激活状态。大能量机关的每块装甲模块被划分为 1₁₀ 环。一方机器人激活大能量机关后，系统将根据其击中的总环数为该方所有机器人提供相应的攻击力和防御增益。

由于图传模块使用的是广角镜头，因此从操作手的第一视角看来五片扇叶的间距非常小，再加上遥控的延迟，难以通过鼠标移动来进行打击，并且小能量机关处于匀速旋转的状态，大能量机关更是以 0.785sin(1.884t)+1.305 的角速度旋转（在2022赛季其旋转角速度已经修改为Asin(wt+\theta)+B，上式的四个参数都是在一定范围内随机初始化的），操作手很难预测其运动轨迹。两片扇叶之间的击打间隔必须小于2s，否则能量机关将会重置回到初始状态，之前已经击打成功亮起的扇叶会直接熄灭。这便需要视觉组设计算法来识别未被击打过的末端装甲板并对其实现自动瞄准，找准时机控制子弹的发射从而实现自动击打能量机关。
能量机关任务对视觉来说可以分为两个部分：扇叶识别和运动状态拟合。首先需要识别出待击打的扇叶，然后利用包括能量机关的旋转速度、能量机关的几何尺寸等已知信息预测出一段时间后的目标位置，进而发送给下位机实现击打。对于大能量机关，我们还需要辨识出被随机初始化的四个用于确定旋转角速度的参数：幅值、角频率、初相和角速度常数。扇叶识别的任务和装甲板识别非常相似，难度更是有过之而无不及，因为在激活点看向能量机关，背景处常有形式复杂多样的光线干扰。运动状态拟合则需要综合信号处理、傅里叶分析、非线性优化等知识。
除了激活我方的能量机关，我们还可以在对手激活能量机关的过程中干扰对手。在能量机关的激活的规则中规定：倘若击打了错误的扇叶（如已经击打过的扇叶或尚未亮起的扇叶），能量机关会将进行重置，因此，我们可以进入敌方半场，通过识别对手已经激活的扇叶并自动瞄准它，发射子弹击中错误的装甲板进而触发重置以干扰对手的激活过程。

3、飞镖制导

飞镖镖体

对于机械和控制组的同学来说，空气动力学在本科阶段是较为复杂的领域，镖体设计、发射方式等都需要经过精心地设计，由于依赖经验和试错，大量的实验是不可避免的。对于视觉组的同学来说，为了实现主动制导，我们需要给飞镖一个打击的目标。前哨战和基地顶部各有一个特殊的装甲板以及一枚绿色引导灯，这可以作为我们的参考对象。
由于规则（制作规范手册）对飞镖镖体的体积和重量都有限制，我们只能选用一些片上系统作为运算平台，并且尽可能地精简算法以提高识别帧率，毕竟飞镖的速度最快可以达到18m/s，而发射站距离前哨战只有16.3m左右的距离！
我也有一个思路是将运算平台安置在飞镖发射架上，使用光纤通信的方式，获取图像数据并控制镖体本身的运动，类似于光纤制导。

4、飞镖反导

其主要思路是在哨兵、步兵、无人机这类拥有17mm发射机构的机器人上实现对空中快速移动的飞镖进行识别预测，再使用弹丸进行射击，使其偏离原来的飞行弹道。

5、工程机器人操作辅助

工程机器人在本赛季的任务主要有：抓取矿石、兑换矿石、移动障碍块以及救援阵亡机器人。这里的每一步都可以利用视觉识别以完成自动化。
在抓取矿石的时候，可以在工程机器人的机械爪上安装可见光相机、测距传感器等，再编写相关的算法来识别矿石，实现自动对位和自动夹取。在技术交流中，上交、东大等惊艳全场的“空接矿石”依赖的就是自动识别矿石的算法。
金矿和银矿
在兑换矿石时，当且仅当矿石下方二维码处的RFID被兑换站扫描到之后再推入，才视为兑换成功。而工程机器人在抓取矿石的时候无法保证矿石的朝向始终正确，因此可以通过识别矿石的姿态来自动翻转矿石。同时，根据兑换站上的一些图像特征，还可以定位扫描矿石窗口的位置，来快速地完成自动化兑换，不需要操作手手动控制机器人以提高效率。
矿石下方的二维码，内嵌一个射频模组；二维码一样能够当作特征作为检测对象
障碍块夹取算法的设计与矿石识别算法如出一辙。通过移动障碍块，我们可以改变战场的地形来阻挡对手的推进或保护我方机器人。
障碍块
其定位标签和矿石相似，因此识别算法基本可以复用
复活
在我方机器人阵亡后，可以通过两种方式复活阵亡机器人：工程机器人将其拖回基地旁的补血点（被称作”回家复活“）或是让工程机器人所携带的复活卡（RFID射频卡）和其他机器人上的场地交互模块接触（被称作“刷卡复活”）。在这两种情况下，都可以通过编写视觉算法来实现快速准确地救援。可以在工程机器人的救援机构（夹爪、电磁铁）旁安装相机，并在其他机器人上黏贴二维码、ArUco等或利用已有的特征，通过算法识别对应特征从而进行对位，将工程车的救援机构（夹爪、电磁铁等）对准待施救的阵亡机器人上的救援结构（如环、柱、磁铁等），让工程机器人自动套牢阵亡的机器人，随后就可以把阵亡机器人抬走了（或者原地刷卡复活）。

6、雷达站

中国科学技术大学雷达站
雷达是2020赛季新增的兵种，被放置在场边的一处高地上，拥有全局视野。利用目标检测算法和三维重建、反向投影等，可以定位敌方机器人在场上的位置。随后，我们能利用这些信息为我方制作一张实时更新的“小地图”，掌握对方机器人的动向，以帮助我方操作手进行战术决策，做到知己知彼而百战不殆。
雷达在将全局数据处理后，还能通过多机通信功能和己方的自动机器人如哨兵、自动步兵进行通信，相当于为它们开了一双“天眼”。这无疑是极大地增强了这些自动单位的感知能力和决策能力(我愿称之为云计算!)，通过机间通信使得机器人不再受到边缘计算平台计算能力潺弱的限制，让算法火力全开，也让我们离全自动机器人战队又更近了一步。

可以参考上海交通大学的雷达站，基本功能都已经实现，API封装的很好，通信功能也很完善，适合在其上进一步开发。

技术要求及学习方向参考：

1、编程语言：C++、Python
2、编程能力or技巧：多线程（必须）、C++进阶（非必须）、可视化（非必须）
3、各类编程库：

OpenCV（必须）
Eigen（矩阵运算库，非必须，但推荐掌握）
Boost（C++扩展库，非必须）
QT（C++GUI库，同时集成各类常用功能，非必须）
Pytorch/TensorFlow/Caffe/Keras（深度学习训练，非必须。如果想用，推荐使用Pytorch，极其不推荐TensorFlow）
TensorRT/TVM/OpenVINO（深度学习部署，非必须。如果想用，N卡推荐TensorRT）

4、ROS/ROS2（分布式环境，非必须，不太推荐使用在RoboMaster的视觉应用中。如果想用，推荐ROS2）
5、嵌入式开发（非必须）
6、Linux基本使用，如：命令行、包管理、自启动（必须，建议使用Ubuntu18.04）
7、CMake基本使用（非必须，但推荐掌握）
8、git和github基本使用（非必须，但推荐掌握）
9、相机硬件相关知识，如：选型，图像采集方式，各种性能参数（必须）
10、相机软件相关知识，如：相机标定、成像模型，调参方式（必须）
11、坐标变换（非必须，但推荐掌握）
12、陀螺仪（非必须，但推荐掌握）
13、各类滤波算法或优化算法（非必须，但推荐掌握）
14、串口通信或是CAN通信的简单原理和库函数要有所了解

注意的点

一定要和队伍的电控相关的负责人确定通信的协议及数据包的格式，做好对接
由于预算或规则（功率和尺寸）的限制，运算的平台并不能随心所欲的使用，需要依照已有的平台设备进行开发

教程文档链接

来自湖南大学——跃鹿战队的教程文档（PDF）：https://pan.baidu.com/s/1P14Nqd0BArwrF9ncevzwVw?pwd=6666
讲解的非常全面，关于视觉的一切都可以在这里面找到方向

https://sjtu-robomaster-team.github.io/vision-learning-1-overview/

https://blog.csdn.net/neozng/category_11397138.html

https://blog.csdn.net/weixin_45685193/article/details/123112639