多模态研究团队荣获国际顶级会议ECCV 2022 深空探测下的航天器识别大赛全部两项冠军
发布时间:2022-08-02

2022520日至2022722日,由计算机视觉三大顶会之一ECCV(European Conference on Computer Vision,如图1)主办的第二届基于航天知识的航天器识别大赛(Spacecraft Recognition Leveraging Knowledge of Space Environment 2022,以下简称SPARK 2022)暨智能深空探测国际研讨会(Artificial Intelligence for Space Workshop,以下简称AI4SPACE)行了系列挑战赛,并于近日公布了排名结果。

1 ECCV 2022 国际会议

ECCV是计算机视觉的国际顶级会议,与CVPR(IEEE/CVF Conference on Computer Vision and Pattern Recognition)ICCV(IEEE/CVF International Conference on Computer Vision)共称为计算机视觉三大顶会,其影响力在推动计算机视觉发展过程中举足轻重。该会议吸引了全球海内外众多优秀研究者与研究机构参与进来,出产世界最顶尖的优秀视觉科研成果,探讨前沿的视觉技术成果,为学术界与科技界提供了相互交流的平台。

2 ECCV SPARK challenge and AI4SPACE workshop


获取有关绕地球运行的物体信息和知识称为空间态势感知(SSA)。由于欧洲航天局(ESA)和美国国家航空航天局(NASA)等的多项大型倡议,空间定位已成为一个重要研究课题。视觉传感器是SSA的重要信息源,尤其适用于航天器导航和交互操作,其中两颗卫星将在同一轨道上会合并执行近距离操作,例如对接、空间加油和卫星服务。此外,基于视觉的目标识别是SSA的重要组成部分,也是实现空间自主性的关键一步。然而,尽管基于图像的物体识别总体上取得了重大进展,但针对空间环境进行的测试或设计却很少。缺乏足够的标记空间数据限制了科技界研究数据驱动空间物体识别方法的努力。事实上,与地面应用相比,星载成像的质量在很大程度上取决于许多特定因素,例如不同照明条件、低信噪比和高对比度。本次大赛意在鼓励参赛者针对复杂航天环境设计识别算法。

SPARK 2022设置了两大赛道。具体包括赛道1:航天器识别(Spacecraft Detection),和赛道2:航天器轨迹估计(Spacecraft Trajectory Estimation)。经过2个多月的激烈角逐,由语音及语言信息处理国家研究中心多模态研究室於俊老师带领的中国科大参赛团队(以下简称USTC-IAT-United团队)取得了优异成绩,在全部两个赛道中均斩获冠军(34。对应的竞赛网址:https://codalab.lisn.upsaclay.fr/competitions/5538, https://codalab.lisn.upsaclay.fr/competitions/5539)。团队工作由於俊老师指导研究生李艺豪等人完成。


3  Spacecraft Detection排行榜前5



4  Spacecraft Trajectory Estimation排行榜前5



USTC-IAT-United团队针对不同的赛道分别提出了特色解决方案。

对于赛道一的航天器检测任务,团队采用了目前先进的目标检测框架,并针对外太空暗环境提出了新的数据增强方法,即通过增强前背景的对比度实现太空中物体的光线增强以凸显航天器的纹理,进而易于检测器学习和感知航天器。团队最终实现了mAP 95.4的优异成绩,获得了赛道第一名。

对于赛道二,团队将轨迹估计问题转化为6D姿态估计问题。利用多视角图像首先重建出物体的三维模型并选取模型中的关键点,然后将关键点投影到每张图像中以训练所设计的高分辨率RGB 关键点检测网络。在推理过程,利用该检测网络能够构造出经典的PNP优化问题,从而通过求解该优化问题能够有效地获取航天器在飞行时的姿态,获得了赛道第一名。

本次大赛吸引了全球包括中国科学技术大学、厦门大学等近百所国内外高校、科研院所参与。

上述工作得到了国家自然科学基金联合基金、安徽省重点研发计划、中国科大探索类基金、中国人工智能学会华为学术奖励基金等项目的支持。