语音情感计算及多模态交互研究团队荣获国际顶级会议ACM MM、ECCV、IEEE ICME 2020系列挑战赛两金一银
发布时间:2020-12-03

近日,由来自中国科学技术大学信息学院自动化系、语音及语言信息处理国家工程实验室语音情感计算及多模态交互研究室所组成的研究团队(以下简称USTC-NELSLIP参赛团队)荣获国际顶级会议ACM MM、ECCV、IEEE ICME 2020系列挑战赛两金一银。显示了该团队在图像检测、识别和检索方面的综合强大实力。

2020年10月16日,中国计算机学会A类国际顶级会议ACM Multimedia主办的“AI Meets Beauty”图像检索挑战赛举行了颁奖典礼。由中国科学技术大学信息学院自动化系、语音及语言信息处理国家工程实验室语音情感计算及多模态交互研究室的於俊老师和硕士研究生谢国辰、李梦岩、谢皓年、郝鑫龙以及来自广西大学的合作者组成的USTC-NELSLIP团队最终战胜其它参赛队伍,斩获冠军。

 ACM MM 2020获奖证书




在此次比赛中,主办方提供了规模超过50万张的美妆产品数据库Perfect-500K,并要求根据给定的待检索图像,准确地从数据库中检索出相同产品。针对这一问题,USTC-NELSLIP团队通过对数据集的分析和探究实验发现背景对于最终结果有着较大影响,并由此引入注意力机制改进了全局和局部的特征描述子,提升了描述子的表示性和鲁棒性。为获得更好的检索性能,该团队进一步对全局和局部特征进行了融合。最终团队提出的方案以较大优势击败其它队伍,勇夺第一名。


1606979314731368.jpg

算法流程图



 ACM MM 2020竞赛排行榜


ACM Multimedia是中国计算机学会认定的多媒体领域唯一A类会议,也是国际多媒体领域广泛认可的会议。因此,此次比赛吸引了包括南洋理工大学、台湾大学、北京邮电大学、广东工业大学、中国科学技术大学等在内的国内外多所知名院校的师生组成的数百只队伍参与,竞争异常激烈。USTC-NELSLIP团队能在此次竞赛中脱颖而出,显得殊为不易。值得注意的是,此团队中指导老师於俊,以及参赛队员谢国辰、李梦岩、谢皓年等人也曾于2019年参与此项竞赛,并也最终获得了冠军。

 




2020年8月23-28日期间,国际顶级会议-欧洲计算机视觉国际会议(以下简称ECCV 2020)主办的无偏见人脸识别挑战赛(以下称“Looking at People Fair FaceRecognition challenge”)举行了颁奖典礼。USTC-NELSLIP参赛团队在挑战赛中斩获第二名的佳绩。团队工作由於俊副教授指导研究生郝鑫龙、谢皓年等完成。


 ECCV 2020获奖证书


ECCV的全称是EuropeanConference on Computer Vision(欧洲计算机视觉国际会议) ,两年一次,是计算机视觉三大会议(另外两个是ICCV和CVPR)之一。近年来随着计算机视觉技术的发展,人脸识别也取得了很高的性能,然而随着其越来越广泛的应用,其潜在的不公平性引起了人们的警觉,为了消除人脸识别模型对于不同性别以及肤色的性能差异,在该会议上举办的“Lookingat People Fair Face Recognition challenge”,构建了一个新的人脸数据集,该数据集正确标注了性别和肤色,此外来自同一受试者ID的样本,在分辨率,头部姿势,照明,背景和遮挡方面显示出较高的类内变异性。这也加大了该竞赛的难度。针对这些挑战,该竞赛要求参赛者设计在不同肤色和性别的人群内识别性能都相似的无偏人脸识别模型。

解决方案流程图


在竞赛中,USTC-NELSLIP参赛团队首先对数据集进行分析,由于提供的人脸数据集包含大量额外的背景,团队首先采用DualShot Face Detector (DSFD)对目标人脸进行检测,然后做裁剪后处理得到所需要的目标人脸图像,该方法是进行后续识别的基础。为了解决数据不平衡的问题,USTC-NELSLIP参赛团队采用了对数据进行重采样的方式来缓解这个问题,同时还尝试引入外部数据集来进行数据扩充从而使各类数据分布相对平衡的方式。除此之外,为了进一步提高检测精度减小偏差,团队还采用了数据增强、多模型训练、模型融合等技术。

本次竞赛吸引了包括韩国延世大学、深兰科技、中国科学技术大学等众多国内外著名研究机构及高校的数百只队伍参与,经过激烈的初赛和决赛角逐,USTC-NELSLIP参赛团队荣获了亚军。

 



在本年早些时候,国际旗舰会议-国际多媒体博览会(International Conference on Multimedia Expo,以下简称IEEE ICME)主办的“Embedded Deep Learning Object DetectionModel Compression Competition for Traffic in Asian Countries”挑战赛举行了颁奖典礼,USTC-NELSLIP参赛团队在挑战赛中斩获第一名的成绩。团队由於俊副教授带领,研究生谢皓年、李梦岩、谢国辰等人参与了本次竞赛。

IEEE ICME 由IEEE 四大协会Computer Society、Circuits and SystemSociety、 Signal ProcessingSociety以及CommunicationSociety共同主办,是计算机多媒体领域最重要和权威的两大国际旗舰会议之一,至今已连续举办20届,涵盖文本分析、图形图像、视频处理、语音和音频信号处理等主题。IEEE ICME 2020于今年7月在英国伦敦举行。在该会议上举办的“Embedded DeepLearning Object Detection Model Compression Competition for Traffic in AsianCountries”挑战赛面向智能交通和无人驾驶等场景,旨在征集、设计和评测能在嵌入式等轻量级设备中实时、高精度运行的目标检测模型。为了尽量贴近高性价比等市场化需求,评测的目标不仅包括检测正确率还包括模型大小、计算复杂度和运行速度等。在此基础上,该竞赛提供了广泛收集的亚洲城市的交通图像,并且希望遴选出的优异检测模型能够直接应用到亚洲城市的交通信息分析中去。


在本次竞赛中,我们采用了基于CenterNet的解决方案。CenterNet是一种无需NMS的anchor-free的目标检测算法。其在本次竞赛这种需要高精度实时运行的环境中非常适用。针对CenterNet的特点,我们采用了更有效的Backbone,在减小模型体积和运算量的同时,提高了检测精度;针对数据集特点,我们改进了损失函数以应对不同类别样本数量不均衡问题;最后我们采用了模型蒸馏的方法,通过大模型监督小模型训练,提高了小模型检测精度。综合以上这些改进,我们在此次竞赛中综合表现最佳。


Q1.jpg Q2.jpg

Q3.jpg Q4.jpg

物体检测结果展示


 本次竞赛吸引了包括北卡罗莱纳大学、台湾成功大学、滴滴研究院、北京邮电大学、中国科学技术大学等共133支队伍参与,经过竞争十分激烈的初赛,共有10支队伍进入了决赛。最终在决赛中,USTC-NELSLIP参赛团队荣获了冠军。


竞赛获奖证书



上述系列竞赛得到了国家自然科学基金联合基金、中国科学技术大学探索类基金等项目的支持。