剑桥大学钱梦洁博士受邀来访实验室并作报告
发布时间:2025-11-07

202511月5日,应语音及语言信息处理国家工程研究中心戴礼荣教授的邀请,剑桥大学工程系机器智能实验室(Machine Intelligence Laboratory)副研究员钱梦洁博士在中国科学技术大学高新区信智楼C301会议室做了题为 Universal Acoustic Adversarial Attacks: From Muting to Controlling Speech Foundation and Language Models”(面向语音基础与语言模型的通用声学对抗攻击:从静音到可控)的学术报告。本次报告由戴礼荣教授主持,科大讯飞相关研究员及我校信息学院部分师生到场聆听并参与交流。

钱梦洁博士围绕“语音大模型的安全与鲁棒性”主题,系统介绍了其团队近期在通用声学对抗攻击(universal acoustic adversarial attacks)方面的系列研究成果。她首先指出,随着大型语音基础模型(Speech Foundation Models)和语音大语言模型(Speech LLMs)的快速发展,语音理解与多任务处理的灵活性显著提升,但同时也带来了新的安全隐患。为此,她团队提出了可在多模型、多任务、多语种场景中泛化的通用声学对抗扰动方法,通过在任意输入语音前附加短暂的对抗段即可实现攻击,无需访问模型内部结构或参数。

报告中,钱博士分别展示了三类代表性研究:

Muting Attack —— 通过通用对抗段迫使模型“静音”,即产生空输出;

Controlling Attack —— 将原任务(如转写)转化为其他任务(如翻译);

Selective Attack —— 根据特定语音属性(如说话人性别、语种)触发攻击。

这些工作揭示了WhisperQwen2-AudioGranite-Speech等先进模型在跨任务与跨语种条件下的潜在脆弱性,为语音与多模态大模型的安全防护和鲁棒性提升提供了重要参考。报告过程中,钱博士还播放了多段实际攻击演示音频,直观展示了通用扰动在真实场景中的效果,激发了在场师生的热烈讨论。

最后,钱博士展望了未来在语音模型安全评估、鲁棒训练及多模态安全防御方向的研究前景,并耐心回答了现场师生的提问。整场报告内容丰富、启发性强,在热烈的交流与掌声中圆满结束。

【个人介绍】

钱梦洁博士现为剑桥大学工程系机器智能实验室(Machine Intelligence Laboratory)副研究员。她的研究兴趣包括自动语音识别(ASR)、语言建模(LM)与自然语言处理(NLP),近期关注语音基础模型在教育与医疗中的应用。钱博士于2021年在英国伯明翰大学获工学博士学位,导师为Martin Russell教授与Peter Jančovič博士;2014年毕业于中国科学技术大学电子工程与信息科学系,获学士学位。她亦是ISCA教育类口语语言技术特别兴趣组(SLaTE SIG)的组织委员会成员。