当前位置 :

新闻中心

我实验室空时信号处理研究团队成功研发面向中国手语的中等规模孤立词汇识别系统

  语音及语言信息处理国家工程实验室空时信号处理研究方向叶中付教授领导的研究小组在促进手语使用者交流智能化方面取得了一定进展,利用微软Kinect2.0体感设备研发了面向中国手语的中等规模孤立词汇识别系统。

  该研究小组建立了一个包含500个标准中国手语日常交流词汇的中等规模手语词汇库,其中每个词汇由多人共计录制100个样本,基于此词汇库训练了基于隐马尔科夫的中国手语孤立词汇识别模型,并在此基础上搭建了中国手语孤立词在线识别系统。该系统由手语数据前端处理和在线词汇识别两部分组成,手语数据手势前端处理部分主要包含手语视频的获取与切分、手部检测与跟踪、运动轨迹特征和手形特征的提取等,在线词汇识别部分通过训练得到的模型对经过前端处理的输入数据进行建模,以文本的形式实时输出识别结果。

  该系统实时性好,在线正确识别率可达到92%,为手语使用者提供了一个实时稳健的交互平台。该研究小组将在提高识别率和连续语句识别方面继续开展研究。