基于发音特征的音视频说话人识别鲁棒性的研究

陈雁翔; 刘鸣

您当前的位置：

首页 >

文章列表页 >

基于发音特征的音视频说话人识别鲁棒性的研究

科研通信 | 更新时间：2025-07-16

- 基于发音特征的音视频说话人识别鲁棒性的研究
- Research on Robustness of Audio-Visual Speaker Recognition Based on Articulatory Features
- 电子学报 2010年38卷第12期页码：2920-2924
- 作者机构：
  
  1. 合肥工业大学计算机与信息学院,安徽,合肥,230009
  2. 伊利诺伊大学香槟分校电子计算机工程系,伊利诺伊州,61801
  3. 合肥工业大学计算机与信息学院安徽合肥,230009
  4. 伊利诺伊大学香槟分校电子计算机工程系伊利诺伊州,61801
- 作者简介：
- 基金信息：
  
  国家自然科学基金 (No.60672120);安徽省优秀青年科技基金 (No.10040606Y09)
- DOI：
  中图分类号： TN912.34
- 纸质出版：2010
- 稿件说明：
移动端阅览
陈雁翔, 刘鸣. 基于发音特征的音视频说话人识别鲁棒性的研究[J]. 电子学报, 2010,38(12):2920-2924.

CHEN Yan-xiang, LIU Ming. Research on Robustness of Audio-Visual Speaker Recognition Based on Articulatory Features[J]. Acta Electronica Sinica, 2010, 38(12): 2920-2924.
陈雁翔, 刘鸣. 基于发音特征的音视频说话人识别鲁棒性的研究[J]. 电子学报, 2010,38(12):2920-2924. DOI：

CHEN Yan-xiang, LIU Ming. Research on Robustness of Audio-Visual Speaker Recognition Based on Articulatory Features[J]. Acta Electronica Sinica, 2010, 38(12): 2920-2924. DOI：

摘要

人类对语音的感知是多模态的

会同时受到听觉和视觉的影响.以语音及其视觉特征的融合为研究核心

依据发音机理中揭示的音视频之间非同步关联的深层次成因

采用多个发音特征的非同步关联

去描述表面上观察到的音视频之间的非同步

提出了一个基于动态贝叶斯网络的语音与唇动联合模型

并通过音视频双模态的多层次融合

实现了说话人识别系统鲁棒性的提高.音视频双模态数据库上的实验表明了

在不同语音信噪比的条件下多层次融合均达到了更好的性能.

Abstract

Speech perception of human is bimodal because of the simultaneous audible and visible influence.This paper investigates how to fuse speech and visual speech features.From research on articulatory mechanism

the apparently observed audio-visual asynchrony is represented by asynchronous articulatory feature streams.An audio-visual model composed of speech and lip-moving is proposed based on Dynamic Bayesian Network

and then the multi-level fusion is implemented to improve the robustness of speaker recognition system.The experiment for audio-visual bimodal corpus shows that the multi-level fusion can improve the performance at all levels of acoustic signal-to-noise ratio (SNR) from 0 to 30dB.

关键词

Keywords

references

浏览量

1633

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于时频注意力Conformer的多尺度短语音说话人识别模型

全自动中文新闻字幕生成系统的设计与实现

基于自适应小生境混合遗传算法的说话人识别