分布式声传感器阵列校准方法综述

王睿; 陈喆; 殷福亮

doi:10.12263/DZXB.20201088

您当前的位置：

首页 >

文章列表页 >

分布式声传感器阵列校准方法综述

综述评论 | 更新时间：2025-12-08

- 分布式声传感器阵列校准方法综述
- Review on Calibration of Distributed Acoustic Sensor Arrays
- 电子学报 2021年49卷第12期页码：2468-2478
- 作者机构：
  
  大连理工大学信息与通信工程学院, 辽宁大连 116024
- 作者简介：
  
  [ "王　睿　女，1989年生于辽宁省阜新市.现为大连理工大学信息与通信工程学院博士研究生.主要研究方向为阵列信号处理.E‑mail: wangr1989@mail.dlut.edu.cn" ]
  [ "陈　喆　男，1975年生于黑龙江省泰来县.现为大连理工大学信息与通信工程学院教授.主要研究方向为音频信号处理、图像处理和宽带无线通信.E‑mail: zhechen@dlut.edu.cn" ]
  [ "殷福亮　男，1962年11月生于辽宁省抚顺市.现为大连理工大学信息与通信工程学院教授. 研究方向为音频信号处理、图像处理和宽带无线通信.E‑mail: flyin@dlut.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(61771091;61871066);国家863高技术研究发展计划(2015AA016306);辽宁省自然科学基金(20170540159);中央高校基本科研业务费(DUT17LAB04)
- DOI：10.12263/DZXB.20201088
  中图分类号： TN912.2
- 收稿：2020-09-30，
  
  修回：2020-12-17，
  
  纸质出版：2021-12-25
- 稿件说明：
移动端阅览
王睿,陈喆,殷福亮.分布式声传感器阵列校准方法综述[J].电子学报,2021,49(12):2468-2478.

WANG Rui,CHEN Zhe,YIN Fu-liang.Review on Calibration of Distributed Acoustic Sensor Arrays[J].ACTA ELECTRONICA SINICA,2021,49(12):2468-2478.
王睿,陈喆,殷福亮.分布式声传感器阵列校准方法综述[J].电子学报,2021,49(12):2468-2478. DOI： 10.12263/DZXB.20201088.

WANG Rui,CHEN Zhe,YIN Fu-liang.Review on Calibration of Distributed Acoustic Sensor Arrays[J].ACTA ELECTRONICA SINICA,2021,49(12):2468-2478. DOI： 10.12263/DZXB.20201088.

摘要

分布式声传感器阵列在军事侦察、公共安全监控和人机交互等领域应用广泛.但时钟异步、频率响应失配和节点位置未知问题严重影响后续基于分布式声传感器阵列的语音处理算法的性能，因此近年来学者们热衷于研究校准这三类阵列失配问题的方法.首先，本文介绍了导致分布式声传感器网络各类失配问题的原因和三类问题解决的先后顺序.然后，将现有的解决三类问题的方法进行了综述.其中，时钟同步方法主要包括基于时间戳交换和短时傅里叶变换域线性相位漂移的方法，频率响应校准方法主要包括基于声源导向矢量和自适应滤波器的方法，节点位置/位姿校准方法则主要包括基于节点间几何构型和深度学习的方法.最后，给出了本领域未来研究的方向.

Abstract

Distributed acoustic sensor arrays have been widely employed in many applications

such as military reconnaissance

security monitoring

man-machine interaction

etc. However

the problems of clock asynchrony

frequency response mismatch and unknown node location seriously affect the performance of subsequent speech processing algorithms based on distributed acoustic sensor arrays. Therefore

scholars have been keen to study calibration methods for these three problems in recent years. This article first introduces the causes of these mismatch problems and the sequence of solving the three problems. Then

the existing methods for these three problems are reviewed. Specifically

clock synchronization methods mainly include methods based on timestamp exchange and linear phase shift in short‑time Fourier transform domain

frequency response calibration methods mainly include methods based on steering vector of sound source and adaptive filter

and node position/pose calibration methods mainly include methods based on geometric configuration among nodes and deep learning. Finally

the future research directions are provided.

关键词

Keywords

references

Liu H ， McLachlan D ， Wang D . Overview of wireless microphones—Part I： System and technologies ［J］. IEEE Transactions on Broadcasting ， 2015 ， 61 （ 3 ）： 494 - 504 .

Bertrand A . Applications and trends in wireless acoustic sensor networks： A signal processing perspective ［A］. IEEE Symposium on Communications and Vehicular Technology ［C］. Ghent， Belgium ： IEEE Vehicular Technology/Communications Society ， 2011 . 1 - 6 .

Thiergart O ， Galdo G D ， Taseska M ， Habets E A P . Geometry‑based spatial sound acquisition using distributed microphone arrays ［J］. IEEE Transactions on Audio Speech and Language Processing ， 2013 ， 21 （ 12 ）： 2583 - 2594 .

Doclo S ， Moonen M . Superdirective beamforming robust against microphone mismatch ［J］. IEEE Transactions on Audio Speech and Language Processing ， 2007 ， 15 （ 2 ）： 617 - 631 .

Simeone O ， Spagnolini U ， Scutari G ， Bar‑Ness Y . Physical‑layer distributed synchronization in wireless networks and applications ［J］. Physical Communication ， 2008 ， 1 （ 1 ）： 67 - 83 .

Zhong X ， Hopgood J R . A time‑frequency masking based random finite set particle filtering method for multiple acoustic source detection and tracking ［J］. IEEE/ACM Transactions on Audio Speech ， and Language Processing， 2015 ， 23 （ 12 ）： 2356 - 2370 .

张九宾，张丕状，杜坤坤 . 无线分布式测试系统时间统一技术的研究［J］. 核电子学与探测技术， 2010 ， 30 （ 3 ）： 380 - 384 .

Zhang Jiubin ， Zhang Pizhuang ， Du Kunkun . The research of wireless distributional test system time synchronization technology ［J］. Nuclear Electronics and Detection Technology ， 2010 ， 30 （ 3 ）： 380 - 384 . （in Chinese）

Chaudhari Q M . A simple and robust clock synchronization scheme ［J］. IEEE Transactions on Communications ， 2012 ， 60 （ 2 ）： 328 - 332 .

Schmalenstroeer J ， Haeb‑Umbach R . Sampling rate synchronization in acoustic sensor networks with a pre‑trained clock skew error model ［A］. European Signal Processing Conference ［C］. Morocco ： IEEE Signal Processing Society ， 2013 . 1 - 5 .

Schmalenstroeer J ， Jebramcik P ， Haeb‑Umbach R . A gossiping approach to sampling clock synchronization in wireless acoustic sensor networks ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Florence ： IEEE Signal Processing Society ， 2014 . 7575 - 7579 .

Miyabe S ， Ono N ， Makino S . Blind compensation of inter‑channel sampling frequency mismatch with maximum likelihood estimation in STFT domain ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Vancouver， Canada ： IEEE Signal Processing Society ， 2013 . 674 - 678 .

Wang L ， Doclo S . Correlation maximization‑based sampling rate offset estimation for distributed microphone arrays ［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing ， 2016 ， 24 （ 3 ）： 571 - 582 .

Cherkassky D ， Markovich‑Golan S ， Gannot S . Performance analysis of MVDR beamformer in WASN with sampling rate offsets and blind synchronization ［A］. European Signal Processing Conference ［C］. Nice， France ： IEEE Signal Processing Society ， 2015 . 245 - 249 .

Markovich G S ， Gannot S ， Cohen I . Blind sampling rate offset estimation and compensation in wireless acoustic sensor networks with application to beamforming ［A］. International Workshop on Acoustic Signal Enhancement ［C］. Aachen， Germany ： IEEE Signal Processing Society ， 2012 . 1 - 4 .

Bahari M H ， Bertrand A ， Moonen M . Blind sampling rate offset estimation based on coherence drift in wireless acoustic sensor networks ［A］. 2015 European Signal Processing Conference ［C］. Nice， France ： IEEE Signal Processing Society ， 2015 . 2281 - 2285 .

Bahari M H ， Bertrand A ， Moonen M . Blind sampling rate offset estimation for wireless acoustic sensor networks through weighted least‑squares coherence drift estimation ［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing ， 2017 ， 25 （ 3 ）： 674 - 686 .

Schmalenstroeer J ， Heymann J ， Drude L ， Boeddecker C ， Haeb‑Umbach R . Multi‑stage coherence drift based sampling rate synchronization for acoustic beamforming ［A］. IEEE International Workshop on Multimedia Signal Processing ［C］. Luton， UK ： IEEE Press ， 2017 . 1 - 6 .

Chinaev A ， Thüne P ， Enzner G . A double‑cross‑corre‑ lation processor for blind sampling rate offset estimation in acoustic sensor networks ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］， Brighton， UK ： IEEE Signal Processing Society ， 2019 . 641 - 645 .

Zeng Y ， Hendriks R C ， Gaubitch N D . On clock synchronization for multi‑microphone speech processing in wireless acoustic sensor networks ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Brisbane ： IEEE Signal Processing Society ， 2015 . 231 - 235 .

Erup L ， Gardner F M ， Harris R . A. Interpolation in digital modems. II. Implementation and performance ［J］. IEEE Transactions on Communication ， 1993 ， 41 （ 6 ）： 998 - 1008 .

Robledo‑Arnuncio E ， Wada T S ， Juang B . On dealing with sampling rate mismatches in blind source separation and acoustic echo cancellation ［A］. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics ［C］. New Paltz， USA ： IEEE Press ， 2007 . 34 - 37 .

Schmalenstroeer J ， Haeb‑Umbach R . Efficient sampling rate offset compensation―An overlap‑save based approach ［A］. European Signal Processing Conference ［C］. Rome， Italy ： IEEE Signal Processing Society ， 2018 . 504 - 508 .

Madhu N ， Martin R . Low‑complexity， robust algorithm for sensor anomaly detection and self‑calibration of microphone arrays ［J］. IET Signal Processing ， 2011 ， 5 （ 1 ）： 97 - 103 .

Gaubitch N D ， Kleijn W B ， Heusdens R . Calibration of distributed sound acquisition systems using TOA measurements from a moving acoustic source ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Florence， Italy ： IEEE Signal Processing Society ， 2014 . 7455 - 7459 .

Tashev I . Gain self‑calibration procedure for microphone arrays ［A］. IEEE International Conference on Multimedia and Expo ［C］. Taipei， China ： IEEE Press ， 2004 . 983 - 986 .

Hua T P ， Sugiyama A ， Faucon G . A new self‑calibration technique for adaptive microphone arrays ［J］. IEICE Technical Report Signal Processing ， 2005 ， 105 （ 1 ）： 237 - 240 .

Xiao H ， Shao H ， Peng Q . A new calibration method for microphone array with gain， phase， and position errors ［J］. Journal of Electronic science and Technology of China ， 2007 ， 5 （ 3 ）： 248 - 251 .

Hu D ， Chen Z ， Yin F . Frequency response calibration using multi‑channel Wiener filters for microphone arrays ［J］. IEEE Sensors Journal ， 2019 ， 19 （ 17 ）： 7507 - 7514 .

Wang R ， Chen Z ， Yin F . Adaptive frequency response calibration method for microphone arrays ［J］. IEEE Sensors Journal ， 2020 ， 20 （ 13 ）： 7118 - 7128 .

Oak P ， Kellermann W . A calibration algorithm for robust generalized sidelobe cancelling beamformers ［A］. 2005 IEEE International Workshop on Acoustic Signal Enhancement ［C］. Eindhoven， Netherlands ： IEEE Signal Processing Society ， 2005 . 1 - 4 .

Bertrand A ， Doclo S ， Gannot S ， Ono N . Waterschoot T. Special issue on wireless acoustic sensor networks and ad hoc microphone arrays ［J］. Signal Processing ， 2015 ， 107 （ 2 ）： 1 - 3 .

Ono N ， Kohno H ， Ito N ， Sagayama S . Blind alignment of asynchronously recorded signals for distributed microphone array ［A］. IEEE Workshop Application Signal Processing Audio， Acoustics［C］. New Paltz ， USA ： IEEE Press ， 2009 . 161 - 164 .

Hennecke M H ， Fink G A . Towards acoustic self‑locali‑ zation of ad hoc smartphone arrays ［A］. Joint Workshop on Hands‑free Speech Communication and Microphone Arrays ［C］. Edinburgh， UK ： IEEE Press ， 2011 . 127 - 132 .

Parviainen M ， Pertilä P ， Hämäläinen M S . Self‑localization of wireless acoustic sensors in meeting rooms ［A］. Joint Workshop on Hands‑free Speech Communication and Microphone Arrays ［C］. Villers‑les‑Nancy， France ： IEEE Press ， 2014 . 152 - 156 .

Sachar J M ， Silverman H F ， Patterson W R . Microphone position and gain calibration for a large‑aperture microphone array ［J］. IEEE Transactions on Speech and Audio Processing ， 2005 ， 13 （ 1 ）： 42 - 52 .

Jacob F ， Schmalenstroeer J ， Haeb‑Umbach R . Microphone array position self‑calibration from reverberant speech input ［A］. International Workshop on Acoustic Signal Enhancement ［C］. Aachen， Germany ： IEEE Signal Processing Society ， 2012 . 1 - 4 .

Jacob F ， Schmalenstroeer J ， Haeb‑Umbach R . DOA‑based microphone array position self‑calibration using circular statistics ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Vancouver， Canada ： IEEE Signal Processing Society ， 2013 . 116 - 120 .

Kemper J ， Walter M ， Linde H . Human‑assisted calibration of an angulation based indoor location system ［A］. International Conference on Sensor Technologies and Applications ［C］. Cap Esterel， France ： IEEE Computer Society ， 2008 . 196 - 201 .

Schmalenstroeer J ， Jacob F ， Haeb‑Umbach R ， Hennecke M ， Fink G A . Unsupervised geometry calibration of acoustic sensor networks using source correspondences ［A］. Annual Conference of the International Speech Communication Association ［C］. Florence， Italy ： ISCA Press ， 2011 . 1 - 4 .

Plinge A ， Fink G A . Geometry calibration of distributed microphone arrays exploiting audio‑visual correspondences ［A］. European Signal Processing Conference ［C］. Lisbon， Portugal ： IEEE Signal Processing Society ， 2014 . 116 - 120 .

Plinge A ， Fink G A . Geometry calibration of multiple microphone arrays in highly reverberant environments ［A］. International Workshop on Acoustic Signal Enhancement ［C］. Juan les Pins ： IEEE Press ， 2014 . 243 - 247 .

Plinge A ， Fink G A ， Gannot S . Passive online geometry calibration of acoustic sensor networks ［J］. IEEE Signal Processing Letters ， 2017 ， 24 （ 3 ）： 324 - 328 .

Wang R ， Chen Z ， Yin F . DOA‑based three‑dimensional node geometry calibration and Cramér‑Rao bound analysis in acoustic senor networks ［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing ， 2019 ， 27 （ 9 ）： 1455 - 1468 .

Valente S D ， Tagliasacchi M ， Antonacci F ， Bestagini P ， Sarti A ， Tubaro S ， Milano P . Geometric calibration of distributed microphone arrays from acoustic source correspondences ［A］. IEEE Workshop Multimedia Signal Processing ［C］. Saint Malo， France ： IEEE Signal Processing Society ， 2010 . 13 - 18 .

Jacob F ， Haeb‑Umbach R . Coordinate mapping between an acoustic and visual sensor network in the shape domain for a joint self‑calibrating speaker tracking ［A］. ITG Symposium on Speech Communication ［C］. Erlangen， Germany ： VDE ， 2014 . 1 - 4 .

Jacob F ， Haeb‑Umbach R . Absolute geometry calibration of distributed microphone arrays in an audio‑visual sensor network ［J］. Computer Science ， 2015 ， 4 （ 3 ）： 128 - 132 .

Chen Z ， Li Z ， Wang S ， Yin F . A microphone position calibration method based on combination of acoustic energy decay model and TDOA for distributed microphone array ［J］. Applied Acoustics ， 2015 ， 95 （ 8 ）： 13 - 19 .

Crocco M ， Bue A D ， Bustreo M ， Murino V . A closed form solution to the microphone position self‑calibration problem ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Kyoto， Japan ： IEEE Signal Processing Society ， 2012 . 2597 - 2600 .

Crocco M ， Bue A D ， Murino V . A bilinear approach to the position self‑calibration of multiple sensors ［J］. IEEE Transactions on Signal Processing ， 2012 ， 60 （ 2 ）： 660 - 673 .

Gaubitch N D ， Kleijn W B ， Heusdens R . Auto‑localiza‑ tion in ad‑hoc microphone arrays ［A］. IEEE International Conference Acoustics， Speech， and Signal Processing［C］. Vancouver， Canada ： IEEE Signal Processing Society ， 2013 . 106 - 110 .

Wang L ， Hon T ， Reiss J D ， Cavallaro A . Self‑localiza‑ tion of ad‑hoc arrays using time difference of arrivals ［J］. IEEE Transactions on Signal Processing ， 2016 ， 64 （ 4 ）： 1018 - 1033 .

Le T ， Ho K C . Algebraic complete solution for joint source and sensor localization using time of flight measurements ［J］. IEEE Transactions on Signal Processing ， 2020 ， 68 ： 1853 - 1869 .

Hennecke M ， Plötz T ， Fink G A ， Schmalenströer J ， Häb‑Umbach R . A hierarchical approach to unsupervised shape calibration of microphone array networks ［A］. IEEE/SP Workshop on Statistical Signal Processing ［C］. Cardiff， UK ： IEEE Signal Processing Society ， 2009 . 257 - 260 .

Schwartz O ， Plinge A ， Habets E A P ， Gannot S . Blind microphone geometry calibration using one reverberant speech event ［A］. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics ［C］. New Paltz， New York ： IEEE Signal Processing Society ， 2017 . 131 - 135 .

Taghizadeh M J ， Parhizkar R ， Garner P N ， Bourlard H ， Asaei A . Ad hoc microphone array calibration： Euclidean distance matrix completion algorithm and theoretical guarantees ［J］. Signal Processing ， 2014 ， 107 （ 2 ）： 123 - 140 .

Asaei A ， Mohammadiha N ， Taghizadeh M J ， Doclo S ， Bourlard H . On application of non‑negative matrix factorization for ad hoc microphone array calibration from incomplete noisy distances ［A］. IEEE International Conference on Acoustics， Speech， and Signal Processing［C］. South Brisbane ： IEEE Signal Processing Society ， 2015 . 2694 - 2698 .

Bouley S ， Vanwynsberghe C ， Magueresse T L ， Antoni J ， Outrequin A . Microphone array positioning technique with Euclidean distance geometry ［J］. Applied Acoustics ， 2020 ， 167 ： 1 - 11 .

Gburrek T ， Schmalenstroeer J ， Brendel A ， Kellermann W ， Haeb‑Umbach R . Deep neural network based distance estimation for geometry calibration in acoustic sensor networks ［A］. European Signal Processing Conference ［C］. Amsterdam， the Netherlands ： IEEE Signal Processing Society ， 2020 . 1 - 5 .

Cox T F ， Cox M A . Multidimensional Scaling ［M］. London ： Chapman and Hall Press ， 2001 .

Coleman T ， Li Y . An interior trust region approach for nonlinear minimization subject to bounds ［J］. Mathematica ， 1996 ， 6 （ 2 ）： 418 - 445 .

Pertilä P ， Hämäläinen M S ， Mieskolainen M . Passive temporal offset estimation of multichannel recordings of an ad hoc microphone array ［J］. IEEE Transactions on Audio， Speech， and Language Processing ， 2013 ， 21 （ 11 ）： 2393 - 2402 .

Pertilä P ， Mieskolainen M ， Hämäläinen M S . Passive self‑localization of microphones using ambient sounds ［A］. European Signal Processing Conference ［C］. Bucharest， Romania ： IEEE Signal Processing Society ， 2012 . 1314 - 1318 .

Press W H ， Flannery B P ， Teukolsky S A ， Vetterling W T . Numerical Recipes in C ［M］. Cambridge， UK ： Cambridge University Press ， 1988 .

Byrd R H ， Lu P ， Nocedal J . A limited memory algorithm for bound constrained optimization ［J］. SIAM Journal on Scientific and Statistical Computing ， 1995 ， 16 ： 1190 - 1208 .

Plinge A ， Fink G A . Online multi‑speaker tracking using multiple microphone arrays informed by auditory scene analysis ［A］. European Signal Processing Conference ［C］. Marrakesh， Morocco ： IEEE Signal Processing Society ， 2013 . 1 - 5 .

Storn R ， Price K . Differential evolution‑A simple and efﬁcient heuristic for global optimization over continuous spaces ［J］. Journal of Global Optimization ， 1997 ， 11 ： 341 - 359 .

Keshavan R H ， Montanari A ， Oh S . Matrix completion from noisy entries ［J］. Journal of Machine Learning Research ， 2010 ， 11 ： 2057 - 2078 .

Lee D D ， Seung H S . Algorithms for nonnegative matrix factorization ［J］. Advances in Neural Information Processing Systems ， 2001 ， 13 ： 556 - 562 .

Schönemann P H . On metric multidimensional unfolding ［J］. Psychometrika ， 1970 ， 35 （ 3 ）： 349 - 66 .

Parhizkar R . Euclidean Distance Matrices： Properties， Algorithms and Applications ［D］. Swiss ： École Polytechnique Fédérale de Lausanne ， 2013 .

Kabsch W . A solution for the best rotation to relate two sets of vectors ［J］. Acta Crystallographica Section A ， 1976 ， 32 （ 5 ）： 922 - 923 .

Kabsch W . A discussion of the solution for the best rotation to relate two sets of vectors ［J］. Acta Crystallographica Section A ， 1978 ， 34 （ 5 ）： 827 - 828 .

Khokhlov Y ， Zatvornitskiy A ， Medennikov I ， Sorokin I ， Prisyach T ， Romanenko A ， Mitrofanov A ， Bataev V ， Andrusenko A ， Korenevskaya M ， Petrov O . R‑vectors： New technique for adaptation to room acoustics ［A］. Annual Conference of the International Speech Communication Association ［C］. Graz， Austria ： ISCA Press ， 2019 . 1243 - 1247 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于IEEE 802.1AS的多跳时钟同步算法与系统实现

基于DP83640的以太网时钟同步方法设计