Review on Calibration of Distributed Acoustic Sensor Arrays

WANG Rui; CHEN Zhe; YIN Fu-liang

doi:10.12263/DZXB.20201088

您当前的位置：

首页 >

文章列表页 >

Review on Calibration of Distributed Acoustic Sensor Arrays

SURVEYS AND REVIEWS | 更新时间：2025-12-08

- Review on Calibration of Distributed Acoustic Sensor Arrays
- ACTA ELECTRONICA SINICA Vol. 49, Issue 12, Pages: 2468-2478(2021)
- 作者机构：
  
  大连理工大学信息与通信工程学院, 辽宁大连 116024
- 作者简介：
- 基金信息：
- DOI：10.12263/DZXB.20201088
  CLC： TN912.2
- Received：30 September 2020，
  
  Revised：2020-12-17，
  
  Published：25 December 2021
- 稿件说明：
移动端阅览
王睿,陈喆,殷福亮.分布式声传感器阵列校准方法综述[J].电子学报,2021,49(12):2468-2478.

WANG Rui,CHEN Zhe,YIN Fu-liang.Review on Calibration of Distributed Acoustic Sensor Arrays[J].ACTA ELECTRONICA SINICA,2021,49(12):2468-2478.
王睿,陈喆,殷福亮.分布式声传感器阵列校准方法综述[J].电子学报,2021,49(12):2468-2478. DOI： 10.12263/DZXB.20201088.

WANG Rui,CHEN Zhe,YIN Fu-liang.Review on Calibration of Distributed Acoustic Sensor Arrays[J].ACTA ELECTRONICA SINICA,2021,49(12):2468-2478. DOI： 10.12263/DZXB.20201088.

摘要

分布式声传感器阵列在军事侦察、公共安全监控和人机交互等领域应用广泛.但时钟异步、频率响应失配和节点位置未知问题严重影响后续基于分布式声传感器阵列的语音处理算法的性能，因此近年来学者们热衷于研究校准这三类阵列失配问题的方法.首先，本文介绍了导致分布式声传感器网络各类失配问题的原因和三类问题解决的先后顺序.然后，将现有的解决三类问题的方法进行了综述.其中，时钟同步方法主要包括基于时间戳交换和短时傅里叶变换域线性相位漂移的方法，频率响应校准方法主要包括基于声源导向矢量和自适应滤波器的方法，节点位置/位姿校准方法则主要包括基于节点间几何构型和深度学习的方法.最后，给出了本领域未来研究的方向.

Abstract

Distributed acoustic sensor arrays have been widely employed in many applications

such as military reconnaissance

security monitoring

man-machine interaction

etc. However

the problems of clock asynchrony

frequency response mismatch and unknown node location seriously affect the performance of subsequent speech processing algorithms based on distributed acoustic sensor arrays. Therefore

scholars have been keen to study calibration methods for these three problems in recent years. This article first introduces the causes of these mismatch problems and the sequence of solving the three problems. Then

the existing methods for these three problems are reviewed. Specifically

clock synchronization methods mainly include methods based on timestamp exchange and linear phase shift in short‑time Fourier transform domain

frequency response calibration methods mainly include methods based on steering vector of sound source and adaptive filter

and node position/pose calibration methods mainly include methods based on geometric configuration among nodes and deep learning. Finally

the future research directions are provided.

关键词

Keywords

references

Liu H ， McLachlan D ， Wang D . Overview of wireless microphones—Part I： System and technologies ［J］. IEEE Transactions on Broadcasting ， 2015 ， 61 （ 3 ）： 494 - 504 .

Bertrand A . Applications and trends in wireless acoustic sensor networks： A signal processing perspective ［A］. IEEE Symposium on Communications and Vehicular Technology ［C］. Ghent， Belgium ： IEEE Vehicular Technology/Communications Society ， 2011 . 1 - 6 .

Thiergart O ， Galdo G D ， Taseska M ， Habets E A P . Geometry‑based spatial sound acquisition using distributed microphone arrays ［J］. IEEE Transactions on Audio Speech and Language Processing ， 2013 ， 21 （ 12 ）： 2583 - 2594 .

Doclo S ， Moonen M . Superdirective beamforming robust against microphone mismatch ［J］. IEEE Transactions on Audio Speech and Language Processing ， 2007 ， 15 （ 2 ）： 617 - 631 .

Simeone O ， Spagnolini U ， Scutari G ， Bar‑Ness Y . Physical‑layer distributed synchronization in wireless networks and applications ［J］. Physical Communication ， 2008 ， 1 （ 1 ）： 67 - 83 .

Zhong X ， Hopgood J R . A time‑frequency masking based random finite set particle filtering method for multiple acoustic source detection and tracking ［J］. IEEE/ACM Transactions on Audio Speech ， and Language Processing， 2015 ， 23 （ 12 ）： 2356 - 2370 .

张九宾，张丕状，杜坤坤 . 无线分布式测试系统时间统一技术的研究［J］. 核电子学与探测技术， 2010 ， 30 （ 3 ）： 380 - 384 .

Zhang Jiubin ， Zhang Pizhuang ， Du Kunkun . The research of wireless distributional test system time synchronization technology ［J］. Nuclear Electronics and Detection Technology ， 2010 ， 30 （ 3 ）： 380 - 384 . （in Chinese）

Chaudhari Q M . A simple and robust clock synchronization scheme ［J］. IEEE Transactions on Communications ， 2012 ， 60 （ 2 ）： 328 - 332 .

Schmalenstroeer J ， Haeb‑Umbach R . Sampling rate synchronization in acoustic sensor networks with a pre‑trained clock skew error model ［A］. European Signal Processing Conference ［C］. Morocco ： IEEE Signal Processing Society ， 2013 . 1 - 5 .

Schmalenstroeer J ， Jebramcik P ， Haeb‑Umbach R . A gossiping approach to sampling clock synchronization in wireless acoustic sensor networks ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Florence ： IEEE Signal Processing Society ， 2014 . 7575 - 7579 .

Miyabe S ， Ono N ， Makino S . Blind compensation of inter‑channel sampling frequency mismatch with maximum likelihood estimation in STFT domain ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Vancouver， Canada ： IEEE Signal Processing Society ， 2013 . 674 - 678 .

Wang L ， Doclo S . Correlation maximization‑based sampling rate offset estimation for distributed microphone arrays ［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing ， 2016 ， 24 （ 3 ）： 571 - 582 .

Cherkassky D ， Markovich‑Golan S ， Gannot S . Performance analysis of MVDR beamformer in WASN with sampling rate offsets and blind synchronization ［A］. European Signal Processing Conference ［C］. Nice， France ： IEEE Signal Processing Society ， 2015 . 245 - 249 .

Markovich G S ， Gannot S ， Cohen I . Blind sampling rate offset estimation and compensation in wireless acoustic sensor networks with application to beamforming ［A］. International Workshop on Acoustic Signal Enhancement ［C］. Aachen， Germany ： IEEE Signal Processing Society ， 2012 . 1 - 4 .

Bahari M H ， Bertrand A ， Moonen M . Blind sampling rate offset estimation based on coherence drift in wireless acoustic sensor networks ［A］. 2015 European Signal Processing Conference ［C］. Nice， France ： IEEE Signal Processing Society ， 2015 . 2281 - 2285 .

Bahari M H ， Bertrand A ， Moonen M . Blind sampling rate offset estimation for wireless acoustic sensor networks through weighted least‑squares coherence drift estimation ［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing ， 2017 ， 25 （ 3 ）： 674 - 686 .

Schmalenstroeer J ， Heymann J ， Drude L ， Boeddecker C ， Haeb‑Umbach R . Multi‑stage coherence drift based sampling rate synchronization for acoustic beamforming ［A］. IEEE International Workshop on Multimedia Signal Processing ［C］. Luton， UK ： IEEE Press ， 2017 . 1 - 6 .

Chinaev A ， Thüne P ， Enzner G . A double‑cross‑corre‑ lation processor for blind sampling rate offset estimation in acoustic sensor networks ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］， Brighton， UK ： IEEE Signal Processing Society ， 2019 . 641 - 645 .

Zeng Y ， Hendriks R C ， Gaubitch N D . On clock synchronization for multi‑microphone speech processing in wireless acoustic sensor networks ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Brisbane ： IEEE Signal Processing Society ， 2015 . 231 - 235 .

Erup L ， Gardner F M ， Harris R . A. Interpolation in digital modems. II. Implementation and performance ［J］. IEEE Transactions on Communication ， 1993 ， 41 （ 6 ）： 998 - 1008 .

Robledo‑Arnuncio E ， Wada T S ， Juang B . On dealing with sampling rate mismatches in blind source separation and acoustic echo cancellation ［A］. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics ［C］. New Paltz， USA ： IEEE Press ， 2007 . 34 - 37 .

Schmalenstroeer J ， Haeb‑Umbach R . Efficient sampling rate offset compensation―An overlap‑save based approach ［A］. European Signal Processing Conference ［C］. Rome， Italy ： IEEE Signal Processing Society ， 2018 . 504 - 508 .

Madhu N ， Martin R . Low‑complexity， robust algorithm for sensor anomaly detection and self‑calibration of microphone arrays ［J］. IET Signal Processing ， 2011 ， 5 （ 1 ）： 97 - 103 .

Gaubitch N D ， Kleijn W B ， Heusdens R . Calibration of distributed sound acquisition systems using TOA measurements from a moving acoustic source ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Florence， Italy ： IEEE Signal Processing Society ， 2014 . 7455 - 7459 .

Tashev I . Gain self‑calibration procedure for microphone arrays ［A］. IEEE International Conference on Multimedia and Expo ［C］. Taipei， China ： IEEE Press ， 2004 . 983 - 986 .

Hua T P ， Sugiyama A ， Faucon G . A new self‑calibration technique for adaptive microphone arrays ［J］. IEICE Technical Report Signal Processing ， 2005 ， 105 （ 1 ）： 237 - 240 .

Xiao H ， Shao H ， Peng Q . A new calibration method for microphone array with gain， phase， and position errors ［J］. Journal of Electronic science and Technology of China ， 2007 ， 5 （ 3 ）： 248 - 251 .

Hu D ， Chen Z ， Yin F . Frequency response calibration using multi‑channel Wiener filters for microphone arrays ［J］. IEEE Sensors Journal ， 2019 ， 19 （ 17 ）： 7507 - 7514 .

Wang R ， Chen Z ， Yin F . Adaptive frequency response calibration method for microphone arrays ［J］. IEEE Sensors Journal ， 2020 ， 20 （ 13 ）： 7118 - 7128 .

Oak P ， Kellermann W . A calibration algorithm for robust generalized sidelobe cancelling beamformers ［A］. 2005 IEEE International Workshop on Acoustic Signal Enhancement ［C］. Eindhoven， Netherlands ： IEEE Signal Processing Society ， 2005 . 1 - 4 .

Bertrand A ， Doclo S ， Gannot S ， Ono N . Waterschoot T. Special issue on wireless acoustic sensor networks and ad hoc microphone arrays ［J］. Signal Processing ， 2015 ， 107 （ 2 ）： 1 - 3 .

Ono N ， Kohno H ， Ito N ， Sagayama S . Blind alignment of asynchronously recorded signals for distributed microphone array ［A］. IEEE Workshop Application Signal Processing Audio， Acoustics［C］. New Paltz ， USA ： IEEE Press ， 2009 . 161 - 164 .

Hennecke M H ， Fink G A . Towards acoustic self‑locali‑ zation of ad hoc smartphone arrays ［A］. Joint Workshop on Hands‑free Speech Communication and Microphone Arrays ［C］. Edinburgh， UK ： IEEE Press ， 2011 . 127 - 132 .

Parviainen M ， Pertilä P ， Hämäläinen M S . Self‑localization of wireless acoustic sensors in meeting rooms ［A］. Joint Workshop on Hands‑free Speech Communication and Microphone Arrays ［C］. Villers‑les‑Nancy， France ： IEEE Press ， 2014 . 152 - 156 .

Sachar J M ， Silverman H F ， Patterson W R . Microphone position and gain calibration for a large‑aperture microphone array ［J］. IEEE Transactions on Speech and Audio Processing ， 2005 ， 13 （ 1 ）： 42 - 52 .

Jacob F ， Schmalenstroeer J ， Haeb‑Umbach R . Microphone array position self‑calibration from reverberant speech input ［A］. International Workshop on Acoustic Signal Enhancement ［C］. Aachen， Germany ： IEEE Signal Processing Society ， 2012 . 1 - 4 .

Jacob F ， Schmalenstroeer J ， Haeb‑Umbach R . DOA‑based microphone array position self‑calibration using circular statistics ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Vancouver， Canada ： IEEE Signal Processing Society ， 2013 . 116 - 120 .

Kemper J ， Walter M ， Linde H . Human‑assisted calibration of an angulation based indoor location system ［A］. International Conference on Sensor Technologies and Applications ［C］. Cap Esterel， France ： IEEE Computer Society ， 2008 . 196 - 201 .

Schmalenstroeer J ， Jacob F ， Haeb‑Umbach R ， Hennecke M ， Fink G A . Unsupervised geometry calibration of acoustic sensor networks using source correspondences ［A］. Annual Conference of the International Speech Communication Association ［C］. Florence， Italy ： ISCA Press ， 2011 . 1 - 4 .

Plinge A ， Fink G A . Geometry calibration of distributed microphone arrays exploiting audio‑visual correspondences ［A］. European Signal Processing Conference ［C］. Lisbon， Portugal ： IEEE Signal Processing Society ， 2014 . 116 - 120 .

Plinge A ， Fink G A . Geometry calibration of multiple microphone arrays in highly reverberant environments ［A］. International Workshop on Acoustic Signal Enhancement ［C］. Juan les Pins ： IEEE Press ， 2014 . 243 - 247 .

Plinge A ， Fink G A ， Gannot S . Passive online geometry calibration of acoustic sensor networks ［J］. IEEE Signal Processing Letters ， 2017 ， 24 （ 3 ）： 324 - 328 .

Wang R ， Chen Z ， Yin F . DOA‑based three‑dimensional node geometry calibration and Cramér‑Rao bound analysis in acoustic senor networks ［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing ， 2019 ， 27 （ 9 ）： 1455 - 1468 .

Valente S D ， Tagliasacchi M ， Antonacci F ， Bestagini P ， Sarti A ， Tubaro S ， Milano P . Geometric calibration of distributed microphone arrays from acoustic source correspondences ［A］. IEEE Workshop Multimedia Signal Processing ［C］. Saint Malo， France ： IEEE Signal Processing Society ， 2010 . 13 - 18 .

Jacob F ， Haeb‑Umbach R . Coordinate mapping between an acoustic and visual sensor network in the shape domain for a joint self‑calibrating speaker tracking ［A］. ITG Symposium on Speech Communication ［C］. Erlangen， Germany ： VDE ， 2014 . 1 - 4 .

Jacob F ， Haeb‑Umbach R . Absolute geometry calibration of distributed microphone arrays in an audio‑visual sensor network ［J］. Computer Science ， 2015 ， 4 （ 3 ）： 128 - 132 .

Chen Z ， Li Z ， Wang S ， Yin F . A microphone position calibration method based on combination of acoustic energy decay model and TDOA for distributed microphone array ［J］. Applied Acoustics ， 2015 ， 95 （ 8 ）： 13 - 19 .

Crocco M ， Bue A D ， Bustreo M ， Murino V . A closed form solution to the microphone position self‑calibration problem ［A］. IEEE International Conference on Acoustics， Speech and Signal Processing ［C］. Kyoto， Japan ： IEEE Signal Processing Society ， 2012 . 2597 - 2600 .

Crocco M ， Bue A D ， Murino V . A bilinear approach to the position self‑calibration of multiple sensors ［J］. IEEE Transactions on Signal Processing ， 2012 ， 60 （ 2 ）： 660 - 673 .

Gaubitch N D ， Kleijn W B ， Heusdens R . Auto‑localiza‑ tion in ad‑hoc microphone arrays ［A］. IEEE International Conference Acoustics， Speech， and Signal Processing［C］. Vancouver， Canada ： IEEE Signal Processing Society ， 2013 . 106 - 110 .

Wang L ， Hon T ， Reiss J D ， Cavallaro A . Self‑localiza‑ tion of ad‑hoc arrays using time difference of arrivals ［J］. IEEE Transactions on Signal Processing ， 2016 ， 64 （ 4 ）： 1018 - 1033 .

Le T ， Ho K C . Algebraic complete solution for joint source and sensor localization using time of flight measurements ［J］. IEEE Transactions on Signal Processing ， 2020 ， 68 ： 1853 - 1869 .

Hennecke M ， Plötz T ， Fink G A ， Schmalenströer J ， Häb‑Umbach R . A hierarchical approach to unsupervised shape calibration of microphone array networks ［A］. IEEE/SP Workshop on Statistical Signal Processing ［C］. Cardiff， UK ： IEEE Signal Processing Society ， 2009 . 257 - 260 .

Schwartz O ， Plinge A ， Habets E A P ， Gannot S . Blind microphone geometry calibration using one reverberant speech event ［A］. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics ［C］. New Paltz， New York ： IEEE Signal Processing Society ， 2017 . 131 - 135 .

Taghizadeh M J ， Parhizkar R ， Garner P N ， Bourlard H ， Asaei A . Ad hoc microphone array calibration： Euclidean distance matrix completion algorithm and theoretical guarantees ［J］. Signal Processing ， 2014 ， 107 （ 2 ）： 123 - 140 .

Asaei A ， Mohammadiha N ， Taghizadeh M J ， Doclo S ， Bourlard H . On application of non‑negative matrix factorization for ad hoc microphone array calibration from incomplete noisy distances ［A］. IEEE International Conference on Acoustics， Speech， and Signal Processing［C］. South Brisbane ： IEEE Signal Processing Society ， 2015 . 2694 - 2698 .

Bouley S ， Vanwynsberghe C ， Magueresse T L ， Antoni J ， Outrequin A . Microphone array positioning technique with Euclidean distance geometry ［J］. Applied Acoustics ， 2020 ， 167 ： 1 - 11 .

Gburrek T ， Schmalenstroeer J ， Brendel A ， Kellermann W ， Haeb‑Umbach R . Deep neural network based distance estimation for geometry calibration in acoustic sensor networks ［A］. European Signal Processing Conference ［C］. Amsterdam， the Netherlands ： IEEE Signal Processing Society ， 2020 . 1 - 5 .

Cox T F ， Cox M A . Multidimensional Scaling ［M］. London ： Chapman and Hall Press ， 2001 .

Coleman T ， Li Y . An interior trust region approach for nonlinear minimization subject to bounds ［J］. Mathematica ， 1996 ， 6 （ 2 ）： 418 - 445 .

Pertilä P ， Hämäläinen M S ， Mieskolainen M . Passive temporal offset estimation of multichannel recordings of an ad hoc microphone array ［J］. IEEE Transactions on Audio， Speech， and Language Processing ， 2013 ， 21 （ 11 ）： 2393 - 2402 .

Pertilä P ， Mieskolainen M ， Hämäläinen M S . Passive self‑localization of microphones using ambient sounds ［A］. European Signal Processing Conference ［C］. Bucharest， Romania ： IEEE Signal Processing Society ， 2012 . 1314 - 1318 .

Press W H ， Flannery B P ， Teukolsky S A ， Vetterling W T . Numerical Recipes in C ［M］. Cambridge， UK ： Cambridge University Press ， 1988 .

Byrd R H ， Lu P ， Nocedal J . A limited memory algorithm for bound constrained optimization ［J］. SIAM Journal on Scientific and Statistical Computing ， 1995 ， 16 ： 1190 - 1208 .

Plinge A ， Fink G A . Online multi‑speaker tracking using multiple microphone arrays informed by auditory scene analysis ［A］. European Signal Processing Conference ［C］. Marrakesh， Morocco ： IEEE Signal Processing Society ， 2013 . 1 - 5 .

Storn R ， Price K . Differential evolution‑A simple and efﬁcient heuristic for global optimization over continuous spaces ［J］. Journal of Global Optimization ， 1997 ， 11 ： 341 - 359 .

Keshavan R H ， Montanari A ， Oh S . Matrix completion from noisy entries ［J］. Journal of Machine Learning Research ， 2010 ， 11 ： 2057 - 2078 .

Lee D D ， Seung H S . Algorithms for nonnegative matrix factorization ［J］. Advances in Neural Information Processing Systems ， 2001 ， 13 ： 556 - 562 .

Schönemann P H . On metric multidimensional unfolding ［J］. Psychometrika ， 1970 ， 35 （ 3 ）： 349 - 66 .

Parhizkar R . Euclidean Distance Matrices： Properties， Algorithms and Applications ［D］. Swiss ： École Polytechnique Fédérale de Lausanne ， 2013 .

Kabsch W . A solution for the best rotation to relate two sets of vectors ［J］. Acta Crystallographica Section A ， 1976 ， 32 （ 5 ）： 922 - 923 .

Kabsch W . A discussion of the solution for the best rotation to relate two sets of vectors ［J］. Acta Crystallographica Section A ， 1978 ， 34 （ 5 ）： 827 - 828 .

Khokhlov Y ， Zatvornitskiy A ， Medennikov I ， Sorokin I ， Prisyach T ， Romanenko A ， Mitrofanov A ， Bataev V ， Andrusenko A ， Korenevskaya M ， Petrov O . R‑vectors： New technique for adaptation to room acoustics ［A］. Annual Conference of the International Speech Communication Association ［C］. Graz， Austria ： ISCA Press ， 2019 . 1243 - 1247 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multi-Hop Clock Synchronization Algorithm and System Implementation Based on IEEE 802.1AS

Design of Ethernet Clock Synchronization Method Based on DP83640

Related Author

ZHAO Guo-feng

WEI Rui-peng

XING Yuan

XU Chuan

ZHANG Ru-feng

SUN Jian-peng

LIU Xin

HONG Ying-ping

Related Institution

School of Communications and Information Engineering， Chongqing University of Posts and Telecommunications

Key Laboratory of Instrumental Science and Dynamic Testing, Ministry of Education, North University of China

North Institute of Automatic Control Technology

Key Laboratory of Instrumental Science and Dynamic Testing Ministry of Education North University of China Taiyuan Shanxi China

North Institute of Automatic Control Technology Taiyuan Shanxi China

⁰