enabling speech applications using ad hoc microphone arrays

160 Pages·2015·3.52 MB·English

ENABLING SPEECH APPLICATIONS
USING AD HOC MICROPHONE ARRAYS
THIS IS A TEMPORARY TITLE PAGE
It will be replaced for the final print by a version
provided by the service academique.
Thèse n. 6589 (2015)
présentée le 27 March 2015
à la Faculté Sciences et Techniques de l’Ingénieur
laboratoire de LIDIAP
programme doctoral en Génie Électrique
École Polytechnique Fédérale de Lausanne
pour l’obtention du grade de Docteur ès Sciences
par
Mohammad Javad Taghizadeh
acceptée sur proposition du jury:
Prof. Jean-Philippe Thiran, président du jury
Prof. Hervé Bourlard, Dr. Philip N. Garner, directeurs de thèse
Prof. Emanuel Habets, rapporteur
Prof. Dietrich Klakow, rapporteur
Dr. Hervé Lissek, rapporteur
Lausanne, EPFL, 2015

Asyoustarttowalkoutontheway,thewayappears
–Rumi
Tomylovingwife,Afsaneh

Acknowledgements
Iwouldliketoacknowledgemyadvisor,Prof.HervéBourlardforthegreatPhDopportunityat
IdiapResearchInstituteanddirectingmyresearchontheveryinterestingandchallenging
subjectofadhocmicrophonearrays.Ialsowouldliketoacknowledgemyco-advisor,Dr.Phil
Garnerforhissupportandencouragementalongwiththeindependencethathegavemein
myresearchendevors.Specialthankstothejurycommitteemembers,Prof.EmanuelHabets,
Prof.DietrichKlakow,Dr.HervéLissekandProf.Jean-PhilippeThiran.
IextendmygratitudetotheadministrativeteamatIdiap.Inparticular,Iwouldliketothank
NadineandSylvie,Francois,Frank,Norbert,Cédric,Ed,Louis-Marie,Vincent,Christopheand
Bastian.
I extend my acknowledgment to dear colleagues, Reza, Saeid, Sucheta, Ramya, Raphael,
Marzieh, Samira, Milos, Maryam, Hassan, Alexandros, Pierre-Edouard, Petr, Marc, Vahid,
Amin,Ali,Farid,Hamed,Shirin,Mohsen,Armin,Ahmad,Hesam,Hamid,Gelareh,Samuel,
Gwenole,Elham,Lakshmi,Ivana,Marco,AndréAnjos,Leonidas,Elie,Kenneth,Murali,Harsha,
Serena,BenjaminandParticia.
Specialthankstomymotherandfather,HomayounandMohammadRezafortheirloveand
prayers.Ialsoacknowledgemysisters,Shahed,HodaandKatayounfortheirencouragements.
Ialsowouldliketoacknowledgemymotherandfatherinlaw, MaryamandMohsenand
bother-in-law,Ehsan.Andaboveall,Iwouldliketoexpressmygratitudetomywife,Afsaneh
forhertrueloveandsupportinallcircumstances.Herpositiveattitudeanddeterminationis
alwaysagreatsourceofhopeandstrength.Thisdissertationisdedicatedtoher.
1May2015 MohammadJavadTaghizadeh
i

Abstract
Microphonearraysarecentralplayersinhands-freespeechinterfaceapplications.Themain
dutyofamicrophonearrayiscapturingdistant-talkingspeechwithhighquality.Amicrophone
arraycanacquirethedesiredspeechsignalsselectivelybyleadingthebeampatterntowards
the desired speaker. The foreseen application of ubiquitous sensing motivated by the
abundanceofmicrophone-embeddeddevices,suchasnotebooksandsmartphones,raises
theimportanceofresearchonadhocmicrophonearrays.Thekeychallengespertaintothe
unknowngeometryofthemicrophonesandasynchronousrecordings.
ThegoalofthisPhDthesisistoaddresstheissuesofmicrophoneandsourcelocalizationto
enablebeamformingforhigherlevelspeechprocessingtasks.Tothatend,weexploittheprior
knowledgeoftheacousticalandgeometricalstructuresunderlyingtheadhocdistributed
nodestodevisenovelalgorithmsformicrophonearraycalibrationandsourcelocalization,as
wellasbeamformingtechniquesfordistantspeechapplications.
Toaddresstheproblemofadhocmicrophonearraycalibration,theanalyticdiffusesound
fieldcoherencemodelisinvestigatedanditsfundamentalpropertiesarestudied.Thismodel
enablespairwisedistanceestimationforcalibrationofarelativelycompactmicrophonearray.
Wederivethemathematicalframeworkforestimationoflongpairwisedistancesexploitingthe
low-rankpropertiesoftheEuclideandistancematrixanddevelopanovelmatrixcompletion
algorithmforadhocmicrophonearraycalibrationalongwiththeoreticalguarantees.
Furthermore,theproblemofsourcelocalizationusingadhocmicrophonesinareverberant
enclosure is addressed. We incorporate the image model of multipath propagation for
constructionofaEuclideandistancematrix.Thelow-rankstructureofthedistancematrixis
exploitedtoidentifythesupportoftheroomimpulseresponsefunctionanditsuniquemapto
thesourcelocation.Thisapproachenablessingle-channelanddistributedsourcelocalization
fromasynchronousrecordingsprovidedbyadhocmicrophones.Alongthisline,weaddress
theproblemofrobustmicrophonearrayplacementtooptimizethelocalizationperformance.
Finally,spatialfilteringtechniquesrelyingonbeamformingareinvestigatedforhighquality
speechacquisitionandhigherlevelapplications. Wedevelopbeamformersforjointmulti-
speakerlocalizationandvoiceactivitydetection.Inaddition,thebroadbandbeampatternofa
microphonearrayischaracterizedanditsrelationtopredictthespeechrecognitionaccuracy
isdesired.
Keywords:Adhocmicrophonearray,Microphonecalibration,Distributedsourcelocalization,
Diffuse sound field , Euclidean distance matrix, Broadband beampattern, Voice activity
detection,Reverberation,Distantspeechrecognition
iii

Résumé
Lesréseauxdemicrophonesjouentunrôlecentralpourlesapplicationsutilisantdesinterfaces
mainslibrescontrôléesparlavoix.Latâcheprincipaled’unréseaudemicrophonesestde
capterlaparoledistanteenhautequalité.Unréseaudemicrophonespeutacquérirdemanière
sélectivelessignauxdeparolesouhaités,enguidantlefaisceauverslelocuteurdésiré.Le
développementprévisibled’applicationsd’intelligenceambiantemotivéesparl’abondance
depériphériquesdisposantdemicrophonesintégrés,telsquelesordinateursoutéléphones
portables,augmentel’importancedelarecherchedédiéeauxréseauxdemicrophonesadhoc.
Lesprincipalesdifficultéssontliéesàlagéométrieinconnue[duréseaude]microphoneset
auxenregistrementsasynchrones.
Lebutdecettethèsededoctoratestdetraiterdesproblèmesrelatifsauxlocalisationsde
microphoneetdesource,pourpermettrelaformationdefaisceauxnécessairesauxtâches
detraitementdeparoledeplushautniveau.Àcettefin,nousexploitonslaconnaissancea
prioridesstructuresacoustiquesetgéométriquesauseindesquelleslesndsduréseauadhoc
sontdistribués,defaonàdévelopperdenouveauxalgorithmesdecalibrationderéseaude
microphonesetdelocalisationdesource,ainsiquedestechniquesdeformationdefaisceaux
pourlesapplicationsdeparoledistante.
Pour traiter du problème de la calibration de réseaux de microphones ad hoc, le modèle
analytiquedecohérenceduchampsonorediffusestexaminé,etsespropriétésfondamentales
étudiées. Ce modèle permet l’estimation de distances par paires pour la calibration d’un
réseaudemicrophonesrelativementcompact.Nousdévelopponslecadremathématique
pourl’estimationdelonguesdistancesparpairesenexploitantlespropriétésdebasrangde
lamatricededistanceeuclidienne,etunalgorithmenovateurdecomplétiondematricepour
lacalibrationderéseauxdemicrophonesadhocoffrantdesgarantiesthéoriques.
Noustraitonségalementduproblèmedelocalisationdesourceenutilisantunréseaude
microphonesadhocdansuneenceinteréverbérante.Nousincorporonslemodèled’image
delapropagationmultivoiepourlaconstructiond’unematricededistanceeuclidienne.La
structuredebasrangdelamatricededistanceestexploitéepouridentifierlesupportde
lafonctionderéponseimpulsionnelledelasalle,etsarelationuniqueàlapositiondela
source. Cette approche permet la localisation de sources simples ou distribuées, à partir
des enregistrements asynchrones fournit par un réseau de microphones ad hoc. De faon
similaire,noustraitonsleproblèmedupositionnementrobustederéseaudemicrophones
defaonàoptimiserlesperformancesdelocalisation.Enfin,destechniquesdefiltragespatial
reposantsurlaformationdefaisceauxsontexaminéespourdel’acquisitiondeparoledehaute
v
Résumé
qualitéetdesapplicationsdeplushautniveau.Nousdévelopponsdesmodeleursdefaisceaux
(beamformers)poureffectuerdemanieconjointedelalocalisationdelocuteursmultiples
etdeladétectiond’activitévocale.Deplus,nouscaratérisonslediagrammededirectivité
(beampattern)àlargebanded’unréseaudemicrophones,etnousétablissonsunerelation
permettantdeprédireàpartirdesescaratéristiqueslaprécisiondelareconnaissancevocale.
Mots-clés réseau de microphones ad hoc, calibration de microphones, localisation de
sourcesdistribuées,champsonorediffus,matricededistanceeuclidienne,diagrammede
directivitélargebande,détectiond’activitévocale,réverbération,reconnaissancedeparole
distante
—FrenchversiontranslatedbyBlaisePotardaspertheEnglishversion
vi