Grapheme-based Automatic Speech Recognition using Probabilistic Lexical Modeling

161 Pages·2014·1.09 MB·English

by  Rasipuram, Ramya

Grapheme-based Automatic Speech Recognition using
Probabilistic Lexical Modeling
THÈSE NO 6280 (2014)
PRÉSENTÉE LE 1ER OCTOBRE 2014
À LA FACULTÉ DES SCIENCES ET TECHNIQUES DE L'INGÉNIEUR
LABORATOIRE DE L'IDIAP
PROGRAMME DOCTORAL EN GÉNIE ÉLECTRIQUE
ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE
POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES
PAR
Ramya RASIPURAM
acceptée sur proposition du jury:
Prof. J.-Ph. Thiran, président du jury
Prof. H. Bourlard, Dr M. Magimai Doss, directeurs de thèse
Dr K. Knill, rapporteuse
Prof. S. Renals, rapporteur
Dr J.-M. Vesin, rapporteur
Suisse
2014

“Theyalonelive,
wholiveforothers”
—SwamyVivekananda
Tomyparents,parents-in-law,lovinghusbandMurali
andadorablesonNidhiravya

Acknowledgements
ThefouryearsofmyPhDwereenlightening,challenging,andgratifying.MyPhDwouldnot
havebeenpossiblewithoutthehelp,expertiseandguidancefrommyadvisors,committee,
friendsandfamily.
Firstly, I must acknowledge Mathew for providing me the opportunity to pursue PhD at
Idiap,forhisguidance,friendshipandconstantsupportthroughoutmyPhD.Hehasbeen
verysupportiveandunderstandingduringtoughtimes.Hervé’scommentsandconstructive
criticismonthethesishashelpedmetoimprovemyworkgreatdeal.Hervé’shardworkhas
builtaworldrenownedspeechresearchgroupatIdiapanditismypleasuretobeapartofit.
IthankmycommitteemembersProf.Steve,Dr.Kate,Dr.Jean-Marc,andProf.J.PThiranfor
theirvaluablesuggestions.ThisworkhasalsobenefittedfromthecollaborationswithDavid,
PeterBell,MarziehandGuillermo. Thefeedbackreceivedfromtalentedpastandpresent
speechteamofIdiaphasbeenvaluableformyPhD.Ihavealsobenefitedfromtheadviceof
Prof.TanjainvariousconferencesandduringhervisittoIdiap.Imustalsothankmymaster
researchadvisorsProf.HemaandProf.Ramalingamforintroducingmetospeechrecognition
researchareaandmotivatingmetogoforPhD.MyworkwassupportedbytheSwissNSF
throughthegrant“FlexibleGrapheme-BasedAutomaticSpeechRecognition(FlexASR)".
ThankstoMs.NadineforhersupportespeciallyinfindingsuitableaccommodationinMar-
tignymultipletimesduringPhDandtoMsSylvieforherhelpinnavigatingtherequirements
oflivinginSwiss.ThankstoIdiapsystemstafffortheirgreathelpandsupport.
InmyfouryearsatIdiap,manyfriendshavemadethejourneymorememorable.Iamgrateful
tomanyfriends.ToLakshmiandAfsanehforhelpingmemanytimestoboostmyoptimism.
ToLakshmiandSaheerwhohelpedinsomanywaystoeasemytransitionintoSwiss. To
AfsanehandMohammadforbeingcaringpeopleIcancounton.ToDavidwithwhomIcould
workwithease. ToMarziehforproofreadingthisthesisandforherfriendship. ToBarbara
forsupportandadviceinallmattersrelatingtonavigatingPhDwithakidandsurvivingasa
singleparentduringweekdays.ToPierre-EdouardfortheFrenchabstractonashortnotice.
TomythesiswritingbuddiesSamira,Alex,LaurentandMarco.Toourgreatyogateacherand
yogafriendsNorbert,Marc,Samira,RaphaëlandRonan.ToVincentandAlexfortheirridesto
andfromIdiapwhenIwashavingtroublewalking.ToLeibnyforservingasmyconference
companionandforalltheinterestingdiscussions.ToPhilwhosewisdomalwaysenlightens
me.
IthankmyIndianfriendsAbhilasha,Ashtosh,Chidhansh,Dinesh,Deepu,Francina,Gokul,
v
Acknowledgements
Harsha,Jagan,Kavitha,Parameshwari,Pranay,Sriram,Sucheta,andVenkywhomademefeel
home. ThankstoIdiapcolleaguesandotherfriendsAfroze,Alexandre,Alexandros,André,
Anindya,Anirudha,Blaise,Cijo,Daira,Dimitri,Elham,Fabio,Fen,Gelareh,Guillem,Gulcan,
Gwénolé,György,Hari,Holger,Hui,Ivana,James,Joan,Kenneth,Laurent,Leo,Marc,Marco,
Maryam,Milos,Nesli,Novi,Oya,Paco,Petr,Phil,Pierre-Edouard,Pinto,Rammohan,Raphaël,
Riwal, Ronan, Rui, Samira, Sara, Serena, Sharid, Srikanth, Tatiana, Thomas, Trinh-Minh,
Xingyu,Youssef,andZoltan.
ThankyoutomyfriendsbackhomeKalyan,Suneetha,Bama,Sadhana,Neeraja,andPadman-
abhanfortheirloveandaffection.IshouldnotforgetthankingmamaPhDfriendswhoshared
theirknowledgeofmanagingPhDwithkids.Iwanttoalsoacknowledgemysonscaregivers
fortheirlovingcareandparticularlyIwouldliketothankChantal,LilyandDuniafortheir
friendshipandkindwords.
Ithankforwarmkindnessfromthefamiliesofmysister,brother-in-lawandsister-in-law:
SowmyaandNaveen,JaganandPadma,andSunitaandManju.Thankstomylovelyandawe-
somenephewsandnieces:Srinidhi,Shamitha,Rakshitha,Vishwak,andHethavfordelighting
mewithmanyhappymoments.Specialthankstomypinnamaandlatepinnayafortheirlove
andblessings.Ishouldalsothankmyotherextendedfamilymemberswhohavehelpedmeat
variousstages.
IexpressmysinceregratitudetomyparentsNagamaniandRadhaswamytowhomIowe
my life for their constant love, moral support and blessings. I would also like to express
my gratitude to my parents-in-law Sridevi and Venu Gopal for their unfailing emotional
support. Ifondlyrecollecthowrefreshingitwastohavemyparentsandin-lawsinSwiss
forfewmonths. ThisthesiscouldnothavebeencompletedwithoutmyhusbandMurali’s
innumerablesacrificesandunconditionallove.Healwaysdelicatelypushedmetoachieve
moreandtaughtmesomuchaboutloveandlife.Ifeelblessedtohavehimwithme.PhDisa
longjourney,sincemyhusbandhadtomovetoGermanyforhisjob,itwouldhavebeeneven
longerandlonelierwithoutmysonNidhiravya.Ithankmylittlesonforbringinghappiness
intomylife.MuraliandNidhiravyahavegivenmylifepurposeandfulfilment.Wordscannot
expressmygratitudeandloveforyouboth. Thisthesisisdedicatedtomyparents,in-laws,
MuraliandNidhiravya.
Martigny,13July2014 Ramya
vi
Abstract
Automaticspeechrecognition(ASR)systemsincorporateexpertknowledgeoflanguageor
thelinguisticexpertisethroughtheuseofphonepronunciationlexicon(ordictionary)where
eachwordisassociatedwithasequenceofphones. Thecreationofphonepronunciation
lexiconforanewlanguageordomainiscostlyasitrequireslinguisticexpertise,andincludes
timeandmoney.Inthisthesis,wefocusoneffectivebuildingofASRsystemsintheabsence
oflinguisticexpertiseforanewdomainorlanguage.Particularly,weconsidergraphemesas
alternatesubwordunitsforspeechrecognition. Inagraphemelexicon,pronunciationofa
wordisderivedfromitsorthography.However,modelinggraphemesforspeechrecognition
isachallengingtaskfortworeasons.Firstly,grapheme-to-phoneme(G2P)relationshipcan
be ambiguous as languages continue to evolve after their spelling has been standardized.
Secondly,aselucidatedinthisthesis,typicallyASRsystemsdirectlymodeltherelationship
betweengraphemesandacousticfeatures;andtheacousticfeaturesdepicttheenvelopeof
speech,whichisrelatedtophones.
Inthisthesis,agrapheme-basedASRapproachisproposedwherethemodelingofthere-
lationshipbetweengraphemesandacousticfeaturesisfactoredthroughalatentvariable
intotwomodels, namely, acousticmodel andlexicalmodel. Intheacousticmodelthere-
lationship between latent variables and acoustic features is modeled, while in the lexical
modelaprobabilisticrelationshipbetweenlatentvariablesandgraphemesismodeled.We
refertotheproposedapproachasprobabilisticlexicalmodelingbasedASR.Inthethesiswe
showthatthelatentvariablescanbephonesormultilingualphonesorclusteredcontext-
dependentsubwordunits;andanacousticmodelcanbetrainedondomain-independent
orlanguage-independentresources.Thelexicalmodelistrainedontranscribedspeechdata
fromthetargetdomainorlanguage.Indoingso,theparametersofthelexicalmodelcapturea
probabilisticrelationshipbetweengraphemesandphones.Intheproposedgrapheme-based
ASRapproach,lexiconlearningisimplicitlyintegratedasaphaseinASRsystemtrainingas
opposedtotheconventionalapproachwherefirstphonepronunciationlexiconisdeveloped
andthenaphone-basedASRsystemistrained.
Thepotentialandtheefficacyoftheproposedapproachisdemonstratedthroughexperiments
andcomparisonswithotherstandardapproachesonASRforresourcerichlanguages,non-
nativeandaccentedspeech,under-resourcedlanguages,andminoritylanguages.Thestudies
revealedthattheproposedframeworkisparticularlysuitablewhenthetaskischallengedby
thelackofbothlinguisticexpertiseandtranscribeddata.Furthermore,ourinvestigationsalso
showedthatstandardASRapproachesinwhichthelexicalmodelisdeterministicaremore
vii
Acknowledgements
suitableforphonesthangraphemes,whileprobabilisticlexicalmodelbasedASRapproachis
suitableforboth.Finally,weshowthatthecapturedgrapheme-to-phonemerelationshipcan
beexploitedtoperformacousticdata-drivenG2Pconversion.
Keywords:Automaticspeechrecognition;Kullback-LeiblerdivergencebasedhiddenMarkov
model;lexicon;graphemesubwordunits;phonemesubwordunits;probabilisticlexicalmod-
eling;grapheme-basedautomaticspeechrecognition;grapheme-to-phonemeconversion;
under-resourcedspeechrecognition.
viii
Résumé
Lessystèmesdereconnaissanceautomatiquedelaparole(RAP)intègrentdesconnaissances
pousséesdelalangueouuneexpertiselinguistiqueàtraversl’utilisationd’undictionnairede
prononciationdanslequelchaquemotestassociéàuneséquencedephonèmes.Lacréation
de dictionnaires de prononciation phonétique pour une nouvelle langue ou un nouveau
domaineestcoûteusecarellerequiertuneexpertiselinguistique,dutempsetdel’argent.Dans
cettethèse,nousconcentronssurlaconstructionefficacedesystèmesdeRAPsansaucune
expertiselinguistiquepourunnouveaudomaineouunenouvellelangue.Enparticulier,nous
considéronslesgraphèmesentantqu’unitéssous-motsalternativespourlareconnaissance
vocale.Dansundictionnairedegraphèmes,laprononciationd’unmotestobtenuedepuis
sonorthographe.Toutefois,modéliserlesgraphèmespourlareconnaissancedeparoleest
unetâchedifficilepourdeuxraisons.Premièrement,larelationgraphème-à-phonème(GAP)
peutêtreambigüecarunelanguecontinued’évoluerunefoissonorthographestandardisée.
Deuxièmement,commenouslemontronsdanscettethèse,engénérallessystèmesdeRAP
modélisentdirectementlarelationentrelesgraphèmesetlescaractéristiquesacoustiques,et
cescaractéristiquesacoustiquesdécriventl’enveloppedelaparole,quiestliéeauxphonèmes.
Danscettethèse,uneapprochedeRAPbaséesurlesgraphèmesestproposée,oùlarelation
entre les graphèmes et les caractéristiques acoustiques est prise en compte à travers une
variablelatentedansdeuxmodèles,àsavoirunmodèleacoustiqueetunmodèlelexical.Dans
lemodèleacoustique,onmodéliselarelationentrelesvariableslatentesetlescaractéristiques
acoustiques,alorsquepourlemodèlelexicalonmodéliselarelationprobabilisteentreles
variableslatentesetlesgraphèmes.Nousréféronsàl’approcheproposéecommeRAPbasée
surlamodélisationlexicaleprobabiliste.Danscettethèse,nousmontronsquelesvariables
latentes peuvent être des phonèmes ou phonèmes multilingues, ou unités de sous-mots
groupéesenfonctionducontexte.Unmodèleacoustiquepeutêtreentrainésurdesressources
indépendantesdudomaineouindépendantesdelalangue.Lemodèlelexicalestentrainésur
delaparoletranscritedelalangueoududomainecible.Enprocédantainsi,lesparamètres
dumodèlelexicalcapturentunerelationprobabilisteentrelesgraphèmesetlesphonèmes.
Dansl’approchedeRAPbaséesurdesgraphèmes,l’apprentissagedudictionnaireestintégré
implicitementcommeunephasedansl’apprentissagedusystèmedeRAP,alorsquedans
lecasd’uneapprocheconventionnelle,lelexiquedeprononciationphonétiqueestd’abord
développépuisunsystèmedeRAPbasésurdesphonèmesestentrainé.
Lepotentieletl’efficacitédel’approcheproposéesontdémontrésàtraversuneséried’expéri-
encesetdecomparaisonsavecd’autresapprochesstandardsurdeslanguespourlesquelles
ix
Acknowledgements
les ressources sont importantes, de la parole non native et accentuée et sur des langues
minoritairesayantpeuderessources.Nosétudesrévèlentquelesystèmeproposéestpartic-
ulièrementadaptélorsquelatâcheestdifficileenraisond’unmanqued’expertiselinguistique
etdedonnéestranscrites.Deplus,nosrecherchesmontrentégalementquelesapproches
standarddeRAPpourlesquelleslemodèlelexicalestdéterministesontplusadaptéespourles
phonèmesquepourlesgraphèmes,alorsqu’uneapprochedeRAPbaséesurunmodèlelexical
probabilisteestadaptéeauxdeux.Enfin,nousmontronsquelarelationgraphème-à-phonème
peutêtreexploitéepourconvertirdesgraphèmesenphonèmesensebasantsurdesdonnées
acoustiques.
Motsclés:Reconnaissanceautomatiquedelaparole;modèledeMarkovcachébasésurla
divergencedeKullback-Leibler;lexique;graphème;phonème;modélisationlexicaleprob-
abiliste; reconnaissance automatique de la parole basée sur des graphèmes; conversion
graphème-à-phonème;reconnaissancedeparoleavecpeuderessources
x