statistical physics and approximate message passing algorithms for sparse linear estimation ...

284 Pages·2015·7.44 MB·French

STATISTICAL PHYSICS AND
APPROXIMATE MESSAGE PASSING ALGORITHMS
FOR SPARSE LINEAR ESTIMATION PROBLEMS
IN SIGNAL PROCESSING AND CODING THEORY
Thèse n.
présentée le 18 septembre 2015
à l’École Normale Supérieure de Paris.
Travail effectué au laboratoire de physique statistique
de l’École Normale Supérieure de Paris
sous la direction de Prof. Florent KRZAKALA
et au sein de l’école doctorale physique en île de France
Université Paris Diderot (Paris 7) Sorbonne Paris cité
pour l’obtention du grade de Docteur ès Sciences
spécialité physique théorique, par
Jean BARBIER
acceptée sur la proposition du jury:
Prof. Laurent DAUDET, examinateur
Prof. Silvio FRANZ, examinateur
Prof. Florent KRZAKALA, directeur
Prof. Marc LELARGE, examinateur
Prof. Nicolas MACRIS, rapporteur
Prof. Marc MÉZARD, examinateur
Prof. Federico RICCI-TERSENGHI, examinateur
Prof. David SAAD, rapporteur
Paris, École Normale Supérieure, 2015.

Lasciencec’estplutôtcoolquandmême...
Amesparentsquim’onttoutdonnéetmessoeursquej’aimepardessustout.
Mercidem’avoirsupportéjusqu’ici...

Remerciements
Jetiensavanttoutàremerciermesparentsquim’onttoujourslaissétotalementlibredemes
choixetm’onttoutdonné,quim’ontsoutenupendantcettelonguepériodesouventdifficile,
parfoistrèsdifficileettoujoursmerveilleusequ’ontétémesétudes.Merciàmessoeurs,Louise
etVirginie.Merciàtoutemafamille,présentedanslesjoiesetdifficultés.
JeremerciemondirecteurFlorent,lemaitreJedi,unami.Mercidem’avoirfaitconfiance,de
m’avoirenseignéparlapratiquelevraisenscritique,dem’avoirprésentétantdepersonnes
incroyables, de m’avoir offert ces expériences enrichissantes en école et ailleurs, d’avoir
étéinsupportablequandillefallaitvraimentetd’avoirtoujourssutrouverl’équilibreentre
pressionetliberté,travailethumour,entreaideetindépendance.Jen’auraisréellementpas
puvivreunemeilleureexpériencepourmondoctorat.
MerciàEricTrameletFrancescoCaltagironepourleursympathieetleursexplications.
Jetiensàremercierceuxquiontrendumathèseencoreplusagréableparleuramitié,qui
onttransformétousmesrepas(etsoirées)enmomentstoujoursplusmarrants,quim’ont
presentésleursamis...MerciThim,Thomas,lepetitChristophe,Alaa,Alice,Antoine,Sophie,
Ralphetmerciàtouslesautresaussi.
Jevoudraiségalementremercierceuxquim’ontpermisd’enarriverlà.EnparticulierRiccardo
Zecchinaquim’afaitdécouvrirlesdomainesdel’inférenceetdelabellephysiquestatistique
dudésordre,AlessandroPelizzolaquiatoutfaitpourrendremonannéeàTurinsienrichissante
etsimple,SilvioFranzetEmmanuelTrizacpourm’avoirfaitconfianceenm’envoyantenItalie,
merciàMarcMézardpoursoninfluencedirecteouindirectedanstouslestravauxauxquels
j’aipum’intéresserpendantcestroisannéesetdemie,surtouslespapiersquej’aipulireet
pourm’avoirmontrécequec’estquedevraimentsavoirskier...MerciàLenkaZdeborovapour
cescollaborationsfructueuses,LaurentDaudetpourm’avoiraidéàprendredesdécisions
importantes.
MerciaussiàRüdigerUrbankeetNicolasMacrispourleuraccueilàLausanne.J’attendsavec
impatiencelesannéesàvenir...Merciauxautresmembresdemonjurydeprendreletemps
pourmasoutenanceetavoirlapatiencedeliremathèse:DavidSaad,FedericoRicci-Tersenghi
etMarcLelarge.
Jen’oubliepaslesmembresdemonpremierlieudetravail,lelaboratoiredephysico-chimie
théoriquedel’ÉcoleSupérieuredephysiqueetchimiedeParis,enparticulierÉlieRaphaëlet
ThomasSalezpourleursympathieperpétuelle,ainsiqueJustineetAntoine.
Jedoisbeaucoupàmescolocatairesquim’aurontsupportémalgrémescrisesdenerfssuiteà
tropdemessage-passingetavecquij’auraistellementrigolé:Charlotte,PHetManon,vous
v
Remerciements
êteslesmeilleurs.
MerciAuréd’avoirrendumesétudesencoreplusintéressantes,dudébutàlafin.
Jen’oubliepasBrianettouslesserveursdeChezLéasansquicettepériodederédactionaurait
ététrèsdifférente...
JetienségalementàremercierlaDGAdem’avoirfinancé.
Lalistepourraitencorecontinuerlongtempsayantrencontrétellementdegensintéressants
etsympathiquesdurantcesannées,merciàvoustous..
Paris,20Mai2015 J.B.
vi
Abstract
Thisthesisisinterestedintheapplicationofstatisticalphysicsmethodsandinferencetosignal
processingandcodingtheory,moreprecisely,tosparselinearestimationproblems.
Themaintoolsareessentiallythegraphicalmodelsandtheapproximatemessage-passing
algorithm together with the cavity method (referred as the state evolution analysis in the
signalprocessingcontext)foritstheoreticalanalysis.Wewillalsousethereplicamethodof
statisticalphysicsofdisorderedsystemswhichallowstoassociatetothestudiedproblems
acostfunctionreferredasthepotentialoffreeentropyinphysics. Itallowstopredictthe
differentphasesoftypicalcomplexityoftheproblemasafunctionofexternalparameters
suchasthenoiselevelorthenumberofmeasurementsonehasaboutthesignal:theinference
canbetypicallyeasy,hardorimpossible. Wewillseethatthehardphasecorrespondstoa
regimeofcoexistenceoftheactualsolutiontogetherwithanotherunwantedsolutionofthe
messagepassingequations.Inthisphase,itrepresentsametastablestatewhichisnotthetrue
equilibriumsolution.Thisphenomenoncanbelinkedtosupercooledwaterblockedinthe
liquidstatebelowitsfreezingcriticaltemperature.
Thankstothisunderstandingofblockingphenomenonofthealgorithm,wewilluseamethod
thatallowstoovercomethemetastabilitymimicingthestrategyadoptedbynatureitselffor
supercooledwater:thenucleationandspatialcoupling.Insupercooledwater,aweaklocalized
perturbationisenoughtocreateacrystalnucleusthatwillpropagateinallthemediumthanks
tothephysicalcouplingsbetweenclosebyatoms.Thesameprocesswillhelpthealgorithmto
findthesignal,thankstotheintroductionofanucleuscontaininglocalinformationaboutthe
signal.Itwillthenspreadasa"reconstructionwave"similartothecrystalinthewater.
Afteranintroductiontostatisticalinferenceandsparselinearestimation,wewillintroduce
thenecessarytools.Thenwewillmovetoapplicationsofthesenotions.Theywillbedivided
intotwoparts.
Thesignalprocessingpartwillfocusessentiallyonthecompressedsensingproblemwhere
weseektoinferasparsesignalfromasmallnumberoflinearprojectionsofitthatcanbe
noisy.Wewillstudyindetailstheinfluenceofstructuredoperatorsinsteadofpurelyrandom
onesusedoriginallyincompressedsensing.Theseallowasubstantialgainincomputational
complexityandnecessarymemoryallocation,whicharenecessaryconditionsinorderto
workwithverylargesignals.Wewillseethatthecombineduseofsuchoperatorswithspatial
coupling allows the implementation of an highly optimized algorithm able to reach near
tooptimalperformances. Wewillalsostudythealgorithmbehaviorforreconstructionof
vii
Remerciements
approximately sparse signals, a fundamental question for the application of compressed
sensingtoreallifeproblems. Adirectapplicationwillbestudiedviathereconstructionof
imagesmeasuredbyfluorescencemicroscopy.Thereconstructionof"natural"imageswillbe
consideredaswell.
Incodingtheory,wewilllookatthemessage-passingdecodingperformancesfortwodistincts
realnoisychannelmodels. Afirstschemewherethesignaltoinferwillbethenoiseitself
willbepresented. Thesecondone, thesparsesuperpositioncodesfortheadditivewhite
Gaussiannoisechannelisthefirstexampleoferrorcorrectionschemedirectlyinterpreted
asastructuredcompressedsensingproblem. Herewewillapplyallthetoolsdevelopedin
thisthesisforfinallyobtainingaverypromisingdecoderthatallowstodecodeatveryhigh
transmissionrates,verycloseofthefundamentalchannellimit.
Keywords: Statistical physics, disordered systems, mean field theory, signal processing,
Bayesianinference, statisticallearning, codingtheory, linearestimation, sparsity, approx-
imate sparsity, compressed sensing, spatial coupling, Gaussian channel, error correcting
codes,sparsesuperpositioncodes,approximatemessagepassingalgorithm,cavitymethod,
stateevolutionanalysis,replicamethod.
viii
Résumé
Cette thèse s’intéresse à l’application de méthodes de physique statistique des systèmes
désordonnésainsiquedel’inférenceàdesproblèmesissusdutraitementdusignaletdela
théorieducodage,plusprécisément,auxproblèmesparcimonieuxd’estimationlinéaire.
Lesoutilsutiliséssontessentiellementlesmodèlesgraphiquesetl’algorithmeapproximéde
passagedemessagesainsiquelaméthodedelacavité(appeléeanalysedel’évolutiond’état
danslecontextedutraitementdesignal)poursonanalysethéorique.Nousauronségalement
recoursàlaméthodedesrépliquesdelaphysiquedessystèmesdésordonnéesquipermet
d’associerauxproblèmesrencontrésunefonctiondecoûtappelépotentielouentropielibre
enphysique.Celle-cipermettradeprédirelesdifférentesphasesdecomplexitétypiquedu
problème,enfonctiondeparamètresexternestelsqueleniveaudebruitoulenombrede
mesuresliéesausignalauquell’onaaccès:l’inférencepourraêtreainsitypiquementsimple,
possiblemaisdifficileetenfinimpossible.Nousverronsquelaphasedifficilecorrespond
àunrégimeoùcoexistentlasolutionrecherchéeainsiqu’uneautresolutiondeséquations
depassagedemessages.Danscettephase,celle-ciestunétatmétastableetnereprésente
doncpasl’équilibrethermodynamique.Cephénomènepeut-êtrerapprochédelasurfusion
del’eau,bloquéedansl’étatliquideàunetempératureoùelledevraitêtresolidepourêtreà
l’équilibre.
Viacettecompréhensionduphénomènedeblocagedel’algorithme,nousutiliseronsune
méthodepermettantdefranchirl’étatmétastableenimitantlastratégieadoptéeparlanature
pour la surfusion : la nucléation et le couplage spatial. Dans de l’eau en état métastable
liquide,ilsuffitd’unelégèreperturbationlocaliséepourquesecréerunnoyaudecristalqui
varapidementsepropagerdanstoutlesystèmedeprocheenprochegrâceauxcouplages
physiquesentreatomes.Lemêmeprocédéserautilisépouraiderl’algorithmeàretrouverle
signal,etcegrâceàl’introductiond’unnoyaucontenantdel’informationlocalesurlesignal.
Celui-cisepropageraensuiteviaune"ondedereconstruction"similaireàlapropagationde
procheenprocheducristaldansl’eau.
Aprèsuneintroductionàl’inférencestatistiqueetauxproblèmesd’estimationlinéaires,on
introduiralesoutilsnécessaires.Serontensuiteprésentéesdesapplicationsdecesnotions.
Celles-ciserontdiviséesendeuxparties.
Lapartietraitementdusignalseconcentreessentiellementsurleproblèmedel’acquisition
compriméeoùl’onchercheàinférerunsignalparcimonieuxdontonconnaîtunnombre
restreintdeprojectionslinéairesquipeuventêtrebruitées.Estétudiéeenprofondeurl’in-
ix
Remerciements
fluence de l’utilisation d’opérateurs structurés à la place des matrices aléatoires utilisées
originellementenacquisitioncomprimée.Ceux-cipermettentungainsubstantielentemps
detraitementetenallocationdemémoire,conditionsnécessairespourletraitementalgo-
rithmiquedetrèsgrandssignaux.Nousverronsquel’utilisationcombinéedetelsopérateurs
aveclaméthodeducouplagespatialpermetd’obtenirunalgorithmedereconstructionextrê-
mementoptimiséets’approchantdesperformancesoptimales.Nousétudieronségalement
le comportement de l’algorithme confronté à des signaux seulement approximativement
parcimonieux,questionfondamentalepourl’applicationconcrètedel’acquisitioncompri-
méesurdessignauxphysiquesréels.Uneapplicationdirecteseraétudiéeautraversdela
reconstructiond’imagesmesuréesparmicroscopieàfluorescence.Lareconstructiond’images
dites"naturelles"seraégalementétudiée.
Enthéorieducodage,serontétudiéeslesperformancesdudécodeurbasésurlepassagede
messagepourdeuxmodèlesdistinctsdecanauxcontinus.Nousétudieronsunschémaoùle
signalinféréseraenfaitlebruitquel’onpourraainsisoustraireausignalreçu.Lesecond,les
codesdesuperpositionparcimonieusepourlecanaladditifGaussienestlepremierexemple
deschémadecodescorrecteursd’erreurspouvantêtredirectementinterprétécommeun
problèmed’acquisitioncompriméestructuré.Dansceschéma,nousappliqueronsunegrande
partiedestechniquesétudiéedanscettethèsepourfinalementobtenirundécodeurayant
desrésultatstrèsprometteursàdestauxd’informationtransmiseextrêmementprochesdela
limitethéoriquedetransmissionducanal.
Motsclefs:Physiquestatistique,systèmesdésordonnés,théorieduchampmoyen,traitement
du signal, inférence Bayesienne, apprentissage statistique, théorie du codage, estimation
linéaire,parcimonie,parcimonieapproximative,acquisitioncomprimée,couplagespatial,
canalGaussien,codescorrecteursd’erreurs,codesdesuperpositionparcimonieuse,algo-
rithmeapproximédepassagedemessages,méthodedelacavité,analysed’évolutiondesétats,
méthodedesrépliques.
x