Bayesian inference for structured additive regression models for large-scale problems with

174 Pages·2017·23.44 MB·German

by  Paul Schmidt

Paul Schmidt
Bayesian inference for structured
additive regression models for
large-scale problems with applications to
medical imaging
Dissertation an der Fakultät für Mathematik, Informatik und Statistik
der Ludwig-Maximilians-Universität München
Eingereicht am 07. November 2016

Paul Schmidt
Bayesian inference for structured
additive regression models for
large-scale problems with applications to
medical imaging
Dissertation an der Fakultät für Mathematik, Informatik und Statistik
der Ludwig-Maximilians-Universität München
Eingereicht am 07. November 2016
Erster Berichterstatter: Prof. Dr. Volker Schmid
Zweiter Berichterstatter: Prof. Dr. Thomas Kneib
Dritter Berichterstatter: Prof. Dr. Mark Mühlau
Tag der Disputation: 19. Januar 2017
Danksagung
Diese Arbeit würde ohne die Unterstützung vieler Menschen nicht existieren. Allen voran
möchte ich mich ganz herzlich bei meinem Doktorvater Prof. Dr. Volker Schmid für
die Möglichkeit der Promotion sowie die tolle Betreuung trotz räumlicher Entfernung
bedanken.
Ein herzlicher Dank geht auch an Prof. Dr. Mark Mühlau für die exzellente Betreuung
und Zusammenarbeit sowie die zahlreichen Diskussionen. Durch sein Vertrauen in meine
Arbeit war es mir möglich, auch fernab von München für seine Arbeitsgruppe zu arbeiten,
woraus überhaupt die Idee für diese Arbeit entstand. In diesem Rahmen möchte ich mich
auch bei der Arbeitsgruppe Morphometrie des Neuroimaging Center der TU München
bedanken, insbesondere bei Dr. Viola Biberacher für die angenehme und reibungslose
Zusammenarbeit. Bei der Arbeitsgruppe Schmerz bedanke ich mich bei Dr. Elisabeth
May, Dr. Laura Thiemann sowie Moritz Nickel für die tolle Atmosphäre im und die schöne
Zeit außerhalb des Büros.
Des Weiteren möchte ich mich bei Prof. Dr. Thomas Kneib für den aufschlussreichen
E-Mail-Verkehr sowie bei Dr. Stephanie Thiemichen für die hilfreichen Erläuterungen zum
Promotionsvorgang bedanken.
Ein sehr großer Dank geht an meine Eltern, Monika und Hans-Joachim Schmidt. Ohne
ihre Unterstützung wäre ich nicht dort, wo ich jetzt bin. Ebenfalls möchte ich mich bei
Dr. Coralie Wink und Prof. Dr. Michael Wink für die nützlichen Hinweise bedanken.
Charlotte Wink und Laura Menz danke ich ganz herzlich für die angenehme Unterbringung
sowie Fürsorge während meiner zahlreichen Besuche in München.
Besonders bedanken möchte ich mich bei meiner Partnerin Lucie Wink. Durch ihr
Vertrauen, ihren Rückhalt und Beistand hatte sie indirekt einen großen Anteil an der
Fertigstellung dieser Arbeit. Und schließlich möchte ich mich bei unserem Sohn Jakob
dafür bedanken, dass er die letzten fünf Monate zu den schönsten meines Lebens gemacht
hat.

Zusammenfassung
InderangewandtenStatistikkönnenRegressionsmodellemithochdimensionalenKoeffizien-
ten auftreten, die sich nicht mit gewöhnlichen Computersystemen schätzen lassen. Dies be-
trifft unter anderem die Analyse digitaler Bilder unter Berücksichtigung räumlich-zeitlicher
Abhängigkeiten, wie sie innerhalb der medizinisch-biologischen Forschung häufig vorkom-
men.
In der vorliegenden Arbeit wird ein Verfahren formuliert, das in der Lage
ist, Regressionsmodelle mit hochdimensionalen Koeffizienten und nicht-normalverteilten
Zielgrößen unter moderaten Anforderungen an die benötigte Hardware zu schätzen. Hierzu
wird zunächst im Rahmen strukturiert additiver Regressionsmodelle aufgezeigt, worin
die Limitationen aktueller Inferenzansätze bei der Anwendung auf hochdimensionale
Problemstellungen liegen, sowie Möglichkeiten diskutiert, diese zu umgehen. Darauf
basierend wird ein Algorithmus formuliert, dessen Stärken und Schwächen anhand von
Simulationsstudien analysiert werden. Darüber hinaus findet das Verfahren Anwendung
in drei verschiedenen Bereichen der medizinisch-biologischen Bildgebung und zeigt
dadurch, dass es ein vielversprechender Kandidat für die Beantwortung hochdimensionaler
Fragestellungen ist.
Summary
In applied statistics regression models with high-dimensional coefficients can occur which
cannot be estimated using ordinary computers. Amongst others, this applies to the analysis
of digital images taking spatio-temporal dependencies into account as they commonly occur
within bio-medical research.
In this thesis a procedure is formulated which allows to fit regression models with
high-dimensional coefficients and non-normal response values requiring only moderate
computational equipment. To this end, limitations of different inference strategies for
structured additive regression models are demonstrated when applied to high-dimensional
problems and possible solutions are discussed. Based thereon an algorithm is formulated
whose strengths and weaknesses are subsequently analyzed using simulation studies.
Furthermore, the procedure is applied to three different fields of bio-medical imaging from
which can be concluded that the algorithm is a promising candidate for answering high-
dimensional problems.

Contents
1 Introduction 1
1.1 Large-scale problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 The problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.2 Differentiation from other big data problems . . . . . . . . . . . . . . . . 2
1.1.3 How big is too large? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.4 Previous work on high-dimensional regression models . . . . . . . . . . . 3
1.2 Applications in medical imaging . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Tissue segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Pixel- and voxel-wise regression models . . . . . . . . . . . . . . . . . . . 5
1.2.3 Spatial information in object-based co-localization . . . . . . . . . . . . . 6
1.3 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.1 Thesis objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 Structure of thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.3 Contributed Manuscript . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Structured additive regression models 11
2.1 Observation model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Prior specification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.1 Regression coefficients . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.2 Hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3 Chapter summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3 Inference 29
3.1 MCMC based inference for STAR models . . . . . . . . . . . . . . . . . . . . 30
3.1.1 Regression coefficients . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.1.2 Precision parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1.3 Dispersion parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1.4 Additional considerations . . . . . . . . . . . . . . . . . . . . . . . . . . 36
I
Contents
3.1.5 Fully Bayes inference based on MCMC . . . . . . . . . . . . . . . . . . 39
3.2 Empirical Bayes inference for STAR models . . . . . . . . . . . . . . . . . . . 40
3.2.1 Mixed model representation . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2.2 Estimation of regression coefficients . . . . . . . . . . . . . . . . . . . . 42
3.2.3 Estimation of precision and dispersion parameters . . . . . . . . . . . . 43
3.2.4 Empirical Bayes inference using mixed model representation . . . . . . 45
3.3 Approximate inference for STAR models . . . . . . . . . . . . . . . . . . . . . 46
3.3.1 Exploring the marginal posterior of θ . . . . . . . . . . . . . . . . . . 47
3.3.2 Approximation of the full conditional of x . . . . . . . . . . . . . . . . 49
j
3.3.3 Approximation of the marginal posterior of x . . . . . . . . . . . . . . 50
j
3.3.4 Approximate inference using the INLA approach . . . . . . . . . . . . . 50
3.4 Chapter summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4 Adaptations to large-scale problems 53
4.1 General considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.1.1 Sparseness as a prerequisite . . . . . . . . . . . . . . . . . . . . . . . . 53
4.1.2 Comparison of inference strategies . . . . . . . . . . . . . . . . . . . . . 54
4.1.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2 Large-scale inference using MCMC . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.1 Sampling from zero-mean Gaussians . . . . . . . . . . . . . . . . . . . . 61
4.2.2 Solving systems of linear equations . . . . . . . . . . . . . . . . . . . . 67
4.2.3 Preconditioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2.4 Calculation of log-determinants . . . . . . . . . . . . . . . . . . . . . . 72
4.2.5 On-line calculation of posterior moments . . . . . . . . . . . . . . . . . 76
4.3 Chapter summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5 Simulation studies 81
5.1 Performance of approximations . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.1.1 Simulation setups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.1.2 Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.1.3 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.1.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2 Assessing the impact on the final results . . . . . . . . . . . . . . . . . . . . . 91
5.2.1 Simulation setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2.2 Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
II