Table Of ContentHeft 238 Andreas Geiges
Efficient concepts for optimal
experimental design in nonlinear
environmental systems
Efficient concepts for optimal experimental design in nonlinear
environmental systems
VonderFakulta¨tBau-undUmweltingenieurwissenschaftenderUniversita¨tStuttgart
unddemStuttgartResearchCentreforSimulationTechnology
zurErlangungderWu¨rdeeinesDoktorsder
Ingenieurwissenschaften(Dr.-Ing.)genehmigteAbhandlung
Vorgelegtvon
Andreas Geiges
ausGengenbach
Hauptberichter: Jun-Prof.Dr.-Ing.WolfgangNowak
Mitberichter: Prof.Dr.rer.nat.Dr.-Ing.Andra`sBa´rdossy
Prof.YoramRubin
Tagdermu¨ndlichenPru¨fung: 25.11.2014
Institutfu¨rWasser-undUmweltsystemmodellierungderUniversita¨tStuttgart
2014
Heft 238 Efficient concepts for optimal
experimental design in nonlinear
environmental systems
von
Dr.-Ing.
Andreas Geiges
Eigenverlag des Instituts für Wasser- und Umweltsystemmodellierung
der Universität Stuttgart
D93 Efficient concepts for optimal experimental design in nonlinear
environmental systems
Bibliografische Information der Deutschen Nationalbibliothek
Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen
Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über
http://www.d-nb.de abrufbar
Andreas Geiges:
Efficient concepts for optimal experimental design in nonlinear environmental
systems, Universität Stuttgart. - Stuttgart: Institut für Wasser- und
Umweltsystemmodellierung, 2014
(Mitteilungen Institut für Wasser- und Umweltsystemmodellierung, Universität
Stuttgart: H. 238)
Zugl.: Stuttgart, Univ., Diss., 2014
ISBN 978-3-942036-42-9
NE: Institut für Wasser- und Umweltsystemmodellierung <Stuttgart>: Mitteilungen
Gegen Vervielfältigung und Übersetzung bestehen keine Einwände, es wird lediglich
um Quellenangabe gebeten.
Herausgegeben 2014 vom Eigenverlag des Instituts für Wasser- und Umweltsystem-
modellierung
Druck: Document Center S. Kästl, Ostfildern
Acknowledgements
At first, I want to thank my supervisor Wolfgang Nowak, who always had an open door, in-
dicating that there was always time for discussions. It was very special that despite all his
time constrains, discussions usually exceeded the requested five minutes by far, since Wolf-
gang kept discussing. His effort and individual support made this thesis possible. Along the
wayhesomehowmanagedtogrowmyinterestinthefieldofstatistics.AtthispointIevenlike
topursuethetopicinmyfuturecareer,forwhichIamnotsuretothankorcursehim.
Almostasimportweremycolleagues,whowereessentialtoaskthosestupidquestions,which
are said not to exist. I had the pleasure see the starting of a small group of potential scientist,
exiled in a woodenbarrack, to seethegroupgrowand finally move in an excellentfortressof
science, made of concrete. I want to thank specially Phillip, Jonas and Julian for the gazillion
discussions,whichwereneededtosortmywanderingthoughts,andfortheconstantattempts
to fight the routine problems that occur when living in a futuristic concrete working environ-
ment.Togetherwithalotothers,Lenahelpedmeatvariouslunch breakstoovercomeseldom
droughtsinthedessertofstochastics.
Important support and ideas came from my co-advisors Andra`s Ba´rdossy and Yoram Rubin,
forwhichIamverygrateful.
The possibility to work on parts for my thesis at the University of California in Berkeley was
an overwhelmingexperience.For this,I want to thankYoramRubin, who made this possible,
welcomed me in his work group and guided my progressin various discussions.The time in
Berkeleywasuniqueandallowedmetomakemany importantexperiencesandvaluable new
friends.
Finally,Iwanttothankmyfamily whosupportedmeanytimeandmyfriendswhomademy
timeinStuttgartfunandenjoyable.Specialthankstothosewhojoinedmeinclimbing,whereI
foundanotherkindofchallengeandausefuldistractionfromthetheoreticworkdayproblems.
Atlast,IwanttothanktheDeutscheForschungsgemeinschaft(DFG)andtheStuttgartResearch
CenterforSimulationTechnology(SimTech)forfinancingtherelatedresearchproject.
Contents
ListofFigures V
ListofTables VII
Notation IX
Abstract XI
Kurzfassung XV
1. Introduction 1
1.1. Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. Stateoftheart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3. Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4. Approach. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.5. Structureofwork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2. Basicmethodsandgoverningequations 7
2.1. Governingphysicalequations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.1. Groundwaterflowandtransport . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.2. Vadozezone . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2. Basicstatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2.1. Descriptivestatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2.2. Probabilitytheory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2.3. Densityfunctionsandtheirestimation . . . . . . . . . . . . . . . . . . . . . 13
2.2.4. Monte-Carlomethods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3. Bayesianmodelingframework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.1. Descriptionofuncertainty . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.2. Bayes’theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3.3. Bayesiangeostatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3.4. Bayesianmodelaveraging . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.5. Bayesianinference,analyticalsolutionsandbootstrapfilter . . . . . . . . 22
2.4. Informationtheory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.1. Fisherinformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.2. Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.3. MutualInformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
II Contents
3. Optimaldesignofdata acquisition 31
3.1. Generaldefinition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2. Optimization algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.1. Sequentialexchange . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.2.2. Geneticalgorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3. Measuresofdataimpact . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3.1. Linearestimatesandtheirlimitations . . . . . . . . . . . . . . . . . . . . . 37
3.3.2. Task-drivendataimpactformulation . . . . . . . . . . . . . . . . . . . . . 38
3.3.3. Towardsnonlineardataimpactestimation . . . . . . . . . . . . . . . . . . 39
4. Nonlineardataimpactassessment 41
4.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2. Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3. Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.3.1. Nonlinearinference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.3.2. Preposteriordataimpactassessment . . . . . . . . . . . . . . . . . . . . . . 46
4.3.3. EfficientimplementationwithinPreDIA . . . . . . . . . . . . . . . . . . . . 47
4.4. Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.4.1. Filterconvergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4.2. Preposteriorconvergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4.3. Influencefactorsforconvergence . . . . . . . . . . . . . . . . . . . . . . . . 49
4.5. Applicationforagroundwaterscenario . . . . . . . . . . . . . . . . . . . . . . . . 50
4.5.1. Scenariodefinitionandconfiguration . . . . . . . . . . . . . . . . . . . . . 50
4.5.2. Scenariovariations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.5.3. Resultsanddiscussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.6. Applicationforaplantmodelscenario . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.6.1. Testcase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.6.2. Resultsanddiscussions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.7. Summaryandconclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5. Reversedataimpactassessment 71
5.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2. Reverseapproach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.3. Methodology:Forward-reverseequivalenceofmutualinformationandentropy . 77
5.4. Numericalimplementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.4.1. Preprocessingoftheensemble . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.4.2. Forwardanalysisusingmutualinformation . . . . . . . . . . . . . . . . . 79
5.4.3. Reverseanalysisusingmutualinformation . . . . . . . . . . . . . . . . . . 80
5.5. Applicationtotherainfallexample . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.6. Applicationtoagroundwatercontaminantscenario . . . . . . . . . . . . . . . . . 83
5.6.1. Resultsanddiscussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.7. Reverseapproximatedmeasuresofdataimpact . . . . . . . . . . . . . . . . . . . 91
5.7.1. Parametricdensityandentropyestimation . . . . . . . . . . . . . . . . . . 91
5.7.2. Numericaltestcase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.8. Summaryandconclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Description:growth modeling shows how different conceptual models can be considered in the design pro- cess as [e.g., Diggle and Lophaven, 2006; Nowak et al., 2009] avoids the undefendable assumption of one the two soil layers (totaling ten soil hydraulic parameters) and four specific crop model pa-.
