Khosravani, Ali Mohammad

134 Pages·2016·7.41 MB·English

Deutsche Geodätische Kommission
der Bayerischen Akademie der Wissenschaften
Reihe C Dissertationen Heft Nr. 767
Ali Mohammad Khosravani
Automatic Modeling of Building Interiors
Using Low-Cost Sensor Systems
München 2016
Verlag der Bayerischen Akademie der Wissenschaften
in Kommission beim Verlag C. H. Beck
ISSN 0065-5325 ISBN 978-3-7696-5179-9

Deutsche Geodätische Kommission
der Bayerischen Akademie der Wissenschaften
Reihe C Dissertationen Heft Nr. 767
Automatic Modeling of Building Interiors
Using Low-Cost Sensor Systems
Von der Fakultät Luft- und Raumfahrttechnik und Geodäsie
der Universität Stuttgart
zur Erlangung der Würde eines
Doktors der Ingenieurwissenschaften (Dr.-Ing.)
genehmigte Abhandlung
Vorgelegt von
M.Sc. Ali Mohammad Khosravani
aus Shiraz, Iran
München 2016
Verlag der Bayerischen Akademie der Wissenschaften
in Kommission beim Verlag C. H. Beck
ISSN 0065-5325 ISBN 978-3-7696-5179-9
Adresse der Deutschen Geodätischen Kommission:
Deutsche Geodätische Kommission
Alfons-Goppel-Straße 11 ! D – 80 539 München
Telefon +49 – 89 – 23 031 1113 ! Telefax +49 – 89 – 23 031 - 1283 / - 1100
e-mail [email protected] ! http://www.dgk.badw.de
Hauptberichter: Prof. Dr.-Ing. habil. Dieter Fritsch
Mitberichter: Prof. Dr.-Ing. habil. Volker Schwieger
Tag der mündlichen Prüfung: 09.12.2015
Diese Dissertation ist auf dem Server der Deutschen Geodätischen Kommission unter <http://dgk.badw.de/>
sowie auf dem Server der Universität Stuttgart unter <http://elib.uni-stuttgart.de/opus/doku/e-diss.php>
elektronisch publiziert
© 2016 Deutsche Geodätische Kommission, München
Alle Rechte vorbehalten. Ohne Genehmigung der Herausgeber ist es auch nicht gestattet,
die Veröffentlichung oder Teile daraus auf photomechanischem Wege (Photokopie, Mikrokopie) zu vervielfältigen.
ISSN 0065-5325 ISBN 978-3-7696-5179-9
This dissertation is gratefully dedicated to my beloved mother, for her endless love and
encouragements, and to my late father.

5
Kurzfassung
Die dreidimensionale Rekonstruktion von Innenraumszenen zielt darauf ab, die Form von
Gebäudeinnenräumen als Flächen oder Volumina abzubilden. Aufgrund von Fortschritten im Bereich
der Technologie entfernungsmessender Sensoren und Algorithmen der Computervision sowie
verursacht durch das gesteigerte Interesse vieler Anwendungsgebiete an Innenraummodellen hat
dieses Forschungsfeld in den letzten Jahren zunehmend an Aufmerksamkeit gewonnen. Die
Automatisierung des Rekonstruktionsprozesses ist weiterhin Forschungsgegenstand, verursacht durch
die Komplexität der Rekonstruktion, der geometrischen Modellierung beliebig geformter Räume und
besonders im Falle unvollständiger oder ungenauer Daten. Die hier vorgestellte Arbeit hat die
Erhöhung des Automatisierungsgrades dieser Aufgabe zum Ziel, unter der Verwendung einer geringen
Anzahl an Annahmen bzgl. der Form von Räumen und basierend auf Daten, welche mit Low-Cost-
Sensoren erfasst wurden und von geringer Qualität sind.
Diese Studie stellt einen automatisierten Arbeitsablauf vor, welcher sich aus zwei Hauptphasen
zusammensetzt. Die erste Phase beinhaltet die Datenerfassung mittels eines kostengünstigen und leicht
erhältlichen Sensorsystems, der Microsoft Kinect. Die Entfernungsdaten werden anhand von
Merkmalen, welche im Bildraum oder im 3D Objektraum beobachtet werden können, registriert. Ein
neuer komplementärer Ansatz für die Unterstützung der Registrierungsaufgabe wird präsentiert, da die
diese Ansätze zur Registrierung in manchen Fällen versagen können, wenn die Anzahl gefundener
visueller und geometrischer Merkmale nicht ausreicht. Der Ansatz basiert auf der Benutzerfußspur,
welche mittels einer Innenraumpositionierungsmethode erfasst wird, und auf einem vorhandenen
groben Stockwerksmodell.
In der zweiten Phase werden aus den registrierten Punktwolken mittels eines neuen Ansatzes
automatisiert hochdetaillierte 3D-Modelle abgeleitet. Hierzu werden die Daten im zweidimensionalen
Raum verarbeitet (indem die Punkte auf die Grundrissebene projiziert werden) und die Ergebnisse
werden durch eine Extrusion in den dreidimensionalen Raum zurückgewandelt (wobei die Raumhöhe
mittels einer Histogrammanalyse der in der Punktwolke enthaltenen Höhen erfasst wird). Die
Datenanalyse und -modellierung in 2D vereinfacht dabei nicht nur das Rekonstruktionsproblem,
sondern erlaubt auch eine topologische Analyse unter Verwendung der Graphentheorie. Die
Leistungsfähigkeit des Ansatzes wird dargestellt, indem Daten mehrerer Sensoren verwendet werden,
die unterschiedliche Genauigkeiten liefern, und anhand der Erfassung von Räumen unterschiedlicher
Form und Größe.
Abschließend zeigt die Studie, dass die rekonstruierten Modelle verwendbar sind, um vorhandene
grobe Innenraummodelle zu verfeinern, welche beispielsweise aus Architekturzeichnungen oder
Grundrissplänen abgeleitet werden können. Diese Verfeinerung wird durch die Fusion der detaillierten
Modelle einzelner Räume mit dem Grobmodell realisiert. Die Modellfusion beinhaltet dabei die
Überbrückung von Lücken im detaillierten Modell unter Verwendung eines neuen, auf maschinellem
Lernen basierenden Ansatzes. Darüber hinaus erlaubt der Verfeinerungsprozess die Detektion von
Änderungen oder Details, welche aufgrund der Generalisierung des Grobmodells oder
Renovierungsarbeiten im Gebäudeinnenraum fehlten.
6
Abstract
Indoor reconstruction or 3D modeling of indoor scenes aims at representing the 3D shape of building
interiors in terms of surfaces and volumes, using photographs, 3D point clouds or hypotheses. Due to
advances in the range measurement sensors technology and vision algorithms, and at the same time an
increased demand for indoor models by many applications, this topic of research has gained growing
attention during the last years. The automation of the reconstruction process is still a challenge, due to
the complexity of the data collection in indoor scenes, as well as geometrical modeling of arbitrary
room shapes, specially if the data is noisy or incomplete. Available reconstruction approaches rely on
either some level of user interaction, or making assumptions regarding the scene, in order to deal with
the challenges. The presented work aims at increasing the automation level of the reconstruction task,
while making fewer assumptions regarding the room shapes, even from the data collected by low-cost
sensor systems subject to a high level of noise or occlusions. This is realized by employing topological
corrections that assure a consistent and robust reconstruction.
This study presents an automatic workflow consisting of two main phases. In the first phase, range
data is collected using the affordable and accessible sensor system, Microsoft Kinect. The range data
is registered based on features observed in the image space or 3D object space. A new complementary
approach is presented to support the registration task in some cases where these registration
approaches fail, due to the existence of insufficient visual and geometrical features. The approach is
based on the user’s track information derived from an indoor positioning method, as well as an
available coarse floor plan.
In the second phase, 3D models are derived with a high level of details from the registered point
clouds. The data is processed in 2D space (by projecting the points onto the ground plane), and the
results are converted back to 3D by an extrusion (room height available from the point height
histogram analysis). Data processing and modeling in 2D does not only simplify the reconstruction
problem, but also allows for topological analysis using the graph theory. The performance of the
presented reconstruction approach is demonstrated for the data derived from different sensors having
different accuracies, as well as different room shapes and sizes.
Finally, the study shows that the reconstructed models can be used to refine available coarse indoor
models which are for instance derived from architectural drawings or floor plans. The refinement is
performed by the fusion of the detailed models of individual rooms (reconstructed in a higher level of
details by the new approach) to the coarse model. The model fusion also enables the reconstruction of
gaps in the detailed model using a new learning-based approach. Moreover, the refinement process
enables the detection of changes or details in the original plans, missing due to generalization
purposes, or later renovations in the building interiors.
7
Contents
Kurzfassung ............................................................................................................................................. 5
Abstract ....................................................................................................................................................6
1. Introduction ........................................................................................................................................11
1.1. Motivation .................................................................................................................................. 11
1.2. Objectives ................................................................................................................................... 13
1.3. Outline and Design of the Thesis ............................................................................................... 13
2. Overview of Indoor Data Collection Techniques...............................................................................15
2.1. State-of-the-Art Sensors for 3D Data Collection ........................................................................ 16
2.1.1. Laser Scanners .................................................................................................................. 17
2.1.2. 3D Range Cameras ........................................................................................................... 22
2.2. The Registration Problem ........................................................................................................... 31
2.2.1. Registration Using Point Correspondences in the Point Clouds ...................................... 31
2.2.2. Registration by the Estimation of the Sensor Pose ........................................................... 33
3. Data Collection using Microsoft Kinect for Xbox 360 ......................................................................36
3.1. Point Cloud Collection by Kinect ............................................................................................... 36
3.1.1. System Interfaces and SDKs ............................................................................................ 36
3.1.2. System Calibration ........................................................................................................... 36
3.1.3. Generation of Colored Point Clouds ................................................................................ 39
3.2. Point Clouds Registration ........................................................................................................... 42
3.2.1. Point Clouds Registration Based on RGB and Depth Information .................................. 42
3.2.2. Point Clouds Registration Based on an Indoor Positioning Solution and Available Coarse
Indoor Models .......................................................................................................................... 43
3.3. Kinect SWOT Analysis .............................................................................................................. 49
4. Overview of Available Indoor Modeling Approaches .......................................................................50
4.1. Classification of Available Modeling Approaches ..................................................................... 51
4.2. Iconic Approaches ...................................................................................................................... 52
4.2.1. Image-Based Modeling .................................................................................................... 52
4.2.2. Range-Based Modeling .................................................................................................... 57
4.2.3. Modeling Based on Architectural Drawings .................................................................... 60
4.3. Symbolic Approaches ................................................................................................................. 63
8
5. Automatic Reconstruction of Indoor Spaces ......................................................................................65
5.1. Point Cloud Pre-Processing ........................................................................................................ 66
5.1.1. Outlier Removal ............................................................................................................... 66
5.1.2. Downsampling .................................................................................................................. 67
5.1.3. Noise Removal ................................................................................................................. 67
5.1.4. Leveling the Point Cloud .................................................................................................. 68
5.1.5. Height Estimation and Furniture Removal ....................................................................... 69
5.2. Reconstruction of Geometric Models ......................................................................................... 70
5.2.1. Generation of Orthographic Projected Image ................................................................... 70
5.2.2. Binarization ...................................................................................................................... 71
5.2.3. Morphological Image Processing ..................................................................................... 72
5.2.4. Estimation of the Lines Representing the Walls in 2D .................................................... 73
5.2.5. Topological Corrections ................................................................................................... 76
5.2.6. 2D to 3D Conversion of Reconstructed Models ............................................................... 81
6. Experimental Results and Analysis ....................................................................................................82
6.1. Kinect System Calibration and Accuracy Analysis .................................................................... 82
6.1.1. System Calibration ........................................................................................................... 82
6.1.2. Accuracy of Kinect Range Measurements ....................................................................... 85
6.2. Evaluation of the Reconstruction Approach ............................................................................... 88
6.2.1. Parameter Selection in Different Scenarios ...................................................................... 88
6.3. Quality of the Reconstructed Models ......................................................................................... 93
7. Application in the Refinement of Available Coarse Floor Models ....................................................95
7.1. Registration of Individual Detailed Models to an Available Coarse Floor Model ..................... 96
7.1.1. Approximate Registration ................................................................................................ 96
7.1.2. Fine Registration .............................................................................................................. 97
7.2. Fusion of Detailed Models to the Coarse Model ........................................................................ 99
8. Conclusion........................................................................................................................................103
8.1. Summary................................................................................................................................... 103
8.2. Contributions ............................................................................................................................ 103
8.3. Future Work .............................................................................................................................. 104
Appendix A. Point Cloud Registration – Fundamental Principles .......................................................106
A.1. Closed-Form Solution .............................................................................................................. 107
A.2. Iterative Solution (ICP) ........................................................................................................... 109
Appendix B. RANSAC ..........................................................................................................................112
Appendix C. SLAM Problem .................................................................................................................113