Echtzeitfähige 3D Posenbestimmung des Menschen in der Robotik: Methoden und Anwendungen

284 Pages·2019·17.37 MB·German

by  Kristian Ehlers

Kristian Ehlers
Echtzeitfähige 3D
Posenbestimmung
des Menschen
in der Robotik
Methoden und Anwendungen
Echtzeitfähige 3D Posenbestimmung
des Menschen in der Robotik
Kristian Ehlers
Echtzeitfähige 3D
Posenbestimmung
des Menschen
in der Robotik
Methoden und Anwendungen
Kristian Ehlers
Lübeck, Deutschland
Dissertation Universität zu Lübeck, 2018
ISBN 978-3-658-24821-5 ISBN 978-3-658-24822-2 (eBook)
https://doi.org/10.1007/978-3-658-24822-2
Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen National-
bibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.
Springer Vieweg
© Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019
Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die
nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung
des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen,
Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen.
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem
Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche
Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten
wären und daher von jedermann benutzt werden dürften.
Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informa-
tionen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind.
Weder der Verlag, noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder
implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt
im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten
und Institutionsadressen neutral.
Springer Vieweg ist ein Imprint der eingetragenen Gesellschaft Springer Fachmedien Wiesbaden
GmbH und ist ein Teil von Springer Nature
Die Anschrift der Gesellschaft ist: Abraham-Lincoln-Str. 46, 65189 Wiesbaden, Germany
Danksagung
IchmöchtemichbeijedemEinzelnenbedanken,dermirbeidiesemMammutprojektauf
seineArtundWeisezurSeitegestandenhat.
MeinDankgiltnatürlichmeinemDoktorvaterProf.Dr.-Ing.ErikMaehle,dermirdurch
dieArbeitanseinemInstitutdieMöglichkeitgegebenhat,michnebenderLehrtätigkeit
wissenschaftlichzufindenundmirdieforscherischeFreiheitgelassenhat,michimGebiet
derPosenbestimmungdesMenscheninderRobotikzuentfalten.
AuchbeiProf.Dr.-Ing.ErhardtBarthmöchteichmichnichtnurfürdasFungierenals
Zweitgutachterbedanken,sondernvielmehrdafür,dassichaufgrundseinerVorlesung
zumeinemKernthemafürdieMasterarbeitbeiihmundletztlichfürdieseDissertation
gefundenhabe.
AuchProf.Dr.rer.nat.ThomasMartinetzgiltandieserStellemeinDank,daerander
EntwicklungderGeneralisiertenSelbstorganisiertenKartegrundlegendbeteiligtwar.
BeiProf.Dr.-Ing.MladenBerekovicmöchteichdafürbedanken,dassermirnachder
ÜbernahmedesInstitutsfürTechnischeInformatikausreichendFreiraumzumBeenden
dieserArbeitgelassenhat.
EinengroßenDankmöchteichanmeineKollegenundehemaligenKollegendesInstituts
fürTechnischeInformatikderUniversitätzuLübeckrichten,diestetsfüreinwohlfühlen-
desArbeitsklimasorgten.BesondershervorhebenmöchteichBenjamin,Helge,Alex,Uli,
ChristopherundCedric,diemirauchmitRatundTatzurSeitestanden.Dankeschön.
ImRahmenmeinerbisherigenTätigkeitamInstitutfürTechnischeInformatikhatteich
besondersvielFreudeanderLehreundderArbeitmitdenStudierenden.Ichmöchte
michbeialldenjenigenbedanken,dieimRahmenihrerBachelor-oderMasterarbeiten
sowieRobotik-PraktikamitmirdasForschungsgebietderMensch-Roboter-Interaktion
undinsbesonderedieFragestellungdereffizientenPosenbestimmungdesMenschenund
aufihrbasierendenAnwendungenuntersuchthaben.Besondershervorhebenmöchteich
Buddy,LasseundThomas,diezusätzlichalsHiwisdieeinoderanderefixeIdeemeinerseits
umsetzenmussten.Danke.
NichtzuvergessensindhierallmeineKorrekturleser:Tanja,Cedric,Helga&Geraldund
meineMama.BesondersbedankenmöchteichmichbeiKathi&HelgeundmeinerFrau
Christina,diediesesWerkmehrfachlesendurften.
VI Danksagung
NatürlichmöchteichmeinenEltern,GroßelternundmeinemBruderdanken,diemich
schonimmerunterstützthabenundmirdurcherholsameWochenendenimmerneue
Energiegaben.
MeingrößterDankgiltjedochmeinerFrauChristina,diemirschonseitmeinerSchulzeit
jedenTagzurSeitestehtundesmitmirgeradeinderZeitderDoktorarbeitausgehalten
hat.ZusammenmitunserenKindernTillundNilshatsiemirimmeraufsNeueKraft
gegebenundmichimmerwiederneumotiviert.IhrseidfürmichdasWichtigste.Ichliebe
Euch!
Inhaltsverzeichnis
1 Einleitung 1
1.1 StandderTechnik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 StrukturderArbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Grundlagen 15
2.1 Posendarstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.1 PosenvonKoordinatensystemen . . . . . . . . . . . . . . . . . . . 15
2.1.2 AnatomischeGrundlagenundPosederHand . . . . . . . . . . . 21
2.1.3 AnatomischeGrundlagenundPosedesKörpers . . . . . . . . . . 24
2.2 Punktwolken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.1 Tiefenbildkameras . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3 DetektionderHand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 DetektiondesMenschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5 MethodenzurAnalyseundKlassifizierungvonDaten . . . . . . . . . . . 34
2.5.1 Hauptkomponentenanalyse . . . . . . . . . . . . . . . . . . . . . . 34
2.5.2 SupportVectorMachine . . . . . . . . . . . . . . . . . . . . . . . . 37
3 PosenbestimmungmitHilfeSelbstorganisierenderKarten 43
3.1 SelbstorganisierendeKarten . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.1.1 KünstlicheNeuronaleNetze . . . . . . . . . . . . . . . . . . . . . . 44
3.1.2 SelbstorganisierendeKarten . . . . . . . . . . . . . . . . . . . . . . 49
3.2 Standard-SelbstorganisierendeKarte . . . . . . . . . . . . . . . . . . . . . . 55
3.2.1 Lernmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.2.2 BestimmungderPosedermenschlichenHand . . . . . . . . . . . 64
3.2.3 Handgestenerkennung . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.2.4 BestimmungderPosedesmenschlichenKörpers. . . . . . . . . . 75
3.2.5 Körpergestenerkennung . . . . . . . . . . . . . . . . . . . . . . . . 79
3.3 GeneralisierteSelbstorganisierendeKarte . . . . . . . . . . . . . . . . . . . 81
3.3.1 Lernmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.3.2 BestimmungderPosedermenschlichenHand . . . . . . . . . . . 94
3.3.3 Handgestenerkennung . . . . . . . . . . . . . . . . . . . . . . . . . 99
3.3.4 BestimmungderPosedesmenschlichenKörpers. . . . . . . . . . 100
3.3.5 Körpergestenerkennung . . . . . . . . . . . . . . . . . . . . . . . . 103
3.3.6 GesamtverfahrenfürdieBestimmungderPosederHand. . . . . 103
VIII Inhaltsverzeichnis
3.3.7 GesamtverfahrenfürdieBestimmungderPosedesKörpers . . . 105
4 PosenbestimmungmitHilfeeineskinematischenModells 107
4.1 KinematischeModelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.1.1 Vorwärtskinematik . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
4.1.2 InverseKinematik . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
4.2 BestimmungderPosedermenschlichenHand . . . . . . . . . . . . . . . . 118
4.2.1 KinematischesModell. . . . . . . . . . . . . . . . . . . . . . . . . . 119
4.2.2 InverseKinematik . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.2.3 Posenbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.2.4 ErweiterungendesVerfahrens . . . . . . . . . . . . . . . . . . . . . 134
4.2.5 Handgestenerkennung . . . . . . . . . . . . . . . . . . . . . . . . . 142
4.3 BestimmungderPosedesmenschlichenKörpers . . . . . . . . . . . . . . 142
4.3.1 KinematischesModell. . . . . . . . . . . . . . . . . . . . . . . . . . 143
4.3.2 Posenbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
4.3.3 Körpergestenerkennung . . . . . . . . . . . . . . . . . . . . . . . . 151
5 PosenbestimmungmitHilfeeineskombiniertenVerfahrens 153
5.1 PosenbestimmungderHand. . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5.2 PosenbestimmungdesKörpers . . . . . . . . . . . . . . . . . . . . . . . . . 159
6 Evaluation 161
6.1 PosenbestimmungderHand. . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.1.1 GenauigkeitundRobustheit . . . . . . . . . . . . . . . . . . . . . . 161
6.1.2 Geschwindigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
6.2 PosenbestimmungdesKörpers . . . . . . . . . . . . . . . . . . . . . . . . . 166
6.2.1 GenauigkeitundRobustheit . . . . . . . . . . . . . . . . . . . . . . 167
6.2.2 Geschwindigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7 Anwendungen 181
7.1 Gestenerkennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.1.1 Handgesten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
7.1.2 Körpergesten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.2 TelerobotikmiteinemIndustrierobterundeinerRoboterhand . . . . . . 189
7.2.1 AnwendungsbeschreibungundMotivation . . . . . . . . . . . . . 189
7.2.2 Systembeschreibung. . . . . . . . . . . . . . . . . . . . . . . . . . . 191
7.2.3 PosenbestimmungundSteuerungdesRoboters . . . . . . . . . . 193
7.2.4 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
7.2.5 SteuerungeinerRoboterhand . . . . . . . . . . . . . . . . . . . . . 202
7.3 Mensch-Roboter-InteraktionindermobilenRobotik . . . . . . . . . . . . 205
7.3.1 AnwendungsbeschreibungundMotivation . . . . . . . . . . . . . 205
7.3.2 Mensch-Roboter-Interaktionsschnittstelle . . . . . . . . . . . . . . 206
Inhaltsverzeichnis IX
7.3.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
7.4 Mensch-Roboter-InteraktionmiteinemhumanoidenRoboter. . . . . . . 213
7.4.1 MotivationundAnwendungsbeschreibung . . . . . . . . . . . . . 213
7.4.2 DerhumanoideRoboter„Pepper“ . . . . . . . . . . . . . . . . . . 214
7.4.3 Mensch-Roboter-Interaktionsschnittstelle . . . . . . . . . . . . . . 215
7.4.4 Anwendungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
7.5 PosenbestimmungeinesIndustrieroboters . . . . . . . . . . . . . . . . . . 222
8 ZusammenfassungundAusblick 225
A Anhang 233
A.1 ErgänzungenzumPerzeptron . . . . . . . . . . . . . . . . . . . . . . . . . . 233
A.2 ErgänzungenzumLernmodellderStandardSelbstorganisierendenKarte 235
A.3 ErgänzungenzurHandgestenerkennung . . . . . . . . . . . . . . . . . . . 238
A.4 EvaluationderKörperposenbestimmung . . . . . . . . . . . . . . . . . . . 240
Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
UnterstützteAbschlussarbeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
EigenePublikationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
Abbildungsverzeichnis
1.1 BeispielszenariofürdiePosenbestimmungdesKörpersimBereichder
Mensch-Roboter-Interaktion(MRI) . . . . . . . . . . . . . . . . . . . . . . 4
2.1 KonventionenvonRotationswinkeln. . . . . . . . . . . . . . . . . . . . . . 17
2.2 DefinitionRoll,Pitch,Yaw . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 SkelettundBewegungenderHandundFinger . . . . . . . . . . . . . . . . 23
2.4 KnöchernesSkelettdesmenschlichenKörpers . . . . . . . . . . . . . . . . 25
2.5 3D-PunktwolkeSzene. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.6 KamerakoordinatensystemderTiefenbildkameras. . . . . . . . . . . . . . 29
2.7 BestimmungderDatenpunktederHandaufBasisdesHandzentrums . . 30
2.8 InitialeDetektionderHand . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.9 Initiale2DHanddetektion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.10 BestimmungderDatenpunktedesKörpersaufBasiseinesdefinierten
Volumens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.11 Hauptkomponentenanalyse(englischPrincipalComponentAnalysis(PCA))
und2DGauß-Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.12 KlassifizierunglinearseparierbarerKlassenmitHilfeeinerSupportVector
Machine(SVM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.13 KlassifizierungnichtlinearseparierbarerKlassenmitHilfeeinerSVM
undSchlupfvariablen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.14 KlassifizierungnichtlinearseparierbarerKlassenmitHilfeeinerSVM
undeinemKernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.15 KlassifizierungvonM>2KlassenmitHilfevonSVMs . . . . . . . . . . . 42
3.1 BeispielhafteEinteilungderKünstlichesNeuronalesNetz(KNN) . . . . . 45
3.2 SchematischerAufbauundFunktionsweiseeinesKünstlichenNeurons . 46
3.3 McCulloch-Pitts-NeuronefürdiebooleschenOperatoren . . . . . . . . . 47
3.4 BeispielhafteSelbstorganisierendenKarten(englischSelf-OrganizingMaps
(SOMs))mitverschiedenenTopologien . . . . . . . . . . . . . . . . . . . . 50
3.5 SOM-Lernverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.6 Epochen-SOM(eSOM)mitKetteausNeuronenalsTopologielerntsi-
nusförmigeVerteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.7 eSOMsmitKettenausNeuronenunterschiedlicherLängealsTopologie
lerneneinesinusförmigeVerteilung . . . . . . . . . . . . . . . . . . . . . . 59