Supervised and Unsupervised Methods for Learning Representations of Linguistic Units

123 Pages·2017·1.2 MB·English

by  Sascha Rothe

Supervised and Unsupervised
Methods for Learning
Representations of
Linguistic Units
Sascha Rothe
Dissertation
an der Fakulta¨t fu¨r Mathematik, Informatik und Statistik
der Ludwig–Maximilians–Universita¨t
Mu¨nchen
Mu¨nchen, den 12. Dezember 2016

Supervised and Unsupervised
Methods for Learning
Representations of
Linguistic Units
Sascha Rothe
Dissertation
an der Fakulta¨t fu¨r Mathematik, Informatik und Statistik
der Ludwig–Maximilians–Universita¨t
Mu¨nchen
Erstgutachter: Prof. Dr. HinrichSchu¨tze
Zweitgutachter: Prof. Dr. RobertoNavigli
Drittgutachterin: Prof. Dr. VeraDemberg
Tag der Einreichung: 12. Dezember2016
Tag der Disputation: 14. Juni2017

EidesstattlicheVersicherung
(SiehePromotionsordnungvom12.07.11, 8,Abs. 2Pkt. .5.)
§
Hiermit erkla¨re ich an Eides statt, dass die Dissertation von mir selbststa¨ndig
ohneunerlaubteBeihilfeangefertigtist.
Mu¨nchen,den12.12.2016
SaschaRothe
5
6
Abstract
Word representations, also called word embeddings, are generic representations,
often high-dimensional vectors. They map the discrete space of words into a
continuousvectorspace,whichallowsustohandlerareorevenunseenevents,e.g.
by considering the nearest neighbors. Many Natural Language Processing tasks
can be improved by word representations if we extend the task specific training
databythegeneralknowledgeincorporatedinthewordrepresentations.
The first publication investigates a supervised, graph-based method to create
word representations. This method leads to a graph-theoretic similarity measure,
CoSimRank, with equivalent formalizations that show CoSimRank’s close rela-
tionship to Personalized Page-Rank and SimRank. The new formalization is effi-
cient because it can use the graph-based word representation to compute a single
nodesimilaritywithouthavingtocomputethesimilaritiesoftheentiregraph. We
alsoshowhowwecantakeadvantageoffastmatrixmultiplicationalgorithms.
In the second publication, we use existing unsupervised methods for word
representation learning and combine these with semantic resources by learning
representationsfornon-wordobjectslikesynsetsandentities. Wealsoinvestigate
improved word representations which incorporate the semantic information from
the resource. The method is flexible in that it can take any word representations
as input and does not need an additional training corpus. A sparse tensor forma-
lizationguaranteesefficiencyandparallelizability.
Inthethirdpublication,weintroduceamethodthatlearnsanorthogonaltrans-
formation of the word representation space that focuses the information relevant
forataskinanultradensesubspaceofadimensionalitythatissmallerbyafactor
of 100 than the original space. We use ultradense representations for a Lexicon
Creationtaskinwhichwordsareannotatedwiththreetypesoflexicalinformation
–sentiment,concretenessandfrequency.
Thefinalpublicationintroducesanewcalculusfortheinterpretableultradense
subspaces, including polarity, concreteness, frequency and part-of-speech (POS).
The calculus supports operations like “ 1 hate = love” and “give me a neutral
− ×
wordforgreasy”(i.e.,oleaginous)andextendsexistinganalogycomputationslike
“king man+woman = queen”.
−
7
8
Zusammenfassung
Wortrepra¨sentationen, sogenannte Word Embeddings, sind generische Repra¨sen-
tationen, meist hochdimensionale Vektoren. Sie bilden den diskreten Raum der
Wo¨rter in einen stetigen Vektorraum ab und erlauben uns, seltene oder ungese-
heneEreignissezubehandeln–zumBeispieldurchdieBetrachtungderna¨chsten
Nachbarn. VieleProblemederComputerlinguistikko¨nnendurchWortrepra¨senta-
tionen gelo¨st werden, indem wir spezifische Trainingsdaten um die allgemeinen
Informationenerweitern,welcheindenWortrepra¨sentationenenthaltensind.
IndererstenPublikationuntersuchenwiru¨berwachte,graphenbasierteMetho-
denn um Wortrepra¨sentationen zu erzeugen. Diese Methoden fu¨hren zu einem
graphenbasierten A¨hnlichkeitsmaß, CoSimRank, fu¨r welches zwei a¨quivalente
Formulierungen existieren, die sowohl die enge Beziehung zum personalisierten
PageRank als auch zum SimRank zeigen. Die neue Formulierung kann einzelne
Knotena¨hnlichkeiten effektiv berechnen, da graphenbasierte Wortrepra¨sentatio-
nenbenutztwerdenko¨nnen.
In der zweiten Publikation verwenden wir existierende Wortrepra¨sentationen
undkombinierendiesemitsemantischenRessourcen,indemwirRepra¨sentationen
fu¨r Objekte lernen, welche keine Wo¨rter sind, wie zum Beispiel Synsets und En-
tita¨ten. Die Flexibilita¨t unserer Methode zeichnet sich dadurch aus, dass wir be-
liebige Wortrepra¨sentationen als Eingabe verwenden ko¨nnen und keinen zusa¨tz-
lichenTrainingskorpusbeno¨tigen.
In der dritten Publikation stellen wir eine Methode vor, die eine Orthogonal-
transformation des Vektorraums der Wortrepra¨sentationen lernt. Diese Transfor-
mation fokussiert relevante Informationen in einen ultra-kompakten Untervektor-
raum. Wir benutzen die ultra-kompakten Repra¨sentationen zur Erstellung von
Wo¨rterbu¨chernmitdreiverschiedeneAngaben–Stimmung,KonkretheitundHa¨u-
figkeit.
DieletztePublikationpra¨sentierteineneueRechenmethodefu¨rdieinterpretier-
baren ultra-kompakten Untervektorra¨ume – Stimmung, Konkretheit, Ha¨ufigkeit
und Wortart. Diese Rechenmethode beinhaltet Operationen wie ” 1 Hass =
− ×
Liebe” und ”neutrales Wort fu¨r Winkeladvokat” (d.h., Anwalt) und erweitert exis-
tierendeRechenmethoden,wie”Onkel Mann+Frau = Tante”.
−
9
10