Table Of ContentIndustrial Parsing of
Software Manuals
Editors:
Richard F. E. Sutcli(cid:11)e
University of Limerick
Heinz-Detlev Koch
University of Heidelberg
Annette McElligott
University of Limerick
Dedicated to
Dr. A. Daly Briscoe
Contents
1. Industrial Parsing of Software Manuals: an Introduction 1
1.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 1
1.2 IPSM Test Corpus : : : : : : : : : : : : : : : : : : : : : : 4
1.2.1 Why Software Manuals? : : : : : : : : : : : : : : : 4
1.2.2 The 600 Utterance Corpus: : : : : : : : : : : : : : 5
1.2.3 The 60 Utterance Subset : : : : : : : : : : : : : : 5
1.3 Analysis of ParserPerformance : : : : : : : : : : : : : : : 6
1.3.1 Three Phases of Analysis : : : : : : : : : : : : : : 6
1.3.2 Analysis of ParticularConstructs : : : : : : : : : : 6
1.3.3 Coverage : : : : : : : : : : : : : : : : : : : : : : : 7
1.3.4 E(cid:14)ciency : : : : : : : : : : : : : : : : : : : : : : : 7
1.3.5 Accuracy of Analysis : : : : : : : : : : : : : : : : : 8
1.4 Structure of the Book : : : : : : : : : : : : : : : : : : : : 8
1.4.1 Introductory Chapters : : : : : : : : : : : : : : : : 8
1.4.2 Parsing Chapters : : : : : : : : : : : : : : : : : : : 9
1.4.3 Appendices : : : : : : : : : : : : : : : : : : : : : : 10
1.5 Discussion : : : : : : : : : : : : : : : : : : : : : : : : : : : 10
1.6 Acknowledgements : : : : : : : : : : : : : : : : : : : : : : 11
1.7 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 11
2. Dependency-Based Parser Evaluation: a Study with a
Software Manual Corpus 13
2.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 13
2.2 Dependency-Based Evaluation: : : : : : : : : : : : : : : : 15
2.3 Manual Normalization of ParserOutputs : : : : : : : : : 17
2.4 AutomatedTransformationfromConstituency toDepen-
dency : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19
2.5 Conclusion : : : : : : : : : : : : : : : : : : : : : : : : : : 22
2.6 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 22
3. ComparativeEvaluationofGrammaticalAnnotationMod-
els 25
3.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 25
3.2 Diversity in Grammars : : : : : : : : : : : : : : : : : : : : 26
3.3 AnExtremeCase: the`PerfectParser'fromSpeechRecog-
nition : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 27
3.4 The Corpus as Empirical De(cid:12)nition of Parsing Scheme : : 28
3.5 Towardsa MultiTreebank : : : : : : : : : : : : : : : : : : 29
3.6 Vertical Strip Grammar: a Standard Representation for
Parses : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 29
3.7 EAGLES:AMulti-LayerStandardforSyntacticAnnotation 35
3.7.1 (a) Bracketing of Segments : : : : : : : : : : : : : 36
3.7.2 (b) Labelling of Segments : : : : : : : : : : : : : : 36
3.7.3 (c) Showing Dependency Relations : : : : : : : : : 36
3.7.4 (d) Indicating Functional Labels : : : : : : : : : : 37
3.7.5 (e) Marking Subclassi(cid:12)cation of Syntactic Segments 37
3.7.6 (f) Deep or `Logical' Information : : : : : : : : : : 38
3.7.7 (g) Information about the Rank of a Syntactic Unit 38
3.7.8 (h)SpecialSyntacticCharacteristicsofSpokenLan-
guage : : : : : : : : : : : : : : : : : : : : : : : : : 38
3.7.9 Summary: a Hierarchy of Importance : : : : : : : 39
3.8 Evaluating the IPSM Parsing Schemes against EAGLES : 39
3.9 Summary and Conclusions : : : : : : : : : : : : : : : : : : 41
3.10 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 43
4. Using ALICE to Analyse a Software Manual Corpus 47
4.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 47
4.2 Description of Parsing System : : : : : : : : : : : : : : : : 47
4.2.1 Preprocessing : : : : : : : : : : : : : : : : : : : : : 48
4.2.2 Parsing : : : : : : : : : : : : : : : : : : : : : : : : 48
4.2.3 Postprocessing : : : : : : : : : : : : : : : : : : : : 49
4.3 ParserEvaluation Criteria : : : : : : : : : : : : : : : : : : 50
4.4 Analysis I: Original Grammar, Original Vocabulary : : : : 52
4.5 Analysis II: Original Grammar, Additional Vocabulary : : 53
4.6 Analysis III: Modi(cid:12)ed Grammar, Additional Vocabulary : 54
4.7 Converting Parse Tree to Dependency Notation : : : : : : 55
4.8 Summary of Findings : : : : : : : : : : : : : : : : : : : : 55
4.9 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 55
5. Using the English Constraint Grammar Parser to Anal-
yse a Software Manual Corpus 57
5.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 57
5.2 Description of Parsing System : : : : : : : : : : : : : : : : 58
5.2.1 Sample Output : : : : : : : : : : : : : : : : : : : : 58
5.2.2 System Architecture : : : : : : : : : : : : : : : : : 59
5.2.3 Implementation : : : : : : : : : : : : : : : : : : : : 61
5.3 ParserEvaluation Criteria : : : : : : : : : : : : : : : : : : 62
5.3.1 Towards General Criteria : : : : : : : : : : : : : : 62
5.3.2 Remarks on the Present Evaluation : : : : : : : : 63
5.3.3 Current Evaluation Setting : : : : : : : : : : : : : 64
5.4 Analysis I: Original Grammar, Original Vocabulary : : : : 65
5.4.1 Observations about Morphological Analysis and
Disambiguation : : : : : : : : : : : : : : : : : : : : 65
5.4.2 Observations about Syntax : : : : : : : : : : : : : 70
5.5 Analysis II: Original Grammar, Additional Vocabulary : : 72
5.5.1 Observations about Morphological Disambiguation 72
5.6 Analysis III: Altered Grammar, Additional Vocabulary : : 77
5.6.1 Observations about Morphological Disambiguation 77
5.6.2 Observations about Syntax : : : : : : : : : : : : : 80
5.7 Converting Parse Tree to Dependency Notation : : : : : : 83
5.8 Summary of Findings : : : : : : : : : : : : : : : : : : : : 85
5.9 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 86
6. UsingtheLinkParserofSleatorandTemperlytoAnalyse
a Software Manual Corpus 89
6.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 89
6.2 Description of Parsing System : : : : : : : : : : : : : : : : 90
6.3 ParserEvaluation Criteria : : : : : : : : : : : : : : : : : : 92
6.4 Analysis I: Original Grammar, Original Vocabulary : : : : 94
6.4.1 Pre-Processing : : : : : : : : : : : : : : : : : : : : 94
6.4.2 Results : : : : : : : : : : : : : : : : : : : : : : : : 95
6.5 Analysis II: Original Grammar, Additional Vocabulary : : 97
6.6 Analysis III: Altered Grammar, Additional Vocabulary : : 99
6.7 Converting Parse Tree to Dependency Notation : : : : : : 99
6.8 Summary of Findings : : : : : : : : : : : : : : : : : : : : 101
6.9 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 102
7. Using PRINCIPAR to Analyse a Software Manual Cor-
pus 103
7.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 103
7.2 Description of Parsing System : : : : : : : : : : : : : : : : 104
7.2.1 Parsing by Message Passing : : : : : : : : : : : : : 104
7.2.2 Implementation : : : : : : : : : : : : : : : : : : : : 109
7.3 ParserEvaluation Criteria : : : : : : : : : : : : : : : : : : 110
7.4 Analysis I: Original Grammar, Original Vocabulary : : : : 112
7.4.1 Setting-Up the Experiment : : : : : : : : : : : : : 112
7.4.2 Results : : : : : : : : : : : : : : : : : : : : : : : : 112
7.4.3 Causes of Errors : : : : : : : : : : : : : : : : : : : 114
7.5 Analysis II: Original Grammar, Additional Vocabulary : : 115
7.6 Analysis III: Altered Grammar, Additional Vocabulary : : 116
7.7 Converting Parse Tree to Dependency Notation : : : : : : 116
7.8 Summary of Findings : : : : : : : : : : : : : : : : : : : : 116
7.9 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 117
8. Using the Robust Alvey Natural Language Toolkit to
Analyse a Software Manual Corpus 119
8.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 119
8.2 Description of Parsing System : : : : : : : : : : : : : : : : 121
8.2.1 The Basic ANLT : : : : : : : : : : : : : : : : : : : 121
8.2.2 The Robust ANLT : : : : : : : : : : : : : : : : : : 124
8.3 ParserEvaluation Criteria : : : : : : : : : : : : : : : : : : 127
8.4 Analysis I: Original Grammar, Original Vocabulary : : : : 128
8.4.1 Pre-Processing : : : : : : : : : : : : : : : : : : : : 128
8.4.2 Results : : : : : : : : : : : : : : : : : : : : : : : : 130
8.5 Analysis II: Original Grammar, Additional Vocabulary : : 130
8.6 Analysis III: Altered Grammar, Additional Vocabulary : : 130
8.7 Converting Parse Tree to Dependency Notation : : : : : : 131
8.8 Summary of Findings : : : : : : : : : : : : : : : : : : : : 132
8.9 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 135
9. Using the SEXTANT Low-Level Parser to Analyse a
Software Manual Corpus 139
9.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 139
9.2 Description of Parsing System : : : : : : : : : : : : : : : : 140
9.2.1 PreparsingProcessing : : : : : : : : : : : : : : : : 141
9.2.2 Parsing : : : : : : : : : : : : : : : : : : : : : : : : 144
9.2.3 List Recognition : : : : : : : : : : : : : : : : : : : 146
9.3 ParserEvaluation Criteria : : : : : : : : : : : : : : : : : : 149
9.4 Analysis I: Original Grammar, Original Vocabulary : : : : 152
9.5 Analysis II: Original Grammar, Additional Vocabulary : : 153
9.6 Analysis III: Altered Grammar, Additional Vocabulary : : 154
9.7 Converting Parse Tree to Dependency Notation : : : : : : 156
9.8 Summary of Findings : : : : : : : : : : : : : : : : : : : : 156
9.9 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 157
10. Using a Dependency Structure Parser without any
GrammarFormalismtoAnalyse a Software Manual Cor-
pus 159
10.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 159
10.2 Description of Parsing System : : : : : : : : : : : : : : : : 160
10.3 ParserEvaluation Criteria : : : : : : : : : : : : : : : : : : 169
10.4 Analysis I: Original Grammar, Original Vocabulary : : : : 170
10.5 Analysis II: Original Grammar, Additional Vocabulary : : 174
10.6 Analysis III: Altered Grammar, Additional Vocabulary : : 175
10.7 Converting Parse Tree to Dependency Notation : : : : : : 175
10.8 Summary of Findings : : : : : : : : : : : : : : : : : : : : 175
10.9 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 176
11. Using the TOSCA Analysis System to Analyse a Soft-
ware Manual Corpus 179
11.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : 179
11.2 Description of Parsing System : : : : : : : : : : : : : : : : 181
11.2.1 The TOSCA Analysis Environment : : : : : : : : 181
11.2.2 The Tagger : : : : : : : : : : : : : : : : : : : : : : 183
11.2.3 The Parser : : : : : : : : : : : : : : : : : : : : : : 184
11.3 ParserEvaluation Criteria : : : : : : : : : : : : : : : : : : 189
11.4 Analysis I: Original Grammar, Original Vocabulary : : : : 190
11.4.1 E(cid:14)cacy of the Parser : : : : : : : : : : : : : : : : 193
11.4.2 E(cid:14)ciency of the Parser : : : : : : : : : : : : : : : 199
11.4.3 Results : : : : : : : : : : : : : : : : : : : : : : : : 199
11.5 Analysis II: Original Grammar, Additional Vocabulary : : 201
11.6 Analysis III: Altered Grammar, Additional Vocabulary : : 201
11.7 Converting Parse Tree to Dependency Notation : : : : : : 202
11.8 Summary of Findings : : : : : : : : : : : : : : : : : : : : 205
11.9 References : : : : : : : : : : : : : : : : : : : : : : : : : : : 206
Appendix I. 60 IPSM Test Utterances 207
Appendix II. Sample Parser Outputs 213
Appendix III. Collated References 259
Index 269
