Unification of Register Allocation and Instruction Scheduling in

163 Pages·2002·1.24 MB·English

Uni(cid:12)cation of Register Allocation and Instruction Scheduling
in Compilers for Fine-Grain Parallel Architectures
by
DavidA. Berson
B.A., Coe College,1984
M.S.,University of DePaul, 1988
Submitted to the Graduate Faculty of
Arts and Sciences in partial ful(cid:12)llment
of the requirements for the degree of
Doctor of Philosophy
University of Pittsburgh
1996
c Copyright by David A. Berson
(cid:13)
1996
ii
UNIVERSITY OF PITTSBURGH
FACULTY OF ARTS AND SCIENCES
This dissertation was presented
by
DavidA. Berson
It was defended on
Novemember21 1996
and approved by
Prof. Rajiv Gupta
Prof. Mary Lou So(cid:11)a
Prof. Henry Chuang
Prof. ThomasCain
CommitteeChairperson
iii
UNIFICATION OF REGISTER ALLOCATION AND INSTRUCTION
SCHEDULING
IN COMPILERS FOR FINE-GRAIN PARALLEL ARCHITECTURES
David A. Berson, Ph.D.
University of Pittsburgh, 1996
Theinteractionbetweeninstructionschedulingandregisterallocationhassigni(cid:12)cantimpact
on the qualityofcode generated, particularlyincompilerstargeting (cid:12)ne grain parallelarchitectures.
The problemresults fromthe factthat instructionscheduling and register allocationhavecon(cid:13)icting
goals. Instruction scheduling tries to maximize parallelism by scheduling as many instructions as
possible in parallel,which requires a large number of values to be held in registers for short periods
oftime. On the other hand,register allocationattempts to holda smallnumberofvalues inregisters
for long periods of time, resulting in limiting the number of instructions that can be scheduled in
parallel.
Thisdissertationpresentsamethodforunifyingthesetasksbyallocatingallneededregisters
andfunctionalunitstoaninstructionsimultaneously. Noprevioustechniquehasachievedthisdegree
ofintegrationbetweenthetwotasks. Theworkinthisdissertationisbasedonaframeworkconsisting
of three components: a technique for measuring a program’s demand for all resources, a single
intermediate representation of the measured demands, and a set of transformations that perform
resource allocation.
The approach taken in this work is based on a new paradigmof resource allocation,called
Measure and Reduce in which the resource requirements ofthe programare measured and excessive
demands are removed by reduction transformations. The information computed during the meas-
urement of the demands for each resource is incorporated into a single intermediate representation.
The reduction transformations for all resources operate on this intermediate representation, allow-
ing transformations for di(cid:11)erent types of resources to be performed simultaneously. Therefore, an
instruction can be allocated all resources it needs at once, resulting in uni(cid:12)ed resource allocation.
The intermediate representation is based on a hierarchical form of dependence DAGs, enabling the
transformationstonaturallyhandleinstructionlevelparallelism. Inparticular,theregistertransform-
ations forma framework for live range splitting in the absence of a full ordering of the instructions,
as required by previous splitting techniques.
Applicationofthereductiontransformationsis(cid:12)rstdemonstratedbyaheuristicforperform-
ing register allocationduring localinstruction scheduling. Globalregister allocationisperformedby
exploitingthe hierarchicalnatureofthe intermediaterepresentation. Heuristics are alsogivenforus-
ingthe transformationsduringglobalcode motion,resulting inuni(cid:12)ed allocationandamore(cid:13)exible
use of availableresources than previous resource constrained techniques.
The results of numerous experiments comparing the new techniques to previous attempts
at phase integration are reported. The experiments indicate that the uni(cid:12)ed allocation of resources
generateshigherqualitycodethanmethodsthatpartiallyintegratetheallocationphases. Inaddition,
whileprecisemeasurementofregisterrequirementsisNP-Complete,inpracticeprecisemeasurements
are obtained easily and e(cid:14)ciently. Thus, when these measurements are combined with traditional
register allocationtechniques in hybrid algorithms,the quality of code generated is improved.
iv
v
In memoryof Elizabeth Marie Hartquist, who saw her son start.
vi
For everything there is a season, and a time for every matter under heaven.
Ecclesiastes 3:1
Acknowledgements
During the phases of this research I have been aided by a number of people. I take this
opportunity to thank them for the various contributions they have made to help mereach mygoals.
I would like to express my appreciation and thanks to my co{advisors, Drs. Rajiv Gupta
and Mary Lou So(cid:11)a for their guidance, examples as teachers and researchers, and their patience. I
amalsograteful to the membersofmythesis committee,Drs. Henry Chuang and ThomasCain,for
their review and suggestions concerning this research.
I acknowledge the Dean of Faculty of Arts and Sciences O(cid:14)ce and the Mellon Foundation
for providing (cid:12)nancial support in the form of fellowships. This work was also supported in part by
1
the NSF .
I would like to give special thanks to my fellow graduate students. Thanks to Claude-
NicholasFiechter, Russ Bodik, and PhilKampfor their work on the ProgramDependence Graph C
Compilerand for listening to allmysuggestions and implementingthe reasonable ones.
Iwouldalsoliketothank the IntelCorporationfortheir willingnessto hire mebefore Iwas
quite (cid:12)nished and their patience while I completedthe writing.
I would especially like to thank my wife, Karen, for her constant love, emotional support,
and understanding through all the stages of this degree. I give my deepest appreciation to my
daughter, Alannah,forher child’sunconditionalloveandbeing mymotivationto(cid:12)nish. Iwouldlike
to thank my parents for their love and for instilling their value of education in me. Without their
belief in myabilitiesand continual encouragement I never would have come so far.
Finally,IthankGodforthisexperience. WithoutHisloveandgiftsnoneofthiswouldhave
been possible.
1
NationalScienceFoundationPresidentialYoungInvestigatorAward CCR-9157371andGrantCCR-91090808to
theUniversityofPittsburgh
vii
Table of Contents
List of Figures : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : x
List of Tables : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : xii
1 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
1.1 Previous Approaches : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 2
1.2 Uni(cid:12)cation: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5
1.3 Organization of the Thesis : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7
2 Related Work : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8
2.1 ProgramRepresentations : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8
2.2 GlobalCode Motion : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9
2.3 Register Allocation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 10
2.4 Integrated Register Allocation and Instruction Scheduling : : : : : : : : : : : : : : : 13
3 Overview : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15
3.1 Uni(cid:12)ed Resource Allocation Framework : : : : : : : : : : : : : : : : : : : : : : : : : 15
3.2 URSA Applications : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17
4 Resource Requirements : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20
4.1 Measuring Resource Requirements : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21
4.1.1 Measurement de(cid:12)nitions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21
4.1.2 Measurement speci(cid:12)cs for functional units and registers : : : : : : : : : : : : 25
4.2 Excessive Sets : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 27
4.3 Resource Holes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 28
5 GlobalUni(cid:12)ed Resource Requirements Representation : : : : : : : : : : : : : : : : : : : : 32
5.1 Integrated Resource Allocation Representation : : : : : : : : : : : : : : : : : : : : : 32
5.1.1 Integrated Resource Allocation Properties : : : : : : : : : : : : : : : : : : : : 33
5.1.2 GURRR : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 33
5.2 ComputingGURRR : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 40
5.2.1 Construction of GURRR: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 40
5.2.2 Incremental Updating of GURRR: : : : : : : : : : : : : : : : : : : : : : : : : 41
6 Resource Spackling : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 43
6.1 FillingSpanning Resource Holes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 44
6.2 FillingNon-spanning Resource holes : : : : : : : : : : : : : : : : : : : : : : : : : : : 53
7 Uni(cid:12)ed Allocation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 55
7.1 Local Scheduling and Register Allocation: : : : : : : : : : : : : : : : : : : : : : : : : 55
7.2 Finding Overlapping Holes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 58
7.3 Selection Heuristics : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 59
8 GlobalCode Motion : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 62
8.1 Resource Conscious GlobalCode Motion : : : : : : : : : : : : : : : : : : : : : : : : : 62
viii
ix
8.2 Selection of Fill Sets : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 68
9 HARE : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 69
9.1 Overview of HARE : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 69
9.2 Allocationand spill code placement : : : : : : : : : : : : : : : : : : : : : : : : : : : : 72
9.3 Assignment and placement of copy instructions : : : : : : : : : : : : : : : : : : : : : 77
10 Architectural Considerations : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 81
10.1 Instruction Pipelining : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 81
10.2 Modeling Architectural Constraints : : : : : : : : : : : : : : : : : : : : : : : : : : : : 86
10.2.1 Reserved Resource Copies : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 86
10.2.2 Generic Instructions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 88
11 Implementation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 91
11.1 URSA Interfaces : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 91
11.2 Representation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 93
11.3 Reuse DAG Decomposition : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 96
12 Experimentation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 99
12.1 ExperimentalDesign : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 99
12.2 Overview of the Algorithms : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 101
12.3 Register Sensitive Schedulers (RSS) : : : : : : : : : : : : : : : : : : : : : : : : : : : : 102
12.3.1 Base Techniques : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 103
12.3.2 Hybrid Register Sensitive Schedulers : : : : : : : : : : : : : : : : : : : : : : : 104
12.4 Schedule Sensitive Register Allocation(SSRA) : : : : : : : : : : : : : : : : : : : : : 106
12.4.1 Base Techniques : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 106
12.4.2 Hybrid SSRA techniques : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 107
12.5 Uni(cid:12)ed Resource Allocation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 109
12.6 Measurement and CompileTimeStatistics : : : : : : : : : : : : : : : : : : : : : : : : 112
12.6.1 Measurement Heuristics : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 112
12.6.2 CompilationTime : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 115
12.7 Comments : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 115
13 Concluding Remarks : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 117
13.1 Summary : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 117
13.2 Future Work : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 119
Appendix A NP-Completeness and a Heuristic for ComputingKill() : : : : : : : : : : : : : : 122
A.1 NP-Completeness : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 122
A.2 ComputingKill() : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 124
Appendix B Speedup Tables : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 128
Bibliography : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 147
List of Figures
1.1 Intermediate programrepresentations : : : : : : : : : : : : : : : : : : : : : : : : : : : 3
1.2 Resource conscious schedule : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5
3.1 Comparisonof back end organizations : : : : : : : : : : : : : : : : : : : : : : : : : : 18
4.1 Examplecode and corresponding DAG : : : : : : : : : : : : : : : : : : : : : : : : : : 22
4.2 Function measureRequirements() : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24
4.3 A bipartite graph matching : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 25
4.4 A complexcase for de(cid:12)ning Kill(): : : : : : : : : : : : : : : : : : : : : : : : : : : : : 25
4.5 ExampleDAG of a basic block : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 30
5.1 Exampleof GURRR : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 36
5.2 SampleCode and GURRRDependence Subgraphs : : : : : : : : : : : : : : : : : : : 38
5.3 GURRRResource Usage Information: : : : : : : : : : : : : : : : : : : : : : : : : : : 39
6.1 Fillinga non-spanning resource hole : : : : : : : : : : : : : : : : : : : : : : : : : : : 44
6.2 Procedure spackleSpanning() : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 46
6.3 Procedure reduceSpanning() : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 47
6.4 All unique orderings of two interfering spanning instances : : : : : : : : : : : : : : : 51
6.5 Fillinga non-spanning resource hole : : : : : : : : : : : : : : : : : : : : : : : : : : : 53
7.1 Function reduceBlock() : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 56
7.2 Local reductions of resource requirements : : : : : : : : : : : : : : : : : : : : : : : : 57
7.3 Function (cid:12)ndOverlappingHoles() : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 58
8.1 Code motiontechniques and architectural supports : : : : : : : : : : : : : : : : : : : 63
8.2 Function (cid:12)ll() : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 64
x