Algorithmes Parallèles Efficaces Appliqués aux Calculs sur Maillages Non Structurés

168 Pages·2016·12.37 MB·French

1
NNT : 2016SACLV088
Thèse de doctorat
de l’Université Paris-Saclay
préparée à l’Université de Versailles
École doctorale n 580
◦
Sciences et Technologies de l’Information et de la Communication
Spécialité de doctorat : Informatique
par
M. Loïc Thébault
Algorithmes Parallèles Efficaces
Appliqués aux Calculs sur Maillages Non Structurés
Thèse présentée et soutenue à Versailles, le 14 octobre 2016.
Composition du Jury :
M. Florian De Vuyst Professeur, ENS Cachan (Président du Jury)
M. Emmanuel Jeannot Directeur de Recherche, INRIA (Rapporteur)
M. David Defour Maître de Conférences (Rapporteur)
Université de Perpignan
M. Vincent Moureau Chargé de Recherche CNRS, CORIA (Examinateur)
M. Quang Dinh Ingénieur de Recherche (Examinateur)
Dassault Aviation
M. William Jalby Professeur, Université de Versailles (Directeur de thèse)
Membres Invités :
M. Éric Petit Ingénieur de Recherche, Intel (Encadrant)
M. Victor Lee Ingénieur de Recherche, Intel
ii
Remerciements
Ces nombreuses années passées à la fac m’ont permis de rencontrer un grand nombre de personnes
d’horizonsdiversmaispartageanttousuneouvertured’espritetunesympathiecommune. Jetiensdoncà
remerciertousceuxquiontcontribuéàrendrecesannéesagréablesetenrichissantes.
Je tiens tout d’abord à remercier mon directeur de thèse, William Jalby, de m’avoir accueilli dans
detrèsbonnesconditionsauseinduLI-PARADetdem’avoirfaitconfianceduranttoutescesannées.
J’espèrequelepotluiplairamêmes’iln’estpasestampilléChezJuliette!
Jesouhaiteensuiteremercierl’ensembledespersonnesayantacceptédefairepartiedemonjuryde
thèseetdefaireledéplacementjusqu’àl’universitédeVersailles. Toutemagratitudeàmesrapporteurs,
messieursEmmanuelJeannotetDavidDefour,pouravoirprisletempsdelireattentivementmonmanuscrit
ainsiquepourleursretours. UngrandmerciégalementàmessieursFlorianDeVuyst,VincentMoureau
etVictorLeed’avoiracceptéd’êtreexaminateursdemathèse.
JeremerciesincèrementQuangDinh,poursadisponibilitéetsasympathieduranttoutescesannées,
maisaussipouravoiracceptéd’êtreexaminateurdemathèse. JeremercieparlamêmeoccasionDassault
Aviation(etleurcantine!) pourleurcollaborationlorsdemestravauxdethèse.
Je tiens tout particulièrement à remercier Éric Petit, mon encadrant, sans qui je n’écrirais très cer-
tainementpascesquelqueslignesaujourd’hui. Ilasum’orienteretm’aiderdèsma1èreannéedemaster.
Jamais en manque d’idées novatrices et avec un esprit critique acéré, il m’a énormément appris. Un
trèsgrandmerciàtoiSensei. J’enprofiteaussipourremercierSolène,reineducookie,etfournisseuse
officielledubureau! Jevoudraiségalementremerciertouslesmembresdulaboratoireavecquij’aipu
collaborerousimplementdiscuter,etenparticulierPabloDeOliveirapoursabonnehumeuretsonrire
communicateurquipasseautraverslesmursetlesétages! JeremercieégalementMarcTchiboukdjian
poursesidéesetsonaideaudébutdemathèse.
Maistoutescesannéesauraientétébienmoinsamusantessanstouslespotesdebureauquiontsu
détendre l’atmosphère en toutes circonstances. Il sera difficile de retrouver une pareille ambiance de
bureau... UngrandmercidoncauxcamaradesdeCS,AgeofEmpires,Tamoul,SevenWonders... Mais
aussidebataillesd’Ikoulas! Futursoccupantsdubureau220B,sivoustrouvezdespoissonsdanslefaux
plafond,nevousinquiétezpas,c’estnormal. Jeremercieainsimesprofesseurs: JB,professeurémérite
deCS,etChadi,chercheuractifàLoL.Jesais,jen’aipasététrèsbonélève... MerciégalementàMihail,
avec qui on a pu partager et relativiser sur pas mal de galères propres aux thésards. Un grand merci à
Nathalie(etSylvain)pourtouscescoupsdemainauboulotmaisaussipoursesbarbecuesàOrléansetà
Arcueil. MerciégalementàSeijilo,notreex-Dieudubureau,pourcesquelquesmoisdegrandesthéories
sur le monde et les forces obscures qui l’entourent. Merci enfin à mon voisin de bureau et de pallier,
Clément,maisaussiàlaGirlnextdoor,Laura,pourtouscesrepasetcessoiréesjeuximproviséesd’un
côtéoudel’autreducouloir;-). Cesquelquesmoisdevoisinageaurontétébiencool!
Pourfinir,jetiensàexprimertoutemagratitudeenversmesparents,quionttoujoursétélàpourmoiet
quiontsufaireensortequejepuisseenarriverjusquelàaujourd’hui. Desgrosbisousàvousdeux.
Enfin, je ne peux finir ces remerciements sans Poupou, a.k.a Béa, qui a su à maintes reprises me
souteniretm’encourager,maisaussimesupporterpendanttoutesceslonguesannées! MerciPoupoude
t’êtreoccupéederelireméticuleusementmathèse,d’avoirmenéàlabaguettelapréparationdupot,et
plusencored’avoirététoutsimplementlàauquotidiendepuistoutcetemps.
P.S. : Merci à toi aussi ! Oui, toi qui te lances dans la grande aventure de la lecture de ma thèse,
oupeut-êtrejustedesremerciements,maisc’estdéjàunbondébut!
iii
iv
La dure vie de péon-thésard...
Et un beau jour...
v
vi
Résumé
L’informatiqueestdevenueunoutilcentraldansdenombreuxdomainesscientifiques. Lamajoritédes
recherchesmenéesdansledomainescientifiqueettechnologiquereposentsurlasimulationnumérique.
Cebesoincroissantensimulationaconduitàl’élaborationdesupercalculateurscomplexesetd’unnombre
croissantdelogicielshautementparallèles.
Cessupercalculateursrequièrentunrendementénergétiqueetunepuissancedecalculdeplusenplus
importants. Lesrécentesévolutionsmatériellesconsistentàaugmenterlenombredenoeudsdecalculet
decoeursparnoeud. Cetteaugmentationcontinueracertainementjusqu’àatteindreplusieursmilliersde
noeudsdecalcul,eux-mêmescomposésd’unmillierdecoeurs. Certainesressourcesn’évoluentcependant
pasàlamêmevitesse. Lamultiplicationdescoeursdecalculimpliqueunediminutiondelamémoire
parcoeur,plusdetraficdedonnées,unprotocoledecohérencepluscoûteuxetrequiertd’avantagede
parallélisme. Deplus,lesarchitecturesactuellessontdeplusenplushétérogènes.
Denombreusesapplicationsetmodèlesactuelspeinentainsiàs’adapteràcesnouvellestendances.
Enparticulier,générerduparallélismemassifdansdesméthodesd’élémentsfinisutilisantdesmaillages
nonstructurés,etceavecunnombreminimaldesynchronisationsetdeschargesdetravailéquilibrées,
s’avèrentparticulièrementdifficile. Lesapprochesactuellesbaséessurladécompositiondedomaineet
le coloriage se retrouvent confrontées à ce problème, en particuliers avec les architectures hautement
multicoeurs. Ildevientdoncnécessaired’explorerdenouvellesapprochesparallèles.
Afind’exploiterefficacementlesmultiplesniveauxdeparallélismedesarchitecturesactuelles,dif-
férentes approches parallèles doivent être combinées. Le parallélisme massif de données se limite
habituellement aux problèmes réguliers pouvant être décomposés en grilles de calcul. Ces problèmes
sont adaptés aux exécutions de type programme unique, données multiples (SPMD) sur CPUs ou flux
d’instructionunique,fluxd’exécutionmultiples(SIMT)surGPUs.
Cettethèseproposeplusieurscontributionsdestinéesàallerau-delàdecettelimitationenadressant
lescodesetlesstructuresirrégulièresdemanièreefficace. Nousavonsdéveloppéuneapprocheparallèle
hybridepartâchesàgrainfincombinantlesformesdeparallélismedistribuée,partagéeetvectoriellesur
desstructuresirrégulières.
De plus, une application industriel pouvant difficilement être intégralement réécrite, nous avons
exploréleconceptdeproto-applicationenoffrantunereprésentationsimplifiée. Nousavonsdéveloppé
Mini-FEM,uneproto-applicationreprésentativedel’applicationDEFMESHdéveloppéeparDassault
Aviation. NousavonsensuitedéveloppélalibrairieD&Càpartirdecetteproto-application,puisl’avons
validéesurDEFMESH.NousavonségalementportélalibrairieD&CsurAETHER,unautrecodede
mécaniquedesfluidesdéveloppéparDassaultAviation. Lesrésultatsobtenussurlaproto-applicationont
ainsipuêtrereproduitssurdesapplicationsgrandeurréelleutilisantdesschémasdecalculsimilaires.
NousavonstesténotreapprochesurdesmulticoeursXeonclassiquesetsurleXeonPhitypeKNC.
Sur512coeursSandyBridgeavecseulement2000sommetsparcoeur,D&Cdépassel’approchepurement
MPIde3.47 etatteint77%d’efficacitéparallèle. Sur4KNC,D&Cobtient96%d’efficacitéparallèleet
×
uneaccélérationde2.9 comparéàl’approcheMPIcommunebaséeuniquementsurladécompositionde
×
domaine. Deplus,laperformanceobtenueavecD&Cestéquivalenteà96coeursdetypeXeonSandy
Bridge. Enréduisantl’intensitéarithmétiqueducode,l’efficacitéparallèledeD&Csurles4KNCdescend
à92%maisl’écartaveclaversionpurementMPIaugmenteà6.56 .
×
Mots-clés: HPC,multitâche,FEM,maillagenonstructuré,D&C,Cilk,vectorisation,PGAS,GASPI
vii
Abstract
Computingscienceisatthecenterofawiderangeofscientificdomains. Almostallcurrentscientific
andtechnologicalresearchactivityreliesonnumericalsimulationstosolvenewproblemsortodesign
newproducts. Thisgrowingneedfornumericalsimulationsresultsinlargerandmorecomplexcomputing
centersandmoreHPCsoftwares.
ActualHPCsystemarchitectureshaveanincreasingrequirementforenergyefficiencyandperfor-
mance. Recentadvancesinhardwaredesignresultinanincreasingnumberofnodesandanincreasing
numberofcorespernode. Infuturepost-exascalesystems,onecanreasonablyforeseethousandsofnodes
composed of thousand cores. However, some resources do not scale at the same rate. The increasing
numberofcoresandparallelunitsimpliesalowermemorypercore,higherrequirementforconcurrency,
highercoherencytraffic,andhighercostforcoherencyprotocol. Moreover,currenttrendsresultinan
increasingusageofheterogeneousarchitectures.
Mostoftheapplicationsandruntimescurrentlyinusestruggletoscalewiththepresenttrend. Inthe
contextoffiniteelementmethods,exposingmassiveparallelismonunstructuredmeshcomputationswith
efficientloadbalancingandminimalsynchronizationsischallenging. Currentapproachesrelyingondo-
maindecompositionandcoloringexacerbatetheseissues,especiallywithparallelmanycorearchitectures.
HPCusershavetoexplorenewparadigmsforapplications,runtimes,andprogrammingmodels.
Tomakeefficientuseofthesearchitectures,severalparallelizationstrategieshavetobecombined
togethertoexploitthemultiplelevelsofparallelism. Parallelizationapproachesexposingmassivedata
parallelismareusuallyboundedtoregularproblems. Theseproblemscanbedecomposedincomputegrids
andarewellsuitedtoSingleProgramMultipleData(SPMD)executionsonCPUsorSingleInstruction
MultipleThreads(SIMT)executionsonGPUs.
ThisP.h.D.thesisproposesseveralcontributionsaimedatoverpassingthislimitationbyaddressing
irregularcodesanddatastructuresinanefficientway. Wedevelopedahybridparallelizationapproach
combiningthedistributed,shared,andvectorialformsofparallelisminafinegraintask-basedapproach
appliedtoirregularstructures.
Moreover,sinceverylargeindustrialcodescannotberewrittenfromscratch,weexperimentedthe
concept of proto-application as a proxy between computer scientists and application developers on a
realindustrialusecase. WedevelopedtheMini-FEMproto-applicationrepresentativeoftheDEFMESH
application from Dassault Aviation. Then, we built the D&C library on top of the proto-application
and validated it on the original DEFMESH application. We also ported the D&C library to another
fluid dynamic application, AETHER, also developed by Dassault Aviation. The results show that the
speedupvalidatedontheproto-applicationcanbereproducedonotherfullscaleapplicationsusingsimilar
computationalpatterns.
We experiment our approach using standard Xeon multicores and Xeon Phi KNC manycores. On
512SandyBridgecores,weoverpassthepureMPIapproachbyupto3.47 andreach77%ofparallel
×
efficiencywithonly2000verticespercore. Byrunninganintensivecomputationkernelon4XeonPhi,
weachieveanexcellentparallelefficiencyof96%anda2.9 speedupcomparedtothecommonapproach
×
onlybasedonMPIdomaindecomposition. Byreducingthearithmeticintensitybyafactorof100 ,the
×
parallelefficiencyoftheD&Clibrarydecreasesto92%butbecomes6.56timesfasterthanthepureMPI
version. Finally,runningon4XeonPhi,D&Chassimilarperformanceto96IntelXeonSandyBridge
cores.
Keywords: HPC,multithreading,FEM,unstructuredmesh,D&C,Cilk,vectorization,PGAS,GASPI
viii
C
ONTENTS
Introduction 1
I StateoftheArt 9
1 HeterogeneousHardwareArchitectures 11
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2 80YearsofInnovationsLeadingtotheMulticore . . . . . . . . . . . . . . . . . . . 12
1.3 GPUArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 ManycoreArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5 Supercomputers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.6 ExperimentalEnvironment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.6.1 IntelSandyBridge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.6.2 Curie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.6.3 AnselmandSalomon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.6.4 MareNostrum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2 HPCParallelProgrammingModels 23
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 MPIModel-MessagePassingInterface . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.1 Two-sidedCommunications . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.2 CollectiveCommunications . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.3 One-sidedCommunications . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 PGASModel-PartitionedGlobalAddressSpace . . . . . . . . . . . . . . . . . . . 31
2.3.1 ProsandConsofOne-sidedCommunications . . . . . . . . . . . . . . . . 32
2.3.2 GASPIanditsGPI-2Implementation . . . . . . . . . . . . . . . . . . . . . 33
2.4 OpenMPWorksharingModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5 TaskModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5.1 OpenMPTasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
ix
Contents
2.5.2 CilkPlus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.5.3 AnExampleofCilkViewUsage. . . . . . . . . . . . . . . . . . . . . . . . 42
3 ParallelizationStrategiesforFiniteElementMethods 43
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.2 FEMComputationoverElements . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3 CompressedStorageFormatsforSparseMatrices . . . . . . . . . . . . . . . . . . . 45
3.4 DomainDecompositionMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.1 HaloExchange . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 MultilevelGraphPartitioning . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5 HybridParallelism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.5.1 ColoringofUnstructuredMeshes . . . . . . . . . . . . . . . . . . . . . . . 51
3.5.2 DivideAndConquerParallelAlgorithms . . . . . . . . . . . . . . . . . . . 53
3.6 VectorizationonUnstructuredMeshes. . . . . . . . . . . . . . . . . . . . . . . . . 54
3.7 OptimizingLocalityinMeshComputation . . . . . . . . . . . . . . . . . . . . . . 56
II Contributions 59
4 IntroductiontoCodeModernization 61
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.2 DassaultAviation’sIndustrialApplications . . . . . . . . . . . . . . . . . . . . . . 62
4.2.1 DEFMESHMeshDeformerApplication . . . . . . . . . . . . . . . . . . . 62
4.2.2 AETHERAerodynamicandThermodynamicApplication . . . . . . . . . . 63
4.2.3 ListofUseCases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.3 Proto-ApplicationConcept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.4 D&CLibraryIntegrationinAETHER . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
5 NodeLevelParallelism 67
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2 SharedMemoryDivideandConqueronUnstructuredMeshes . . . . . . . . . . . . 68
5.2.1 NotationsUsed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.2.2 RecursiveBisection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.2.3 LocalityImprovement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.2.4 NumericalStabilityoftheResults . . . . . . . . . . . . . . . . . . . . . . . 72
5.2.5 D&CMatrixStorageFormat . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.2.6 PrecomputationoftheD&CTree . . . . . . . . . . . . . . . . . . . . . . . 73
x