Amazon Elasticsearch Service

228 Pages·2017·2.07 MB·French

by  Amazon Web Services

Amazon Elasticsearch Service
Manuel du développeur
Version de l'API 2015-01-01
Amazon Elasticsearch Service Manuel du développeur
Amazon Elasticsearch Service: Manuel du développeur
Copyright © 2018 Amazon Web Services, Inc. and/or its affiliates. All rights reserved.
Amazon's trademarks and trade dress may not be used in connection with any product or service that is not Amazon's, in any manner
that is likely to cause confusion among customers, or in any manner that disparages or discredits Amazon. All other trademarks not
owned by Amazon are the property of their respective owners, who may or may not be affiliated with, connected to, or sponsored by
Amazon.
Amazon Elasticsearch Service Manuel du développeur
Table of Contents
Qu'est-ce qu'Amazon Elasticsearch Service ?......................................................................................... 1
Fonctions d'Amazon Elasticsearch Service..................................................................................... 1
Versions de Elasticsearch prises en charge.................................................................................... 2
Tarification pour Amazon ES........................................................................................................ 3
Mise en route avec Amazon Elasticsearch Service.......................................................................... 3
Services connexes...................................................................................................................... 4
Mise en route de domaines Amazon ES................................................................................................ 5
Étape 1 : Créer un domaine Amazon ES........................................................................................ 5
Étape 2 : Charger des données pour les indexer............................................................................. 7
Étape 3 : Rechercher des documents dans un domaine Amazon ES................................................... 8
Étape 4 : Supprimer un domaine Amazon ES................................................................................. 9
Création et configuration de domaines Amazon ES................................................................................ 11
Création de domaines Amazon ES............................................................................................. 11
Création de domaines Amazon ES (Console)........................................................................ 11
Création de domaines Amazon ES (AWS CLI)...................................................................... 14
Création de domaines Amazon ES (AWS SDK)..................................................................... 17
Configuration de domaines Amazon ES....................................................................................... 17
Configuration de domaines Amazon ES (Console)................................................................. 17
Configuration des domaines Amazon ES (AWS CLI).............................................................. 19
Configuration de domaines Amazon ES (AWS SDK).............................................................. 20
Configuration du stockage EBS................................................................................................... 20
Configuration du stockage EBS (Console)............................................................................ 20
Configuration du stockage EBS (AWS CLI)........................................................................... 21
Configuration du stockage EBS (AWS SDK)......................................................................... 22
Modification de la configuration d'accès VPC................................................................................ 22
Configuration de l'accès VPC (console)................................................................................ 23
Configuration de l'authentification Amazon Cognito pour Kibana....................................................... 23
Configuration des stratégies d'accès............................................................................................ 23
Configuration des stratégies d'accès (Console)...................................................................... 23
Configuration des stratégies d'accès (AWS CLI).................................................................... 24
Configuration des stratégies d'accès (AWS SDK)................................................................... 25
Configuration des instantanés automatiques.................................................................................. 25
Configuration des instantanés (Console)............................................................................... 25
Configuration d'instantanés (AWS CLI)................................................................................. 26
Configuration d'instantanés (AWS SDK)............................................................................... 26
Configuration des options avancées............................................................................................. 26
Configuration des options avancées (Console)...................................................................... 27
Configuration des options avancées (AWS CLI)..................................................................... 27
Configuration des options avancées (AWS SDK)................................................................... 28
Configuration des journaux......................................................................................................... 28
Activation de la publication des journaux (console)................................................................. 28
Activation de la publication des journaux (AWS CLI)............................................................... 29
Activation de la publication des journaux (kits SDK AWS)........................................................ 30
Définition des seuils de journalisation Elasticsearch pour les journaux lents................................ 31
Affichage des journaux...................................................................................................... 32
Contrôle d'accès............................................................................................................................... 33
Types de stratégies................................................................................................................... 33
Stratégies basées sur les ressources................................................................................... 33
Stratégies basées sur l'identité............................................................................................ 35
Stratégies basées sur l'IP.................................................................................................. 36
Création et signature des demandes Amazon ES.......................................................................... 37
En cas de conflit entre plusieurs stratégies................................................................................... 38
Références des éléments de stratégie......................................................................................... 38
Options avancées et considérations relatives aux API.................................................................... 44
Version de l'API 2015-01-01
iii
Amazon Elasticsearch Service Manuel du développeur
Configuration des stratégies d'accès............................................................................................ 46
Exemples de stratégies supplémentaires...................................................................................... 46
Gestion de domaines Amazon ES....................................................................................................... 47
A propos des changements de configuration................................................................................. 47
Frais associés aux changements de configuration.......................................................................... 48
Activation de la prise en compte des zones .................................................................................. 49
Surveillance des métriques et des statistiques du cluster avec Amazon CloudWatch (Console).............. 51
Métriques du cluster.......................................................................................................... 52
Métriques du nœud principal dédié...................................................................................... 56
Métriques de volume EBS.................................................................................................. 57
Journalisation des appels d'API de configuration CloudTrail............................................................. 58
Informations Amazon Elasticsearch Service dans CloudTrail.................................................... 59
Présentation des entrées des fichiers journaux Amazon Elasticsearch Service............................ 60
Balisage des domaines Amazon Elasticsearch Service................................................................... 61
Utilisation des balises (Console).......................................................................................... 62
Utilisation des balises (AWS CLI)........................................................................................ 63
Utilisation des balises (AWS SDKs)..................................................................................... 64
Indexation des données..................................................................................................................... 65
Présentation de l'indexation........................................................................................................ 65
Signature des demandes HTTP.......................................................................................................... 68
Java........................................................................................................................................ 68
Python..................................................................................................................................... 70
Ruby....................................................................................................................................... 72
Nœud...................................................................................................................................... 74
Chargement de données de diffusion dans Amazon ES.......................................................................... 76
Chargement de données de diffusion dans Amazon ES depuis Amazon S3........................................ 76
Prérequis......................................................................................................................... 76
Création du package de déploiement Lambda....................................................................... 77
Création de la fonction Lambda.......................................................................................... 78
Test de la fonction Lambda................................................................................................ 80
Chargement de données de diffusion dans Amazon ES depuis Amazon Kinesis Data Streams............... 81
Prérequis......................................................................................................................... 81
Création de la fonction Lambda.......................................................................................... 82
Test de la fonction Lambda................................................................................................ 83
Chargement de données de diffusion dans Amazon ES depuis Amazon DynamoDB............................ 84
Prérequis......................................................................................................................... 84
Création de la fonction Lambda.......................................................................................... 85
Test de la fonction Lambda................................................................................................ 86
Chargement de données de diffusion dans Amazon ES depuis Amazon Kinesis Data Firehose .............. 86
Chargement de données de diffusion dans Amazon ES depuis Amazon CloudWatch........................... 87
Chargement de données vers Amazon ES depuis AWS IoT............................................................ 87
Recherche de données...................................................................................................................... 88
Recherches d'URI..................................................................................................................... 88
Recherches dans le corps de la demande.................................................................................... 89
Optimisation des champs................................................................................................... 90
Pagination des résultats de recherche.................................................................................. 90
Mise en évidence des résultats de recherche........................................................................ 91
API Count........................................................................................................................ 92
Utilisation d'instantanés d'index........................................................................................................... 93
Conditions préalables aux instantanés manuels............................................................................. 94
Inscription à un référentiel d'instantanés manuels.......................................................................... 95
Exemple de client Python................................................................................................... 96
Prise d'instantanés manuels....................................................................................................... 97
Restauration des instantanés...................................................................................................... 98
Mise à niveau d'Elasticsearch........................................................................................................... 100
Dépannage de la mise à niveau................................................................................................ 100
Démarrage d'une mise à niveau................................................................................................ 102
Version de l'API 2015-01-01
iv
Amazon Elasticsearch Service Manuel du développeur
Utilisation d'un instantané pour migrer des données..................................................................... 103
Kibana et Logstash......................................................................................................................... 105
Kibana................................................................................................................................... 105
Contrôle de l'accès à Kibana............................................................................................ 105
Configuration de Kibana pour utiliser un serveur de cartes WMS............................................ 107
Connexion d'un serveur Local Kibana à Amazon ES............................................................. 108
Chargement des données en bloc avec le plug-in Logstash........................................................... 108
Authentification pour Kibana............................................................................................................. 110
Prérequis............................................................................................................................... 110
À propos du groupe d'utilisateurs....................................................................................... 111
À propos du groupe d'identités.......................................................................................... 111
À propos du rôle IAM...................................................................................................... 112
Configuration d'un domaine Amazon ES..................................................................................... 112
Configuration de l'authentification Amazon Cognito (console)................................................. 112
Configuration de l'authentification Amazon Cognito (AWS CLI)............................................... 114
Configuration de l'authentification Amazon Cognito (kits SDK AWS)........................................ 114
Autorisation du rôle authentifié.................................................................................................. 115
Configuration des fournisseurs d'identité..................................................................................... 115
(Facultatif) Configuration de l'accès granulaire............................................................................. 117
Groupes d'utilisateurs et jetons.......................................................................................... 120
Règles........................................................................................................................... 120
(Facultatif) Personnalisation de la page de connexion................................................................... 120
(Facultatif) Configuration de la sécurité avancée.......................................................................... 120
Test...................................................................................................................................... 120
Limites................................................................................................................................... 121
Problèmes de configuration courants.......................................................................................... 121
Désactivation de l'authentification Amazon Cognito pour Kibana..................................................... 123
Suppression des domaines qui utilisent l'authentification Amazon Cognito pour Kibana....................... 124
VPC Support.................................................................................................................................. 125
Limites................................................................................................................................... 127
À propos des stratégies d'accès pour les domaines de VPC.......................................................... 127
Test des domaines de VPC...................................................................................................... 128
Prérequis............................................................................................................................... 129
Création d'un VPC.................................................................................................................. 130
Réservation d'adresses IP dans un sous-réseau VPC................................................................... 131
Rôle lié à un service pour l'accès VPC....................................................................................... 132
Migration d'un accès public à un accès VPC............................................................................... 132
Documentation Amazon VPC.................................................................................................... 132
Bonnes pratiques............................................................................................................................ 134
Dimensionnement des domaines Amazon ES.............................................................................. 134
Calcul des exigences de stockage..................................................................................... 134
Choix du nombre de partitions.......................................................................................... 135
Choix des types d'instances et test.................................................................................... 136
Nœuds principaux dédiés......................................................................................................... 137
Alarmes CloudWatch recommandées......................................................................................... 140
Mise à l'échelle d'une capacité de plusieurs péta-octets........................................................................ 142
Chiffrement..................................................................................................................................... 144
Chiffrement au repos............................................................................................................... 144
Activation du chiffrement de données au repos.................................................................... 144
Désactivation du chiffrement de données au repos............................................................... 145
Surveillance des domaines qui chiffrent les données au repos................................................ 145
Autres considérations....................................................................................................... 146
Chiffrement nœud à nœud....................................................................................................... 146
Activation du chiffrement nœud à nœud............................................................................. 146
Désactivation du chiffrement nœud à nœud........................................................................ 147
Autres considérations....................................................................................................... 147
Utilisation de Curator pour faire pivoter les données............................................................................. 148
Version de l'API 2015-01-01
v
Amazon Elasticsearch Service Manuel du développeur
Exemple de code.................................................................................................................... 148
Paramètres de base................................................................................................................ 151
Déclencheurs.......................................................................................................................... 151
Autorisations........................................................................................................................... 151
Dépannage..................................................................................................................................... 153
Impossible d'accéder à Kibana.................................................................................................. 153
Impossible d'accéder au domaine VPC....................................................................................... 153
Statut de cluster rouge............................................................................................................. 153
Récupération après une importante charge de traitement continue.......................................... 154
Statut de cluster jaune............................................................................................................. 155
ClusterBlockException.............................................................................................................. 156
Manque d'espace de stockage disponible........................................................................... 156
Disques de blocage en raison d'une mémoire insuffisante..................................................... 156
JVM OutOfMemoryError........................................................................................................... 156
Nœuds de cluster en échec...................................................................................................... 157
Impossible de fermer l'index..................................................................................................... 157
Impossible d'accéder au nœud via SSH..................................................................................... 158
Erreur d'instantané « Non valide pour la classe de stockage de l'objet »........................................... 158
En-tête d'hôte non valide.......................................................................................................... 158
Erreur de navigateur lors de l'utilisation de Kibana....................................................................... 158
Opération non autorisée après la sélection de l'accès VPC............................................................ 159
Blocage du chargement suite à la création d'un domaine VPC....................................................... 159
Erreur de certificat lors de l'utilisation du kit SDK......................................................................... 159
Référence générale......................................................................................................................... 161
Types d'instance pris en charge................................................................................................ 161
Opérations Elasticsearch prises en charge.................................................................................. 162
Différences notables entre API.......................................................................................... 162
Version 6.3..................................................................................................................... 163
Version 6.2..................................................................................................................... 164
Version 6.0..................................................................................................................... 165
Version 5.6..................................................................................................................... 166
Version 5.5..................................................................................................................... 167
Version 5.3..................................................................................................................... 168
Version 5.1..................................................................................................................... 168
Version 2.3..................................................................................................................... 169
Version 1.5..................................................................................................................... 170
Plug-ins pris en charge............................................................................................................ 170
Plug-ins de sortie............................................................................................................ 172
Autres ressource prises en charge............................................................................................. 173
Utilisation des kits SDK AWS............................................................................................................ 174
Java...................................................................................................................................... 174
Référence de l'API de configuration d'Amazon ES................................................................................ 178
Actions.................................................................................................................................. 178
AddTags........................................................................................................................ 179
CreateElasticsearchDomain.............................................................................................. 180
DeleteElasticsearchDomain............................................................................................... 185
DeleteElasticsearchServiceRole......................................................................................... 187
DescribeElasticsearchDomain........................................................................................... 188
DescribeElasticsearchDomainConfig................................................................................... 189
DescribeElasticsearchDomains.......................................................................................... 193
DescribeElasticsearchInstanceTypeLimits............................................................................ 195
DescribeReservedElasticsearchInstanceOfferings................................................................. 198
DescribeReservedElasticsearchInstances............................................................................ 200
GetCompatibleElasticsearchVersions.................................................................................. 202
GetUpgradeHistory.......................................................................................................... 203
GetUpgradeStatus........................................................................................................... 206
ListDomainNames........................................................................................................... 207
Version de l'API 2015-01-01
vi
Amazon Elasticsearch Service Manuel du développeur
ListElasticsearchInstanceTypeDetails.................................................................................. 208
ListElasticsearchInstanceTypes (obsolète)........................................................................... 210
ListElasticsearchVersions................................................................................................. 211
ListTags......................................................................................................................... 213
PurchaseReservedElasticsearchInstance............................................................................. 214
RemoveTags.................................................................................................................. 215
UpdateElasticsearchDomainConfig..................................................................................... 216
UpgradeElasticsearchDomain............................................................................................ 221
Types de données.................................................................................................................. 222
AdvancedOptions............................................................................................................ 223
AdvancedOptionsStatus.................................................................................................... 223
ARN.............................................................................................................................. 224
CognitoOptions............................................................................................................... 224
CognitoOptionsStatus....................................................................................................... 224
CreateElasticsearchDomainRequest................................................................................... 225
DomainID....................................................................................................................... 226
DomainName.................................................................................................................. 226
DomainNameList............................................................................................................. 226
EBSOptions.................................................................................................................... 226
ElasticsearchClusterConfig................................................................................................ 227
ElasticsearchDomainConfig............................................................................................... 227
ElasticsearchDomainStatus............................................................................................... 228
ElasticsearchDomainStatusList.......................................................................................... 230
EncryptionAtRestOptions.................................................................................................. 231
EncryptionAtRestOptionsStatus......................................................................................... 231
EndpointsMap................................................................................................................. 231
LogPublishingOptions....................................................................................................... 231
LogPublishingOptionsStatus.............................................................................................. 232
NodeToNodeEncryptionOptions......................................................................................... 232
NodeToNodeEncryptionOptionsStatus................................................................................ 233
OptionState.................................................................................................................... 233
OptionStatus................................................................................................................... 233
ServiceURL.................................................................................................................... 234
SnapshotOptions............................................................................................................. 234
SnapshotOptionsStatus.................................................................................................... 234
Balise............................................................................................................................ 234
TagKey.......................................................................................................................... 235
TagList.......................................................................................................................... 235
TagValue....................................................................................................................... 235
VPCDerivedInfo.............................................................................................................. 235
VPCDerivedInfoStatus...................................................................................................... 236
VPCOptions.................................................................................................................... 236
VPCOptionsStatus........................................................................................................... 236
Erreurs.................................................................................................................................. 237
Limites........................................................................................................................................... 238
Limites relatives aux clusters et aux instances............................................................................. 238
Limites relatives à la taille du volume EBS.................................................................................. 238
Limites de réseau................................................................................................................... 240
Limite de processus Java......................................................................................................... 241
Instances réservées......................................................................................................................... 242
Achat d'instances réservées (console)........................................................................................ 242
Achat d'instances réservées (interface de ligne de commande AWS)............................................... 243
Achat d'instances réservées (Kits SDK AWS).............................................................................. 245
Examen des coûts.................................................................................................................. 245
Didacticiel : Création d'une application de recherche............................................................................. 246
Étape 1 : Indexer des exemples de données............................................................................... 246
Étape 2 : Création du API......................................................................................................... 247
Version de l'API 2015-01-01
vii
Amazon Elasticsearch Service Manuel du développeur
Étape 3 : Créer la fonction Lambda........................................................................................... 248
Étape 4 : Modifier la stratégie d'accès au domaine....................................................................... 249
Étape 5 : Tester l'application web.............................................................................................. 249
Étapes suivantes..................................................................................................................... 249
Didacticiel : Visualisation des appels au support.................................................................................. 252
Étape 1 : Configuration des prérequis......................................................................................... 253
Étape 2 : Copier un exemple de code........................................................................................ 253
(Facultatif) Étape 3 : Ajouter des exemples de données................................................................ 256
Étape 4 : Analyser et visualiser vos données............................................................................... 257
Étape 5 : Nettoyage des ressources et étapes suivantes............................................................... 266
Historique du document................................................................................................................... 267
Utilisation des rôles liés à un service................................................................................................. 270
Autorisations des rôles liés à un service pour Amazon ES............................................................. 270
Création d'un rôle lié à un service pour Amazon ES..................................................................... 271
Modification d'un rôle lié à un service pour Amazon ES................................................................ 271
Suppression d'un rôle lié à un service pour Amazon ES................................................................ 271
Nettoyage d'un rôle lié à un service................................................................................... 271
Pour supprimer manuellement un rôle lié à un service.......................................................... 272
Glossaire AWS............................................................................................................................... 273
Version de l'API 2015-01-01
viii
Amazon Elasticsearch Service Manuel du développeur
Fonctions d'Amazon Elasticsearch Service
Qu'est-ce qu'Amazon Elasticsearch
Service ?
Amazon Elasticsearch Service (Amazon ES) est un service géré qui facilite le déploiement, l'utilisation et la
mise à l'échelle des clusters Elasticsearch dans le cloud AWS. Elasticsearch est un moteur de recherche
et d'analyse à code source libre très populaire, utilisé notamment pour l'analyse des fichiers journaux, la
surveillance d'applications en temps réel et l'analyse des parcours de navigation. Avec Amazon ES, vous
obtenez un accès direct aux API Elasticsearch ; les applications et le code existants fonctionnent de façon
transparente avec le service.
Amazon ES alloue toutes les ressources pour votre cluster Elasticsearch et lance ce dernier. Il détecte et
remplace aussi automatiquement les nœuds Elasticsearch défaillants, ce qui réduit le traitement associé
aux infrastructures auto-gérées. Vous pouvez facilement faire évoluer votre cluster avec un seul appel de
l'API ou en quelques clics sur la console.
Pour commencer à utiliser Amazon ES, vous devez créer un domaine. An Amazon ES domain is
synonymous with an Elasticsearch cluster. Domains are clusters with the settings, instance types, instance
counts, and storage resources that you specify.
Vous pouvez utiliser la console Amazon ES pour installer et configurer un domaine en quelques minutes. Si
vous préférez un accès par programme, vous pouvez utiliser l'AWS CLI ou les kits SDK AWS.
Rubriques
• Fonctions d'Amazon Elasticsearch Service (p. 1)
• Versions de Elasticsearch prises en charge (p. 2)
• Tarification pour Amazon Elasticsearch Service (p. 3)
• Mise en route avec Amazon Elasticsearch Service (p. 3)
• Services connexes (p. 4)
Fonctions d'Amazon Elasticsearch Service
Amazon ES comprend les fonctions suivantes :
Evolutivité
• Plusieurs configurations d'UC, de mémoire et de capacité de stockage, appelées types d'instances
• Jusqu'à 1,5 Po de stockage d'instance
• Amazon EBS volumes de stockage
Sécurité
• Contrôle d'accès AWS Identity and Access Management (IAM)
• Intégration aisée avec Amazon VPC et les groupes de sécurité VPC
• Chiffrement de données au repos
• Authentification Amazon Cognito pour Kibana
Version de l'API 2015-01-01
1
Amazon Elasticsearch Service Manuel du développeur
Versions de Elasticsearch prises en charge
Stabilité
• Plusieurs emplacements géographiques pour vos ressources, appelés régions et zones de disponibilité
• Les nœuds maîtres dédiés à décharger des tâches de gestion de cluster
• Les instantanés automatiques pour sauvegarder et restaurer des domaines Amazon ES
• Allocation du nœud du cluster sur deux zones de disponibilité dans la même région, appelée prise en
compte des zones
Intégration aux services les plus connus
• Visualisation des données à l'aide de Kibana
• Intégration à Amazon CloudWatch pour surveiller les métriques de domaine Amazon ES et pour
configurer les alarmes
• Intégration à AWS CloudTrail pour vérifier des appels d'API de configuration vers des domaines Amazon
ES
• Intégration à Amazon S3, Amazon Kinesis et Amazon DynamoDB pour charger des données de
streaming dans Amazon ES
Versions de Elasticsearch prises en charge
Amazon ES prend actuellement en charge les versions suivantes d'Elasticsearch :
• 6.3
• 6.2
• 6.0
• 5.6
• 5.5
• 5.3
• 5.1
• 2.3
• 1.5
Comparées aux versions d'Elasticsearch antérieures, les versions 6.x proposent de puissantes fonctions
qui facilitent, accélèrent et sécurisent l'utilisation. Voici quelques points importants :
• Fractionnement d'index : Si un index dépasse son nombre de partitions d'origine, l'API _split offre un
moyen pratique pour fractionner chaque partition principale en plusieurs partitions dans un nouvel index.
• Visualisations Vega : Kibana 6.2 et les versions ultérieures prennent en charge le langage de
visualisation Vega, ce qui vous permet d'effectuer des requêtes Elasticsearch en fonction du contexte, de
combiner plusieurs sources de données dans un seul graphique, d'ajouter de l'interactivité utilisateur à
des graphiques, et bien plus encore.
• Évaluation du classement : L'API _rank_eval vous permet de mesurer et de suivre les performances
de résultats de recherche classés sur un ensemble de requêtes afin de vous assurer que vos recherches
fonctionnent comme prévu.
• Regroupements composites : Ces regroupements génèrent des compartiments composites à partir d'un
ou de plusieurs champs et les classent en « ordre naturel » (par ordre alphabétique pour les termes,
numériquement ou par date pour les histogrammes).
• Meilleures performances d'indexation : Les nouvelles versions d'Elasticsearch offrent des capacités
d'indexation supérieures qui augmentent considérablement le débit des mises à jour de données.
Version de l'API 2015-01-01
2