Elasticsearch, administration et exploitation
Formation créée le 29/11/2021. Dernière mise à jour le 01/06/2023.
Version du programme : 1
Programme de la formation
Elasticsearch est une base de données NoSQL capable d'indexer des listes de documents fortement orientés textes. Sa particularité est de permettre des recherches efficaces par mots-clés. Cette formation cours vous apprendra à installer/configurer et Monitorer Elasticsearch.
Objectifs de la formation
- Découvrir les enjeux de l’utilisation d’Elasticsearch
- Décrire le fonctionnement et les apports d’Elasticsearch dans le traitement de données
- Mettre en œuvre Elasticsearch pour analyser les données
Profil des bénéficiaires
Pour qui
- Administrateurs techniques
- Développeurs
- Architectes
Prérequis
- Maitrise un langage de programmation structuré
- Une première connaissance du fonctionnement et des apports d'Elastic Stack et de ses composants (Elasticsearch, Logstash, Kibana, Beats) dans le traitement des données
- Avoir des connaissances générales des systèmes d'information et des systèmes d'exploitation (Linux ou Windows)
Contenu de la formation
-
Présentation d’elasticsearch
- Historique
- License
- Moteur Lucene
- API Rest comme wrappeur de lucene
- Clustering de Lucene
-
Installation
- Installation depuis deb et rpm
- Fichiers de configuration
- Chemin de stockage des fichiers
- Nom du cluster, nom de la node
- Paramètres de nœud
-
Indexation de documents
- Ajout
- Mise à jour
- Suppression
- GET
-
Format des données
- Json
- Notions de types et de mapping
- Mise a jour des types ou re-indexation
- Recherche de données
- Requête simple par query string en get
- Composants d’une requête
- Les différentes requêtes du query DSL
- Savoir utiliser la requête adaptée
- Combiner des requêtes
- Les filtres
-
Analyse de données pour le stockage
- Fonctionnement de Lucene under the hood: comment les données sont effectivement stockées
- Inverted index
- Analyze API
- Caracter filter
- Tokenizer
- Token filter
- Shingles
- Ngrams, edge ngrams
- Stemming
-
Recherche et pertinence des résultats
- Le scoring dans lucene
- TF et IDF
- Boost
- API explain
- Re-scoring
- Function_score query
- Scripting et score
-
Agrégations
- Facets
- Filtres et agrégations
- Métrics
- Statistics
- Approximate statistics
- Multi bucket aggregations
- Nesting aggregations
-
Relations entre les documents
- Nested document
- Parent child
- Dénormalisation
- Search et agrégations sur les nested documents
-
Clustering et fonctionnement distribué
- Notion de master et rôle des nœuds
- Découverte des noeuds et maintien / sortie du cluster
- Notion de shard primaire et replica
- Allocation des shards, répartition dans le cluster
- Perte de noeud
-
Administration et tâches courantes
- Refresh, flush, force_merge
- Split brains
- Gestion des caches
- Index lifecycle management: close / open / freeze / delete
- Déplacement de shard forcé
- Désactivation / activation de l’allocation des shards
- Rolling restart
- Full cluster restart
- Backup /restore
- Curator
- Administrer depuis kibana
- Les alias, avec filtre et routing
- Task management api
-
Dimensionnement
- Taille de shard, d’index et choix hardware
- Retour bonne pratiques et métriques repères / standards
-
Architecture typiques et possibilités
- Cas d’usage: log/ iot time series ou moteur de recherche
- Architecture hot warm
- Rôle des nœuds et cluster cas d’école
- Multi région ou cross cluster réplication
-
Tuning des performances
- Performance APIS
- Refresh, flush, merge/optimize
- Different type de Caches
- Query warmers
-
Monitoring
- Cluster health
- CAT api
- Node stats
- Cluster state
- Garbage collector et heap
- Throttle
- Taille des indices
- Performances de base
- Cache
- Nombre de nœuds
- Thread pools
- Pending tasks
- Missing / 404
- Les logs: slow logs, déprécation logs et activation
- Panorama des outils et systèmes de monitoring d’Elasticsearch
- Hot threads
Équipe pédagogique
1 INGENIEUR PEDAGOQIQUE
Suivi de l'exécution et évaluation des résultats
- Feuilles de présence.
- Questions orales ou écrites
- Etude de cas, exposés théoriques, puis échanges.
- Mises en situation.
- Formulaires d'évaluation de la formation.
- Certificat de réalisation de l’action de formation.
Ressources techniques et pédagogiques
- Accueil des stagiaires dans une salle Virtuelle (Zoom, Teams ou autres) si distanciel
- Documents supports de formation projetés.
- Exposés théoriques
- Etude de cas concrets
- Quiz en salle
- Mise à disposition en ligne de documents supports à la suite de la formation.
- Le stagiaire doit avoir un Micro et Webcam et avoir une bonne connexion Internet (pour une meilleure expérience) si distanciel.
- Le stagiaire doit avoir un PC pour faire les questionnaires.
Capacité d'accueil
Entre 1 et 10 apprenants
Délai d'accès
4 semaines
Accessibilité
Nos formations sont accessibles aux personnes reconnues RQTH. Vous pouvez nous contacter pour étudier ensemble les moyens possibles à mettre en oeuvre pour vous permettre d'accéder à cette formation dans les meilleures conditions.