Profil

Dans le cadre du développement et de l’exploitation d’une plateforme centralisée de données de sécurité, nous recherchons un Ingénieur Data Collect & Transformation, disposant d’une forte expertise sur les technologies Elastic Stack, Logstash et Kafka.

Le consultant interviendra sur l’ensemble de la chaîne de collecte et de transformation de la donnée : architecture, intégration de nouvelles sources, pipelines de transformation, industrialisation des déploiements, monitoring et maintien en conditions opérationnelles.

Missions principales

Architecture et collecte des données

• Définir et mettre en place les mécanismes de collecte des logs et événements
• Concevoir les patterns d’architecture associés aux différents modes de collecte
• Définir, documenter et maintenir l’architecture de l’infrastructure de collecte
• Documenter les flux, points réseau, règles de routage et interactions entre les différents composants
• Participer à l’évolution de l’architecture en fonction des nouvelles sources et nouveaux besoins
• Déployer les dispositifs de collecte sur les infrastructures Groupe et au sein des différentes entités et filiales

Elastic Stack / Logstash / Beats

• Concevoir, développer et maintenir les pipelines Logstash
• Configurer et administrer les différents composants Elastic Stack
• Mettre en œuvre et maintenir les agents de collecte Elastic Beats
• Développer les mécanismes de parsing, filtrage, normalisation et enrichissement des données
• Optimiser les performances et la fiabilité des pipelines de collecte
• Assurer la qualité et l’exhaustivité des données ingérées dans Elasticsearch
• Créer et faire évoluer les dashboards et outils de supervision sous Kibana

Kafka & Data Streaming

• Mettre en œuvre et maintenir les flux d’échange reposant sur Apache Kafka
• Concevoir et maintenir les traitements de données utilisant Kafka Streams / KStream
• Gérer l’intégration entre Kafka, Logstash et Elasticsearch
• Participer à l’optimisation des mécanismes de streaming et de transformation de données

Industrialisation / DevOps

• Définir et mettre en œuvre une stratégie uniforme et standardisée de déploiement et de configuration via Ansible
• Automatiser le déploiement des agents et composants de collecte
• Maintenir les playbooks et rôles Ansible
• Participer aux chaînes CI/CD via GitLab et Jenkins
• Gérer le versioning des configurations et développements avec Git
• Participer à la conteneurisation et au déploiement des composants via Docker

Monitoring et maintien en conditions opérationnelles

• Assurer le MCO de la plateforme de collecte et de ses agents
• Mettre en place et faire évoluer le monitoring de l’infrastructure
• Définir des mécanismes d’alerting permettant d’identifier les interruptions ou anomalies de collecte
• Analyser et résoudre les incidents de collecte, transformation ou acheminement des données
• Contrôler régulièrement l’exhaustivité, la cohérence et la qualité des données collectées

Onboarding des nouvelles sources

• Définir et industrialiser le processus d’intégration de nouvelles sources de logs et de nouveaux assets
• Analyser les formats de données des systèmes à intégrer
• Définir les règles de parsing, transformation et enrichissement
• Travailler avec les responsables applicatifs et systèmes afin de garantir la bonne intégration des sources
• Documenter les nouveaux flux et leurs mécanismes de collecte

Support, sécurité et conformité

• Apporter expertise, conseil et support aux différentes entités utilisatrices de la plateforme
• Participer aux réponses aux audits internes et réglementaires
• Produire et maintenir la documentation technique et les éléments de preuve nécessaires aux audits
• Veiller au respect des standards Groupe concernant la collecte et la conservation des données de sécurité

Compétences requises ou à acquérir

• Vous justifiez d’une expérience senior en Ingénierie Data / Data Platform, avec une maîtrise approfondie d’Elastic Stack
• Vous disposez idéalement d’une expérience significative dans des environnements de collecte massive de logs, SIEM, observabilité ou cybersécurité

Aptitudes / Savoir-être

• Autonomie
• Bon relationnel
• Réactivité
• Force de proposition
• Dynamisme
• Savoir bien communiquer