Expert Spark Data Engineer

Contexte de la mission : Pour un besoin interne , nous recherchons un Expert Spark Data Engineer

La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence construite sur une architecture comprenant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur l’infrastructure OVH.

Volumétrie cible :

• 350 bases de données

• 5 000 requêtes par seconde

• 1 To par an

 Tâches à réaliser :

• Analyse et état des lieux technique

• Préconisations d'amélioration :

• Amélioration Spark streaming + temps réel + dimensionnement infra

• Préconisations d'amélioration : Dimensionnement infra pour le streaming temps réel.

• Préconisations d'amélioration : Dimensionnement MongoDB & structuration de la donnée (standardisation des patterns)

• Document d'architecture cible & de préconisations

Compétences recherchées :

Obligatoires :

• Apache Spark

• MongoDB

• OVH Cloud

• Kafka / Kafka Connect

• Déploiement Apache Spark sur Kubernetes

Méthodologie : Audit / Analyse

Langues : Français