Architecte système Bigdata en CDD 3 ans à la DGDDI (Paris)

Dans le cadre de la montée en puissance de l’utilisation de la donnée en douane et à sa valorisation dans des cas d’usage métier qui se multiplient, la DSI est sollicitée pour répondre au défi technique de sa mise à disposition au sein d’une plateforme Big Data.

Cette infrastructure dédiée est montée selon une architecture comprenant le stockage, l’ingestion et le traitement des données (mise en qualité,…) ainsi que l’outillage nécessaire à son exploitation : exploration, préparation, visualisation, analyse. Vous connaissez tout ça…

C’est à la DSI de la Direction Générale des Douanes, et plus précisément au bureau des études et projets du système d’information (SI1) que le pilotage du volet technique revient.

Sa mission ?

  • Assurer l’intégration des phases d’innovation et d’industrialisation des cas d’usage sur la plateforme big data ;
  • Piloter la mise en place de l’infrastructure et de l’architecture technique des différents environnements
  • Transmettre la vision technique produit à travers le rôle de product owner, en lien avec les bureaux maîtrise d’ouvrage et les besoins métier ;
  • D’assurer la sécurité, les évolutions du palier technique et les choix d’urbanisation du système d’information

( :arrow_right: Sur ce dernier point, votre vision « moderne » apportera beaucoup à la stucture. )

La douane organise son activité sur ces sujets avec une cellule Stratégie, Prospective, Innovation et Digital (SPID), directement rattachée à la Directrice Générale. Cette cellule explore les impacts organisationnels et détermine les champs de la transformation de la donnée en douane.

Ses projets phares ?

  • Faciliter le quotidien des douaniers : la plateforme a vocation à héberger les projets innovants qui vont transformer le travail des douaniers sur le terrain, ou les fonctions support.
  • Soutenir les entreprises à l’international​ : fournir un conseil personnalisé pour accompagner les activités d’import/export
  • Développer et déployer des outils de collecte et d’analyse des données pour identifier les nouveaux schémas de fraude (contrefaçons, contrebande de tabacs, d’armes…) et protection des patrimoines culturels et intellectuels​.

Descriptif du poste

La mission

Afin de permettre le développement de projets de data science innovants, en particulier dans le domaine de l’intelligence artificielle, la douane a mis en place une plateforme Big Data, infrastructure informatique propre, intégrant des capacités de stockage et de calcul pour l’exploitation sécurisée et performante des données de dédouanement ou des flux commerciaux dont elle est dépositaire. Cette plateforme héberge notamment l’entrepôt de données de la douane.

La plateforme Big Data de la douane compte actuellement un cluster Hadoop, des machines GPU, des machines dédiées aux environnements Jupyter pour l’analyse de données, et de nombreuses autres machines applicatives.

L’équipe que vous allez intégrer a pour mission l’intégration des données et leur utilisation à grande échelle, de manière performante, ergonomique et sécurisée dans le respect des principes et règles de gouvernance des données définies par SPID et la DSI.

Le poste

En tant qu’architecte et référent/e technique de la plateforme big data vous aurez pour mission principale de concevoir l’architecture technique de notre cluster Hadoop, de mettre en oeuvre les composants d’infrastructure et logiciels, et d’assurer son bon fonctionnement ainsi que son évolution.

Vous contribuerez à sa maintenance et à la mise en place de composants allant du monitoring au data mining et à la valorisation des données techniques. Vous assurez également un renfort sécuritaire et veillez à l’évolution de la plateforme par rapport au système d’information de la douane, en coordination avec les autres équipes système et DevOps.

L’enjeu court terme est de renforcer la plateforme à travers la conteneurisation de services et de poursuivre l’extension des environnements à de nouveaux types et sources de données. Chaque semestre, des objectifs précis seront établis en lien avec le responsable hiérarchique.

Plus spécifiquement, vous :

  • Êtes référent.e de l’architecture technique de la plateforme et évaluez le dimensionnement du socle technique
  • Assurez le déploiement de la solution Big Data (distribution Cloudera, Horthonworks,…)
  • Mettez en oeuvre ses composants d’infrastructure autour de composants de l’écosystème Hadoop (HDFS, Hive, Kafka…) et des langages (Js, Python)
  • Dimensionnez les différents environnements techniques (dev, pre-prod, prod)
  • Contribuez au le bon fonctionnement de la plateforme et des outils existants à travers sa maintenance et l’utilisation d’outils de monitoring
  • Contribuez à renforcer la sécurité de la plateforme et à la mise en place de bonnes pratiques
  • Participez à l’installation d’applicatifs via Kubernetes
  • Participez à la mise en place d’outils de suivi et de monitoring de la plateforme
  • Mettrez en place des accès sécurisés et monitorés de bout en bout
  • Participez à la rédaction des DAT
  • Réalisez une veille technologique sur cette stack
  • Documentez le travail réalisé

Profil recherché

  • Ingénieur.e et/ou formation supérieure en informatique
  • Expérience significative dans la gestion technique de projets informatiques (admin système, devops, architecte technique)

Vous avez un savoir-faire dans un ou plusieurs des domaines suivants :

  • Maîtrise avancée des systèmes d’exploitation Linux (fortement apprécié)
  • Maîtrise de la sécurité d’une plateforme informatique (fortement apprécié)
  • Maîtrise d’au moins un langage de script (Bash, Python…)
  • Maîtrise d’au moins un outil d’automatisation (Ansible, Chef, Puppet…)
  • Expérience avec Docker et Kubernetes
  • Systèmes de calculs distribués (Hadoop…)
  • Systèmes de sauvegarde et de restauration de données
  • Optimisation de système de gestion de base de données (PostgreSQL, MySQL,…)
  • GPU
  • Intégration Continue (CI) et Déploiement Continu (CD) (Gitlab)
  • Connaissance de la réglementation informatique et libertés
  • Connaissance des enjeux techniques liés à la recherche, à l’analyse de données et aux technologies de machine learning/deep learning

L’expérience du pilotage projet en approche agile serait très appréciée.

Ce poste s’adresse particulièrement à des chef.fe.s de projets informatique confirmé.e.s ( > 8 ans d’expérience) avec une ou des expériences de pilotage de projets data et adhérant aux valeurs du service public.

Compétences interpersonnelles :

Le/la candidat/e doit être doté/e d’une forte autonomie, du sens de l’initiative et d’un bon relationnel.

Il ou elle travaillera en étroite collaboration avec les MOA (directions métiers) et les MOE (centres informatiques ou prestataires), les autres chef.fe.s de projets du bureau SI1, et la mission SPID.

Il ou elle participera au pilotage des prestataires, pour les seules évolutions d’architecture, en collaboration avec l’équipe technique interne (Centre informatique des douanes situé à Toulouse).


Votre candidature

Elle est à déposer ici impérativement :

On vous demandera un CV et une LM

Je suis dispo ici ou ailleurs si vous avez des questions !

4 Likes