Bonjour à toutes et tous
Je suis Thierry Martin en charge du projet Open Data du département de la Haute Garonne. Je souhaite ici partager une initiative qui est née de la contribution du département au projet OpenDataLocale et de l’expérimentation menée auprès de deux collectivités pilotes de Haute-Garonne dans la mise en œuvre des premiers jeux de données standardisées du SCDL.
Notre objectif était à travers cette expérimentation de co-construire avec l’aide de ces collectivités une offre de service en mesure d’accompagner de façon opérationnelle toutes les collectivités du département dans l’ouverture de ces données. Notre ambition est d’industrialiser l’ouverture de données publiques interopérable et de qualité, de façon orchestrée et dans la durée avec comme enjeux un accès unifié/agrégé à ces données pour en faciliter la réutilisation.
L’absence d’outils informatiques permettant nativement de produire ces standards sur le court, moyen voir long terme, le morcellement et l’hétérogénéité des outils utilisés ainsi que le cloisonnement des organisations et des pratiques autour de la production des données, ont fait apparaitre la nécessité de fournir aux producteurs de données du territoire un cadre logiciel unifié permettant de simplifier tout le processus d’ouverture de la donnée allant de son captage jusqu’à la publication des données sur le portail open data en passant par la génération des flux standardisés
Un POC a été développé en mode RAD. L’implication et les retours des utilisateurs pilotes ont alimenté un cycle de développement itératif dans le cadre d’une approche Agile.
La plateforme met à disposition des masques paramétrables pour simplifier la collecte, la standardisation et la publication de données sur des portails open data.
Ces masques permettent à travers une ergonomie et des fonctionnalités unifiées et standardisées dans une interface nativement responsive:
- la saisie, duplication, modification, suppression en mode tableur et formulaire d’enregistrements
- l’import de données partielles ou complètes issues du système d’information ou d’outils bureautiques, par fichiers ou simple copier/coller,
- l’export et l’impression des données
- la personnalisation de chaque écran (visibilité des champs, valeur par défaut, obligatoire, impression, export, import, tooltip, placeholder, …) pour s’adapter aux possibilités de production
et de complétudes des données et au niveau d’acculturation à la donnée de chaque établissement producteur - l’utilisation de référentiels embarqués pour simplifier et accompagner le captage d’une donnée de qualité (Siret, CPV, nomenclature marchés, etc…)
- des contrôles paramétrables, javascript et php d’intégrité, de qualité et de complétude des données personnalisables pour chaque établissement producteur de données
- une recherche ‘full text’ et l’utilisation de filtres paramétrables par utilisateur sur l’ensemble des
données, tri simple ou multiple, déplacement et redimensionnement de colonnes
dans la grille… - un système de validation ( deux niveaux) associé à la publication. Autonomie des utilisateurs dans la publication/dépublication des enregistrements poussés sur le portail open data
- un système de notification par mail
- la génération automatique des flux standardisés de données
- un changelog sur les fichiers générés (ajout, modification, suppression d’enregistrements publiés)
- une gestion des utilisateurs et des habilitations
- L’audit de toutes les actions utilisateurs réalisées sur la plateforme
- etc…
Le POC a été conçu de telle sorte de partager son administration entre plusieurs ATD. Chaque ATD dispose des droits d’administration sur un portefeuille d’établissements producteurs de données et pour chacun d’entre eux peut définir le paramétrage et les contrôles sur les
différents masques, la personnalisation graphique de la plateforme (header, footer, css) ainsi que la gestion des utilisateurs et des habilitations. L’agrégation de données dans le processus de
constitution des fichiers d’interface avec les portails open data s’opère par ATD. Ceci permet un portage distinct de ces flux sur les portails open data respectifs de chaque ATD. Il donne la possibilité de monitorer et piloter par chaque ATD le niveau de complétude des données et la production des données pour chaque formulaire de chaque ETD et entrouve ainsi la possibilité d’un accompagnement proactif et piloté de l’accompagnement des ETD.
La première version du POC est en production depuis Novembre 2017 et a permis d’accompagner la publication des données de subventions de nos deux collectivités pilotes, la commune de Roques et le Sicoval. Le jeu de données publié sur le portail open data départemental agrège nativement les données des deux collectivités. Cette publication dans le
respect du standard ne nécessite aucune intervention technique. Elle est totalement automatisée et déclenchée par le worflow utilisateur intégré à la plateforme. Les producteurs sont totalement autonomes pour enrichir ou intervenir sur le jeu de données publié.
Une nouvelle version majeure est en cours de qualification avant déploiement en décembre 2018. Il est proposé des accès à un espace de démonstration sur cette nouvelle version.
L’étude d’impact et d’opportunité de ce démonstrateur va se poursuivre jusqu’à fin 2018 dans le cadre de l’extension de notre expérimentation avec 5 nouvelles collectivités. Néanmoins et dès à
présent, le concept d’un cadre logiciel unifié au sein de la collectivité dédié aux enjeux de la production de données ouvertes, répond pour partie aux attentes et besoins de nos pilotes pour être en mesure de s’engager dans une démarche d’ouverture de leurs données et ce en
minimisant l’impact sur les pratiques et donc sur le dispositif d’accompagnement tout en apportant potentiellement une plus-value sur les fonctionnements actuels.
Il s’agit pour moi d’un POC même si il est avancé et permet une utilisation en production de ses fonctions principales. Nombre de ses fonctionnalités ne sont là que pour accompagner une réflexion plus large sur l’intérêt d’un tel dispositif, sa portée et sa place possible dans l’écosystème des outils de production et de contrôle de la donnée avant génération du fichier qui sera publié et lui-même devra être certifié ( je pense à Validata). Attention, il ne fait concurrence à rien, il répond à un constat établi en 2018 présenté en intro et permet de façon pragmatique, de la
façon la plus simple et unifiée pour un utilisateur, d’envisager pouvoir produire de la donnée ouverte à une échelle autre que ce que nous connaissons aujourd’hui. Je ne développe pas plus ici cet argumentaire mais je suis disposé naturellement à le faire si vous le souhaitez.
Il me parait aujourd’hui intéressant de partager cette expérience ( en PJ les éléments permettant d’utiliser l’espace de démonstration dès lors que l’administrateur du forum aura pu les joindre car moi je ne peux pas) dans le but d ’avoir le retour de la communauté, vos réactions sur ce concept, voir proposer de créer des espaces dédiés pour des collectivités qui souhaiteraient l’expérimenter dans leurs territoires ( on parle bien d’expérimentation attention à petite échelle et temporaire) et vos avis sur votre vision du devenir, place possible d’un tel outil.
Voilà c’est déjà trop pour un premier post, j’en suis conscient. Je remercie dès à présent Charles, Loic, Laurence, Simon et tous ceux qui ont déjà manifesté leur intérêt autour de cette initiative. Je
n’oublie pas mes collègues, nos collectivités pilotes et le projet OpenDataLocale qui est à l’origine de cette belle expérience
Merci de votre lecture
ChamLibreCollecte_tuto_v1.pdf (1,6 Mo)
ChampLibreCollecteV2.pdf (118,6 Ko)
Annexe-NoticeSiteDemonstrationChampLibreCollectev3.xlsx (17,9 Ko)
