#TeamOpenData

"CHAMP LIBRE COLLECTE" un concept de portail mutualisé pour simplifier l'ouverture des données publiques dans nos collectivités

Bonjour à toutes et tous

Je suis Thierry Martin en charge du projet Open Data du département de la Haute Garonne. Je souhaite ici partager une initiative qui est née de la contribution du département au projet OpenDataLocale et de l’expérimentation menée auprès de deux collectivités pilotes de Haute-Garonne dans la mise en œuvre des premiers jeux de données standardisées du SCDL.

Notre objectif était à travers cette expérimentation de co-construire avec l’aide de ces collectivités une offre de service en mesure d’accompagner de façon opérationnelle toutes les collectivités du département dans l’ouverture de ces données. Notre ambition est d’industrialiser l’ouverture de données publiques interopérable et de qualité, de façon orchestrée et dans la durée avec comme enjeux un accès unifié/agrégé à ces données pour en faciliter la réutilisation.

L’absence d’outils informatiques permettant nativement de produire ces standards sur le court, moyen voir long terme, le morcellement et l’hétérogénéité des outils utilisés ainsi que le cloisonnement des organisations et des pratiques autour de la production des données, ont fait apparaitre la nécessité de fournir aux producteurs de données du territoire un cadre logiciel unifié permettant de simplifier tout le processus d’ouverture de la donnée allant de son captage jusqu’à la publication des données sur le portail open data en passant par la génération des flux standardisés

Un POC a été développé en mode RAD. L’implication et les retours des utilisateurs pilotes ont alimenté un cycle de développement itératif dans le cadre d’une approche Agile.

La plateforme met à disposition des masques paramétrables pour simplifier la collecte, la standardisation et la publication de données sur des portails open data.

Ces masques permettent à travers une ergonomie et des fonctionnalités unifiées et standardisées dans une interface nativement responsive:

  • la saisie, duplication, modification, suppression en mode tableur et formulaire d’enregistrements
  • l’import de données partielles ou complètes issues du système d’information ou d’outils bureautiques, par fichiers ou simple copier/coller,
  • l’export et l’impression des données
  • la personnalisation de chaque écran (visibilité des champs, valeur par défaut, obligatoire, impression, export, import, tooltip, placeholder, …) pour s’adapter aux possibilités de production
    et de complétudes des données et au niveau d’acculturation à la donnée de chaque établissement producteur
  • l’utilisation de référentiels embarqués pour simplifier et accompagner le captage d’une donnée de qualité (Siret, CPV, nomenclature marchés, etc…)
  • des contrôles paramétrables, javascript et php d’intégrité, de qualité et de complétude des données personnalisables pour chaque établissement producteur de données
  • une recherche ‘full text’ et l’utilisation de filtres paramétrables par utilisateur sur l’ensemble des
    données, tri simple ou multiple, déplacement et redimensionnement de colonnes
    dans la grille…
  • un système de validation ( deux niveaux) associé à la publication. Autonomie des utilisateurs dans la publication/dépublication des enregistrements poussés sur le portail open data
  • un système de notification par mail
  • la génération automatique des flux standardisés de données
  • un changelog sur les fichiers générés (ajout, modification, suppression d’enregistrements publiés)
  • une gestion des utilisateurs et des habilitations
  • L’audit de toutes les actions utilisateurs réalisées sur la plateforme
  • etc…

Le POC a été conçu de telle sorte de partager son administration entre plusieurs ATD. Chaque ATD dispose des droits d’administration sur un portefeuille d’établissements producteurs de données et pour chacun d’entre eux peut définir le paramétrage et les contrôles sur les
différents masques, la personnalisation graphique de la plateforme (header, footer, css) ainsi que la gestion des utilisateurs et des habilitations. L’agrégation de données dans le processus de
constitution des fichiers d’interface avec les portails open data s’opère par ATD. Ceci permet un portage distinct de ces flux sur les portails open data respectifs de chaque ATD. Il donne la possibilité de monitorer et piloter par chaque ATD le niveau de complétude des données et la production des données pour chaque formulaire de chaque ETD et entrouve ainsi la possibilité d’un accompagnement proactif et piloté de l’accompagnement des ETD.

La première version du POC est en production depuis Novembre 2017 et a permis d’accompagner la publication des données de subventions de nos deux collectivités pilotes, la commune de Roques et le Sicoval. Le jeu de données publié sur le portail open data départemental agrège nativement les données des deux collectivités. Cette publication dans le
respect du standard ne nécessite aucune intervention technique. Elle est totalement automatisée et déclenchée par le worflow utilisateur intégré à la plateforme. Les producteurs sont totalement autonomes pour enrichir ou intervenir sur le jeu de données publié.
Une nouvelle version majeure est en cours de qualification avant déploiement en décembre 2018. Il est proposé des accès à un espace de démonstration sur cette nouvelle version.

L’étude d’impact et d’opportunité de ce démonstrateur va se poursuivre jusqu’à fin 2018 dans le cadre de l’extension de notre expérimentation avec 5 nouvelles collectivités. Néanmoins et dès à
présent, le concept d’un cadre logiciel unifié au sein de la collectivité dédié aux enjeux de la production de données ouvertes, répond pour partie aux attentes et besoins de nos pilotes pour être en mesure de s’engager dans une démarche d’ouverture de leurs données et ce en
minimisant l’impact sur les pratiques et donc sur le dispositif d’accompagnement tout en apportant potentiellement une plus-value sur les fonctionnements actuels.

Il s’agit pour moi d’un POC même si il est avancé et permet une utilisation en production de ses fonctions principales. Nombre de ses fonctionnalités ne sont là que pour accompagner une réflexion plus large sur l’intérêt d’un tel dispositif, sa portée et sa place possible dans l’écosystème des outils de production et de contrôle de la donnée avant génération du fichier qui sera publié et lui-même devra être certifié ( je pense à Validata). Attention, il ne fait concurrence à rien, il répond à un constat établi en 2018 présenté en intro et permet de façon pragmatique, de la
façon la plus simple et unifiée pour un utilisateur, d’envisager pouvoir produire de la donnée ouverte à une échelle autre que ce que nous connaissons aujourd’hui. Je ne développe pas plus ici cet argumentaire mais je suis disposé naturellement à le faire si vous le souhaitez.

Il me parait aujourd’hui intéressant de partager cette expérience ( en PJ les éléments permettant d’utiliser l’espace de démonstration dès lors que l’administrateur du forum aura pu les joindre car moi je ne peux pas) dans le but d ’avoir le retour de la communauté, vos réactions sur ce concept, voir proposer de créer des espaces dédiés pour des collectivités qui souhaiteraient l’expérimenter dans leurs territoires ( on parle bien d’expérimentation attention à petite échelle et temporaire) et vos avis sur votre vision du devenir, place possible d’un tel outil.

Voilà c’est déjà trop pour un premier post, j’en suis conscient. Je remercie dès à présent Charles, Loic, Laurence, Simon et tous ceux qui ont déjà manifesté leur intérêt autour de cette initiative. Je
n’oublie pas mes collègues, nos collectivités pilotes et le projet OpenDataLocale qui est à l’origine de cette belle expérience
Merci de votre lecture

ChamLibreCollecte_tuto_v1.pdf (1,6 Mo)

ChampLibreCollecteV2.pdf (118,6 Ko)

Annexe-NoticeSiteDemonstrationChampLibreCollectev3.xlsx (17,9 Ko)

8 Likes

Bonjour,
C’est une initiative qui l’air intéressante mais que je ne découvre que maintenant. Avez-vous avancé ? Notamment sur l’intégration de fichier plutôt que la saisie manuelle ?

Le logiciel est-il disponible quelque part ?

Merci d’avance !

Bonjour

Nous déployons son utilisation sur 18 collectivités avec une priorisation sur les subventions et les délibérations et nous expérimentons les équipements et la BAL avec deux de ces collectivites.
Dès à présent le prototype permet l’import de données partielles ou complètes par l’opérateur. Le prototype automatise alors la standardisation et la publication des données sur le portail OD.
L’import peut également se faire par simple copier coller de cellules excel par exemple. Pas d’API
Il est possible de paramétrer les imports pour chaque formulaire par établissement ( valeurs non vides, présentes, …)
Néanmoins les contrôles de cette fonction restent à consolider . Pour l’instant nous faisons avec
L’outil ne peut pas être encore distribué sous sa forme de POC même si c’est l’objectif dès que j’aurai trouvé des financements et un modèle de développement du concept
Nous pouvons si vous le souhaitez instancier un espace de test voir plus sur la base de demo
Je vous propose dans ce cas d’en échanger de vive voix pour vous en dire plus sur les possibilités actuelles d’administration et d’utilisation
Cordialement

2 Likes

Bonjour,

je déterre un peu le sujet…
Cette démarche nous intéresse pour la Métropole Européenne de Lille et ses communes.

comment faut il procéder pour y avoir accès ?
Bonne journée

Bonjour

Je vous remercie de l’intérêt que vous portez à cette démarche
Sujet toujours au combien d’actualité :slight_smile:
La démarche et l’outil associé mis en place en Haute-Garonne seront prochainement rendus accessibles à d’autres collectivités. L’association OpenDataFrance fera des annonces en se sens d’ici la fin d’année en particulier concernant les modalités d’accès et le calendrier. L’outil n’est pas distribuable en l’état ( prototype) en dehors de ce cadre.
Plusieurs actions sont en cours en étroite collaboration avec ODF pour que cette initiative puisse être étendue à d’autres territoires à l’échelle nationale dans le court terme.
Pour plus d’information je vous propose de me contacter au 06 38 69 59 97
Cordialement