Moissonnage des données territoriales sur data.gouv.fr

Annoncé par @cquest, un webinaire DCANT destiné aux collectivités locales et consacré au moissonnage des données territoriales aura lieu jeudi à 16:00 sur la plateforme de formation à distance du CNFPT. Ce webinaire permettra de présenter les évolutions récentes des moissonneurs disponibles sur data.gouv.fr et de mieux faire connaître les mécanismes de référencement automatique sur le portail national des jeux de données publiés en open data sur les portails locaux.

La documentation sur ce sujet, plus claire et précise, a été mise à jour sur une page dédiée, qui peut être améliorée par contribution (fork) sur Github.

La collecte de données pour l’observatoire open data des territoires a permis de détecter des problèmes de référencement qui ne pourront être qu’en partie résolus par les améliorations techniques apportées aux moissonneurs.

Les nouvelles possibilités offertes, notamment le paramétrage de filtres, permettent d’activer des moissonneurs au producteur et non plus seulement à la plateforme (ODS, CKAN, DCAT mais aussi GEO). De fait, les données référencées sur une page d’organisation pourront désormais refléter ce qui est effectivement produit et publié en open data par cette organisation.

Cet alignement ne pourra toutefois se réaliser pleinement que si les utilisateurs disposant de droits d’administration paramètrent correctement le (ou les) moissonneur(s) chargé(s) d’alimenter leur page d’organisation et sont en mesure de nettoyer l’historique des jeux de données qui y sont déjà référencés.

Or, il apparaît que :

  • Certaines pages d’organisation avec référencement automatique ont été directement créées par l’équipe de data.gouv.fr … Comment rendre les droits d’administration de ces pages à des utilisateurs qui représentent effectivement les organisations concernées ?

  • Le référencement de jeux de données par les mécanismes de moissonnage, anciens et nouveaux, est historicisé et cumulatif. De fait, les ressources de certains jeux de données référencés automatiquement ne sont plus accessibles. De même, de nombreuses pages d’organisation référencent la totalité des jeux de données disponibles sur une plateforme territoriale, tous producteurs confondus (y compris dans le cas d’une plateforme mutualisée). Comment déréférencer des jeux de données ? Comment écraser le référencement de jeux de données issus de moissonnages antérieurs ? Comment synchroniser le référencement automatique et sa mise à jour avec les plateformes sources ?

  • A partir d’une page d’organisation, comment savoir si les jeux de données présentés sont seulement référencés (issus d’un mécanisme de moissonnage) ou hébergés, c’est-à-dire effectivement publiés sur data.gouv.fr ? Dans le cas du référencement, comment identifier le mécanisme utilisé pour chaque jeu de données et la plateforme source d’où il est issu ?

Nous pouvons engager la discussion à partir de ces premiers éléments. Si le moissonnage des données territoriales sur data.gouv.fr suscite d’autres interrogations, n’hésitez pas à poursuivre et compléter ce fil :wink:

2 « J'aime »

Bonjour @loichay,

j’espère qu’on a pu répondre à la plupart de tes questions pendant le webinaire.

Peux-tu nous donner plus de détails / formuler autrement la question ci-dessous :

Comment synchroniser le référencement automatique et sa mise à jour avec les plateformes sources ?

Et n’hésite pas à pointer des questions dont les réponses resteraient en suspens.

Dans un mail envoyé @cquest, @Eric d’Infocom’94 souhaite savoir si la vidéo du webinaire “moissonnage des données territoriales” du jeudi 20 décembre 2018 est accessible via le net ? Il voudrait communiquer le lien de cette vidéo ainsi que celui de la documentation dédiée au moissonnage aux collectivités adhérentes de son syndicat informatique. @abulte-datagouv pourrais-tu nous avertir quand la vidéo sera disponible sur le compte dailymotion de la DINSIC ? Merci et bonne année !

Bonjour @loichay, je vous dis dès que c’est prêt ! Il y a un petit montage à faire avant de mettre en ligne et vu la période ça prend un peu de temps.

@Eric @abulte-datagouv @noirbizarre la vidéo de l’enregistrement du webinaire est disponible sur le compte dailymotion de la DINSIC pour le replay :wink:

@noirbizarre pourrais-tu partager le support utilisé pour ta présentation ? Impossible de lire l’url d’accès sur la vidéo …

Un tuto pas à pas dédié spécifiquement au moissonnage de données publiées sur un portail territorial ArcGIS Open Data est disponible sur arcOrama :

La page de documentation de geo.data.gouv.fr (passerelle Inspire) qui explique comment publier des données géographiques issues de catalogues territoriaux sur data.gouv.fr :