Pour les portails OpenDataSoft, j’ai ajouté l’archivage de la version « géographique » des données, en récupérant aussi le fichier au format geojson lorsque c’est approprié. Il est quand même bien plus facilement exploitable que les CSV contenant des bouts de geojson
Autre ajout… l’exclusion des jeux de données qui ne sont que des extraits de référentiels nationaux:
base sirene (rarement à jour en plus)
répertoire national des élus
prévision de météo france
registre parcellaire graphique
etc…
Premier décompte:
14000 jeux de données
mais 8000 différents, il y a beaucoup de jeux qui semblent identiques disponibles sur plusieurs portails, mais il n’est pas facile de s’y retrouver pour ne garder que l’original
Next steps:
l’archivage des « pièces jointes », certains jeux de données comme les GTFS sont souvent publiés de cette façon.
pour les jeux de données qui en fait ne font que lister des URL de téléchargement de fichiers, archiver aussi ces fichiers. Certains GTFS sont publiés comme ça, mais aussi les dalles d’ortho-photographies ou des documents numérisés et le contenu utile du jeu de données se trouve au bout de ces liens… environ 500 jeux de données sont concernés.
Superbe boulot, qui pourrait peut être aussi trouver des usages pour ceux chez Opendata France ou chez nous qui aiment bien analyser ce qu’il y a sur les portails… Là ça fait un point d’accès unique avec une arborescence normalisée… Poke @samgoeta@mathieu etc.
Bravo Christian ! Tu as raison de laisser pour l’instant de côté les questions liées au versioning/diff et de t’être lancé sans bikeshedder outre mesure.
Je découvre aujourd’hui une autre initiative du même genre : The Government Data Graveyard, qui n’archive cependant pas les jeux de données mais recense, plutôt symboliquement, ceux dont la publication a été interrompue.
L’auteure, Anna Powell-Smith, a également un blog sur le sujet : Missing Numbers.
Je suis comme ça… quand j’ai une idée, il faut que j’essaye de la valider en commençant la réalisation.
Ça permet d’avancer et ensuite de rectifier le tir uniquement là où c’est nécessaire.
Je pense déjà devoir rectifier le tir sur l’organisation des archives, car le premier jet est trop calqué sur l’organisation des portails OpenDataSoft vu que j’ai commencé par ça.
En codant l’archiveur pour Koumoul et celui pour CKAN, je vois qu’il y peut y avoir plusieurs fichiers de données pour un jeu de données (CKAN).
C’est aussi le cas pour uData (data.gouv.fr), j’aurais dû y penser !
Il faut donc adapter l’organisation de l’archive pour ça.
Les timestamps ISO complets sont bien longs et « bruitent » un peu trop les noms des fichiers, je passe donc en mode compact: AAAAMMJJTHHMMSSZ
Pour les fichiers externes listés par le contenu d’un jeu de données, j’ai (temporairement ?) coupé leur récupération si il y en a plus de 1000.
Ce qui est dommage c’est que la gestion par les producteurs des metadonnées est quand même très approximative sur la partie date de modification des données et metadonnées. Beaucoup de metadonnées voient leur date de modification changer quotidiennement alors que leur contenu ne change pas.
Cela oblige à les récupérer, les comparer aux précédentes et désormais je ne versionne que si il y a eu un changement effectif. Cela doit venir d’alimentation automatique des portails qui se font en batch même si rien n’a été modifié (y compris dans les données).
Pour les données, c’est bien sûr encore plus problématique.
Autre point… les données « temps-réel ». Quelle historisation faire et donc à quelle fréquence ?
J’envisage de sortir des stats et un dashboard pour avoir une vue d’ensemble.
Pas la peine d’aller chercher aussi « loin » : je viens de m’apercevoir que la Mairie de Paris, suite à mes demande de rafraîchissement sur le peu de données sur l’eau potable qu’ils diffusaient, avaient purement et simplement supprimé les fichiers. https://opendata.paris.fr/explore/dataset/mobiliereaupotableparis2011/api/
Ils étaient pas à jour de 2011 et 2014, mais tout de même, on ne peut décidément compter sur peu de monde.
Donc merci Christian d’avoir pris l’initiative, cela rendra sûrement de grands services à l’avenir pour ces raisons
@cquest Nous devons avoir un scraper pour la base Sit@del, et plus largement http://developpement-durable.bsocom.fr/
C’est packagé sous forme de conteneur Docker. Est-ce que ça peut vous intéresser ?
Il nous faut un petit effort de nettoyage avant de libérer le code mais ça doit pouvoir se faire…
Merci pour l’initiative en tout cas, nous aurions justement besoin d’archives longues Sit@del, mais le site ne donne accès qu’aux trois dernières années glissantes. J’en profite d’ailleurs pour lancer un appel si quelqu’un a ces données dans un coin
