Archiver les données ouvertes ?

41

Un petit bilan de l’archivage des portails ODS de ce matin:

  • 91 portails au catalogue inchangé
  • 22 au catalogue modifié dont:
    • 5273 metadonnées au contenu inchangé (mais indiquées comme mises à jour)
    • 1342 metadonnées modifiées
    • 1264 ressources modifiées et téléchargées (en se basant sur la date d’update, pas sur leur contenu)
    • 882 ressources « géo » téléchargées

Temps total de traitement: environ 4h avec 4 mises à jour en parallèle.

La deuxième passe qui s’occupe des fichiers référencés par le contenu des jeux de données, prends beaucoup moins de temps (1h maxi).

42
1 « J'aime »
43

Ceci malheureusement me conforte dans l’idée qu’un archivage par les citoyens soit nécessaire car indépendant…

1 « J'aime »
44

Pas la peine d’aller chercher aussi « loin » : je viens de m’apercevoir que la Mairie de Paris, suite à mes demande de rafraîchissement sur le peu de données sur l’eau potable qu’ils diffusaient, avaient purement et simplement supprimé les fichiers.
https://opendata.paris.fr/explore/dataset/mobiliereaupotableparis2011/api/

Ils étaient pas à jour de 2011 et 2014, mais tout de même, on ne peut décidément compter sur peu de monde.

Donc merci Christian d’avoir pris l’initiative, cela rendra sûrement de grands services à l’avenir pour ces raisons

45

Faut que je fouille mes disques, pas impossible que j’ai une copie de ça quelque part…

46

Ca devrait être puni de supprimer des jeux de données…
Mais bon, je sais que je rêve.

47

J’ai mis ce que j’ai pu retrouver sur http://data.cquest.org/paris/archive-2010-2011/

Je dois encore fouiller un peu, possible d’avoir encore quelques dataset sur mon vieux Mac Pro…

1 « J'aime »
48

Changement de nommage des fichiers archivés… maintenant la date de mise à jour du fichier figure en préfixe et en ISO compact, exemple:

  • 20160413T102500Z abri-voyageurs-ecrans-tactiles-connectes.csv.gz
  • 20170513T145703Z abri-voyageurs-ecrans-tactiles-connectes.csv.gz
  • 20160413T104000Z abri-voyageurs-ecrans-tactiles-connectes-meta.json

Même nommage pour les metadonnées en json.
Ceci permet:

  • de trier facilement par date
  • de séparer facilement le timestamp du nom original du fichier
  • d’avoir des noms de fichiers plus compacts
49

@cquest Nous devons avoir un scraper pour la base Sit@del, et plus largement http://developpement-durable.bsocom.fr/
C’est packagé sous forme de conteneur Docker. Est-ce que ça peut vous intéresser ?
Il nous faut un petit effort de nettoyage avant de libérer le code mais ça doit pouvoir se faire…

Merci pour l’initiative en tout cas, nous aurions justement besoin d’archives longues Sit@del, mais le site ne donne accès qu’aux trois dernières années glissantes. J’en profite d’ailleurs pour lancer un appel si quelqu’un a ces données dans un coin :wink:

2 « J'aime »
50

Ce site propose des données brutes ou juste des décomptes et statistiques ?

L’idée d’opendatarchives, n’est pas vraiment de scraper, ça c’est plus sur data.cquest.org que je le fait :wink:

Je ne suis pas trop fan de dockeriser ce genre de chose, le scrap est fait avec quel type d’outil/langage ?

51

Sitadel contient les décomptes des chantiers (nombres et surfaces) autorisés et commencés, par type de construction, au niveau communal.

Le scraper est écrit avec Python/Selenium, Docker est juste une facilité de déploiement dans notre contexte.

52

On parle de ces données ?

Quand on avait regardé, la fenetre annoncée était de 2 ans, mais on dirait qu’elle s’est élargie.

53

Et maintenant archivé sur http://data.cquest.org/sitadel/ :wink:

Il ne reste plus qu’à les géocoder en partant des identifiants de parcelles pour qu’elles soient encore plus intéressantes à exploiter :wink:

1 « J'aime »
54

Merci pour le signalement de ce site qui contient pas mal de choses, désormais archivées sur http://data.cquest.org/sdes/

C’est en vrac, mais le site est vraiment mal fichu car conçu comme un clicodrome :frowning:

55

Côté archiveur CKAN ça avance, voici quelques exemples :

C’est quand même pas le plus simple à archiver !

Difficile de faire la sélection entre données, pièces jointes, liens externes d’info… il y a des champs pour cela mais il sont souvent non renseignés ou faux :frowning:

56

Premier archivage d’un portail arcgis… http://files.opendatarchives.fr/departement-ain.opendata.arcgis.com/

57

Super !
Je n’ai plus qu’à attendre 20 ans pour avoir ma série longue sur http://data.cquest.org/sitadel/ :rofl:

Merci pour l’archivage en tout cas !

1 « J'aime »
58

Très bonne initiative!
Peut on également trouver les fichiers vecteurs du cadastre d’avant 2017?

59

À ma connaissance, ils n’ont pas été diffusés en opendata… il faudrait faire une demande auprès de la DGFiP pour les anciens millésimes.

Je me ferai un plaisir de les archiver :wink:

1 « J'aime »
60

Hello. Merci pour votre projet d’archivage !
Une remarque concernant le géoportail de l’urbanisme. Vous n’avez pas récupéré les PLU « i » (intercommunaux), l’indexation doit être faite à partir du code SIREN de la collectivité(CC, CA, …)
exemple du PLUI de Dinan Agglomération dans les Côtes-d’Armor. n° SIren: 200068989
https://wxs-gpu.mongeoportail.ign.fr/externe/i9ytmrb6tgtq5yfek781ntqi/telechargement/prepackage/PACK_DU_200068989_11a901c4641d7ae83082ddd34d109660/file/200068989_PLUi_20200127.zip