Les données Panoramax sont désormais sur data.gouv.fr
Afin de faciliter les réutilisations, toutes les données de la fédération Panoramax peuvent maintenant être téléchargées dans deux formats différents :
Un export brut de la base de données Postgres;
Un fichier Parquet.
Avec pratiquement 80 millions de photos sur Panoramax, les fichiers exportés sont assez volumineux (~20 Go).
Ces exports sont réalisés toutes les semaines pour le moment.
Export brut de la base de données Postgres
C’est un fichier généré via l’outil pg_dump. Il permet de charger les données dans une base de données Postgres facilement (la commande est détaillée dans la doc) et de profiter de toutes les fonctionnalités de Postgres/Postgis.
Il est à noter que l’import des données peut prendre plusieurs heures et prévoyez un peu de place pour la base de données, la taille à date est de plus de 300 Go (et ca ne va faire qu’augmenter
).
Export GeoParquet
Un fichier Geoparquet est aussi à disposition.
Apache Parquet est un format de données puissant, orienté colonnes, conçu comme une alternative moderne aux fichiers CSV et Geoparquet lui rajoute des types géospatiaux (Point, Ligne, Polygone).
Vous pouvez consulter la documentation (en anglais pour le moment) pour avoir la description des données à disposition.
Le fichier Parquet peut être téléchargé pour une utilisation en local, mais il peut aussi être interrogé à distance, pour ne récupérer que les bouts intéressants et ne pas télécharger l’intégralité des 20Go de données.
le format encore en version bêta.
Le format de fichier est encore en développement et doit être considéré comme étant en version bêta.
Si vous avez besoin de davantage de données ou si vous pensez que le format devrait être différent, n’hésitez pas à nous le dire.
Il n’y a notamment pas pour le moment les données exif des photos, car ça alourdirait trop l’export.
La suite sur… Panoramax sur data.gouv.fr - Ré-utiliser - Forum GéoCommuns