En attendant de trouver le temps pour créer une asso qui va bien, j’ai ouvert une cagnotte sur leetchi pour financer le remplacement de disques (3To > 6To ou mieux).
Les données IGN sont venues monter le taux d’occupation et il est temps de préparer un upgrade.
Un calcul à la louche fait que 20€ correspondent à 1To.
Voici un tweet à partager si vous voulez aider de cette façon…
Il va falloir patienter, la cagnotte est actuellement suspendue pour vérification par Leetchi (sans même me prévenir, ni explication).
Elle est actuellement à 370€, soit 3 disques sur les 8 de l’objectif 
La cagnote a été ré-ouverte par Leetchi après vérification. Désolé pour cette coupure.
Déjà 21To de financés
L’objectif initial de la cagnotte est bientôt atteint !
Je la laisse ouverte pour viser la taille au dessus pour les disques… en effet ça réduirait d’autant la consommation du serveur de stockage, car un disque 3.5" SAS consomme toujours à peu près 8W que ce soit un 1To ou un 12To.
Une grappe de 8 disques 12To permettrait de remplacer les 24 disques 3To actuel, soit une réduction de consommation de 12x8W = 96 W avec 18To de stockage utilisables en plus !
Donc plutôt que de juste faire plus (de To), on peut tenter de faire mieux 
Les 3 To iront dans le(s) serveur(s) de backup au fur et à mesure des besoins.
On est à 47%.
Dernière semaine pour la cagnotte…
N’hésitez pas à partager ce tweet de rappel:
Plus que 2 jours… et je pense que ça sera donc des disques de 10To que j’ai repéré à un peu moins de 20€/To sur ebay en quasi neuf (<100h).
Et voilà, objectif atteint hier avec 1 jours d’avance.
J’ai donc fermé la cagnotte et commandé des disques de 10To au lieu des 6To prévus initialement.
Grand merci aux 51 contributeurs et aux relais !
De quoi occuper mon week-end
Disques installés hier matin dans le serveur, puis qualifiés à coups de contrôle « long » SMART (qui vérifie toute la surface du disque en une vingtaine d’heures).
Le transfert de données est lancé et prendra plusieurs jours :
Je vais en profiter pour faire du ménage et du rangement.
Pour info, j’ai créé un pool ZFS dédié à opendatArchives, il a pour l’instant 2 vdev de 4 disques en RAIDZ1, auquel viendra s’ajouter prochainement un disque spare (un don direct).
Donc si un disque bat de l’aile, le spare viendra le remplacer… et bien sûr il y a un backup sur un deuxième serveur où les disques de 3To vont être recyclés.
Les nouveaux disques sont reconditionnés et proviennent d’un broker allemand (via ebay). Ils datent de septembre 2018 et n’ont que 9 à 60 heures d’utilisation, autant dire qu’ils sont neufs, mais à moitié prix du neuf
Un an plus tard… les disques se sont bien remplis !
Gros effet « IGN » qui depuis un an a ouvert petit à petit ses jeux de données (environ 20To) et dans les premiers temps de cette ouverture progressive mais massive, le mirroir opendatArchives a compensé un petit peu la saturation des FTP de l’IGN (cela va bien mieux maintenant).
Il y a aussi bien sûr les nouveaux portails opendata qui se sont ouverts, l’archivage des mises à jour des jeux de données, bref, tout le but d’opendatArchives !
Il va falloir donc remettre des disques… et j’ai repéré des 8To voire 10To à bon prix sur ebay.
Que pensez-vous de refaire comme l’an passé une cagnotte leetchi ?
Petit complément énergétique…
Mes petits calculs sur la consommation électrique me confirment que payer plus cher pour des 10To n’est rentable qu’au bout de 5 ans mais vue la tendance des tarifs de l’électricité, ça pourrait bien être rentable plus vite !
Pour donner une idée, 1W permanent c’est 1.55€/an actuellement au tarif Enercoop.
Le serveur de backup, allumé moins de 1h par jour, consomme moins d’une dizaine de Wh sur 24h.
Toujours dans le but de réduire globalement la consommation (en dehors d’opendatArchives), j’ai gonflé le serveur de stockage, pour faire aussi du calcul avec de nouveaux CPU et de la RAM. Ceci permet d’éteindre 1 second serveur, et mon réseau 40Gbps pour relier ce petit monde.
Pour plus de détails sur la quincaillerie, c’est ici :
https://www.computel.fr/2019/07/07/la-quincaillerie/
Ca semble une bonne idée : simple, efficace. A terme, formaliser la gouvernance avec une asso serait super. En termes de sobriété, est-ce qu’au-delà de la quincaillerie des optimisations pourraient être cherchées pour limiter l’empreinte du truc (Parquet, compression…) ?
Asso…
Oui, l’idée d’une asso est toujours dans l’air… mais zéro temps perso pour passer au concret et ça n’a pas manqué pour l’instant… déjà impliqué dans 3 assos (OpenStreetMap, Open Food Facts et la petite dernier… le Musée du Minitel).
Optimisations…
Tout est déjà compressé nativement soit à la source, soit par ZFS.
Je vérifie aussi que le contenu des jeux de données a bien changé avant de conserver une nouvelle version (tri des CSV ou geojson et comparaison de leur empreinte).
L’étape suivante consisterait à générer des diff entre fichiers, mais cela rend l’utilisation d’une version d’un fichier plus complexe car il faut prendre un point de départ et appliquer potentiellement plusieurs diff pour avoir la version souhaitée.
