Aller au contenu principal

Gestion des données

Cette page présente les bonnes pratiques pour organiser, sauvegarder, archiver et gérer le cycle de vie de vos données sur eXplor-v2.

Organisation des données​

Arborescence recommandée​

Une arborescence claire facilite la gestion et le partage des données. Exemple :

$PROJECTS/mon-projet/
├── data/               # données brutes
├── code/               # scripts et code source
├── results/            # résultats de calculs
├── docs/               # documentation, notes, articles
├── logs/               # journaux d’exécution
└── README.md           # description du projet

Nommage des fichiers et répertoires​

  • Utilisez des noms explicites et cohérents ;
  • évitez les espaces et les caractères spéciaux (préférez les tirets bas _ ou les tirets -) ;
  • incluez des dates au format YYYY-MM-DD si pertinent ;
  • documentez les conventions de nommage dans un fichier README.

Exemples :

data/raw/experiment-2025-08-25_sample-A.csv
results/simulation-run-001/output.nc
code/preprocess_data.py

Métadonnées minimales​

Pour chaque projet ou ensemble de données important, créez un fichier README.md ou METADATA.txt indiquant :

  • le titre et la description du projet ;
  • les contributeurs ;
  • la date de création et les dates de mise à jour ;
  • la structure des répertoires ;
  • les formats de fichiers utilisés ;
  • les références bibliographiques ou les liens vers des publications.

Sauvegarde​

Ce qui est sauvegardé​

Sur eXplor-v2 :

  • $HOME : sauvegardé par le centre ;
  • $PROJECTS : non sauvegardé, vous êtes responsable de vos données ;
  • $SCRATCH : non sauvegardé, nettoyage automatique après 3 mois.
$PROJECTS et $SCRATCH ne sont pas sauvegardés

Seul $HOME est sauvegardé par le centre. Pour $PROJECTS et $SCRATCH, vous devez prévoir vos propres sauvegardes pour les données importantes.

Recommandations de sauvegarde​

Même si $HOME est sauvegardé par le centre, il est recommandé de :

  • conserver une copie locale des données critiques sur votre poste ou sur un stockage externe ;
  • utiliser un service de stockage externe, institutionnel ou dans le cloud, pour les données essentielles ;
  • documenter la localisation de toutes les copies.

Exemple de stratégie de sauvegarde :

  1. Copie locale : gardez une copie des données brutes et des résultats clés sur votre poste ;
  2. Copie distante : utilisez un service de stockage institutionnel ou dans le cloud pour conserver une deuxième copie ;
  3. Vérification périodique : vérifiez régulièrement que les copies sont à jour et lisibles.

Archivage​

Quand archiver​

Un projet peut être archivé lorsque :

  • les calculs sont terminés ;
  • les résultats ont été publiés ou partagés ;
  • les données ne sont plus activement utilisées ;
  • vous devez libérer de l’espace dans $PROJECTS.

Où archiver​

Options d’archivage :

  • Service d’archivage institutionnel : entrepôts de données de la recherche ;
  • Stockage dans le cloud : services commerciaux ou institutionnels ;
  • Supports physiques : disques durs externes ou bandes pour les très gros volumes.

Comment préparer un archivage​

Avant d’archiver un projet :

  1. Nettoyer :

    • supprimez les fichiers temporaires, intermédiaires et inutiles ;
    • ne conservez que les données brutes, le code finalisé et les résultats clés.

  2. Documenter :

    • mettez à jour le fichier README.md ;
    • incluez un journal de projet (CHANGELOG.md ou LOG.txt) ;
    • documentez les versions des logiciels et des environnements utilisés.

  3. Compresser :

    • regroupez les données dans des archives .tar.gz ou .zip ;
    • vérifiez l’intégrité des archives à l’aide de sommes de contrôle.

  4. Transférer :

    • copiez les archives vers le système d’archivage choisi ;
    • vérifiez que les fichiers sont lisibles et complets.

Cycle de vie des données​

Le cycle de vie typique d’un ensemble de données sur eXplor-v2 est le suivant :

  1. Création :

    • les données sont générées ou acquises ;
    • elles sont placées dans $SCRATCH pour les calculs intensifs ou dans $PROJECTS pour les données de projet.

  2. Utilisation active :

    • les données sont traitées, analysées et transformées ;
    • les résultats intermédiaires sont stockés dans $PROJECTS ou $SCRATCH.

  3. Finalisation :

    • les résultats finaux sont consolidés ;
    • les données inutiles sont supprimées ;
    • la documentation est mise à jour.

  4. Archivage :

    • les données importantes sont archivées sur un système de stockage à long terme ;
    • les copies temporaires dans $SCRATCH sont supprimées.

  5. Suppression :

    • les données obsolètes ou sans valeur sont supprimées ;
    • les quotas sont libérés pour de nouveaux projets.

Checklist de gestion des données​

Pour chaque projet :

  • l’arborescence des données est claire et documentée ;
  • un fichier README.md décrit le projet et les données ;
  • les conventions de nommage sont respectées ;
  • les données importantes ont au moins deux copies (cluster et stockage externe) ;
  • les données dans $SCRATCH sont transférées vers $PROJECTS ou archivées avant trois mois ;
  • un plan d’archivage est prévu pour la fin du projet ;
  • les fichiers inutiles sont régulièrement supprimés.

Pages associées​