Aller au contenu principal

Transferts de données

Cette page présente les transferts entre votre poste local et le cluster eXplor-v2, ainsi qu’entre les espaces de stockage du cluster.

Les exemples utilisent l’alias SSH explor. Remplacez les chemins indiqués par ceux de votre compte.

Transférer des fichiers avec scp​

scp convient aux transferts ponctuels.

Envoyer un fichier vers le cluster :

scp Build.tar explor:/home/<identifiant>/testCopie/

Récupérer un fichier sur votre poste :

scp explor:/home/<identifiant>/testCopie/Build.tar /local/home/dir/

Remplacez <identifiant> par votre nom d’utilisateur. Vous pouvez aussi utiliser ~ pour désigner votre répertoire personnel distant :

scp Build.tar explor:~/testCopie/
scp explor:~/testCopie/Build.tar ~/testSCP/

Pour copier un répertoire, ajoutez l’option -r :

scp -r repertoire/ explor:~/testCopie/

Transférer des fichiers avec rsync​

rsync est recommandé pour les fichiers volumineux ou les transferts susceptibles d’être interrompus. Il permet de reprendre un transfert partiel et de limiter les données retransmises.

Envoyer un fichier vers le cluster :

rsync -P --partial --append-verify Build.tar explor:~/testCopie/

Récupérer un fichier sur votre poste :

rsync -P --partial --append-verify explor:~/testCopie/Build.tar ~/testSCP/

Options utilisées :

  • -P : affiche la progression et conserve les fichiers partiels ;
  • --partial : conserve le fichier partiellement transféré ;
  • --append-verify : reprend le transfert et vérifie les données déjà présentes.

Pour synchroniser un répertoire, ajoutez -a :

rsync -avhP repertoire/ explor:~/testCopie/

Avec repertoire/, rsync copie le contenu du répertoire. Sans la barre oblique finale, il copie le répertoire lui-même.

Pour récupérer un répertoire :

rsync -avhP explor:~/testCopie/ ~/testSCP/

Attention : --delete supprime à destination les fichiers absents de la source. Vérifiez les chemins avant d’utiliser cette option.

Outils graphiques​

Vous pouvez utiliser un client compatible avec SFTP, comme FileZilla, Cyberduck ou WinSCP.

Paramètres de connexion :

  • Protocole : SFTP ;
  • Hôte : login.explor.univ-lorraine.fr ;
  • Port : 22 ;
  • Identifiant : votre nom d’utilisateur ;
  • Authentification : votre mot de passe.

Transférer des données sur le cluster​

Pour déplacer des données entre espaces de stockage, exécutez rsync ou cp depuis une session sur le cluster ou depuis un job :

rsync -avh "$HOME"/donnees/ "$PROJECTS"/donnees/
rsync -avh "$PROJECTS"/resultats/ "$SCRATCHDIR"/resultats/

Vérifiez que les variables de stockage utilisées sont définies dans votre environnement. Pour les gros volumes, privilégiez $PROJECTS ou l’espace temporaire plutôt que $HOME.

Pour supprimer les fichiers sources après leur copie, utilisez :

rsync -avh --remove-source-files "$SCRATCH"/temp/ "$PROJECTS"/archive/

Cette option supprime les fichiers transférés, mais pas nécessairement les répertoires devenus vides. Vérifiez la destination avant toute suppression.

Vérifier l’intégrité​

Pour vérifier un transfert, comparez les sommes SHA-256 du fichier source et du fichier transféré :

sha256sum Build.tar

Les valeurs obtenues doivent être identiques.

Bonnes pratiques​

  • Pour reprendre un transfert interrompu, relancez la même commande rsync.

  • Pour transférer de nombreux petits fichiers, regroupez-les dans une archive :

    tar -czf petits-fichiers.tar.gz repertoire/
    rsync -P --partial --append-verify petits-fichiers.tar.gz explor:~/testCopie/
    tar -xzf petits-fichiers.tar.gz

  • Vérifiez les chemins avant d’utiliser --delete ou --remove-source-files.

  • Utilisez l’espace adapté aux données : $HOME pour les fichiers personnels, $PROJECTS pour les données de projet et $SCRATCHDIR pour les données temporaires. Consultez la page Espaces de stockage.

Pages associées​