Présentation d'eXplor-v2
eXplor-v2 est le nouveau centre de calcul scientifique de l'établissement. Il est conçu pour fournir aux chercheurs, enseignants, ingénieurs et étudiants des ressources de calcul adaptées à des travaux qui dépassent les capacités d'un poste de travail classique.
Le centre entrera prochainement en production. Cette page présente son rôle, son organisation générale et les principaux services proposés.
eXplor-v2 étant une nouvelle infrastructure, les utilisateurs doivent se familiariser avec son organisation, ses règles d'utilisation et ses procédures d'accès, même s'ils ont déjà travaillé sur un autre cluster.
Objectifs du centre
eXplor-v2 fournit une infrastructure mutualisée pour différents usages scientifiques et techniques :
- simulations numériques ;
- calcul haute performance ;
- calcul parallèle et distribué ;
- traitement et analyse de données ;
- intelligence artificielle et apprentissage automatique ;
- calcul accéléré par GPU ;
- visualisation scientifique ;
- exécution de logiciels scientifiques spécialisés.
Le centre permet de mutualiser les ressources, les logiciels et les compétences nécessaires à ces différents usages.
Fonctionnement général
Un cluster HPC regroupe plusieurs types de machines qui n'ont pas le même rôle.
Nœuds de connexion
Les nœuds de connexion sont les machines auxquelles les utilisateurs accèdent directement, généralement avec SSH ou par l'intermédiaire d'un service interactif.
Ils servent notamment à :
- préparer les fichiers et les scripts ;
- modifier le code ;
- consulter la documentation ;
- compiler des programmes légers ;
- charger les modules logiciels ;
- transférer des fichiers ;
- soumettre et suivre les jobs.
N'exécutez pas de simulation longue ou de programme consommant beaucoup de CPU, de mémoire ou de GPU directement sur un nœud de connexion. Utilisez SLURM pour demander les ressources nécessaires sur un nœud de calcul.
Nœuds de calcul
Les nœuds de calcul exécutent les travaux soumis par les utilisateurs. Ils sont accessibles au travers du gestionnaire de ressources SLURM.
Selon la partition et le type de ressources demandé, un job peut utiliser :
- un ou plusieurs nœuds ;
- un ou plusieurs CPU ;
- une quantité déterminée de mémoire ;
- un ou plusieurs GPU ;
- une durée d'exécution définie.
Nœuds de visualisation
Les nœuds de visualisation sont destinés aux applications nécessitant un affichage graphique ou une accélération matérielle pour explorer et analyser des résultats scientifiques.
Ils sont accessibles par les services interactifs prévus à cet effet, notamment TurboVNC via le portail Open OnDemand.
Gestion des ressources avec SLURM
SLURM est le gestionnaire de ressources et d'ordonnancement d'eXplor-v2. Il reçoit les demandes de calcul, vérifie les ressources disponibles et affecte les jobs aux nœuds appropriés.
Avec SLURM, vous pouvez :
- demander des CPU, de la mémoire et des GPU ;
- choisir une partition adaptée ;
- lancer un travail interactif ;
- soumettre un script batch ;
- suivre l'état d'un job ;
- consulter les ressources consommées ;
- annuler un job ;
- organiser plusieurs jobs avec des dépendances ou des tableaux.
Exemples de commandes courantes :
sinfo
squeue -u "$USER"
sacct -j <jobid>
scancel <jobid>
Pour commencer avec SLURM :
Ressources disponibles
Les ressources exactes d'eXplor-v2 sont décrites dans la section consacrée aux ressources de calcul.
Le centre peut proposer notamment :
- des nœuds CPU généralistes ;
- des nœuds CPU adaptés aux calculs parallèles ;
- des nœuds équipés de GPU ;
- des nœuds de visualisation ;
- des espaces de stockage associés aux utilisateurs et aux projets.
Consultez les pages suivantes pour connaître les caractéristiques détaillées :
- Vue d'ensemble des ressources
- Architecture du centre
- Caractéristiques matérielles
- Ressources CPU
- Ressources GPU
- Partitions
- Choisir ses ressources
Pendant la phase de mise en production, les partitions, les ressources et les politiques d'accès peuvent évoluer. Consultez régulièrement la documentation avant de lancer une campagne de calcul importante.
Environnements logiciels
Les logiciels et bibliothèques sont accessibles grâce au système de modules. Un module prépare l'environnement nécessaire à l'utilisation d'une application ou d'une bibliothèque.
Commandes principales :
module avail
module spider <logiciel>
module load <logiciel>/<version>
module list
module show <logiciel>/<version>
module purge
Exemple :
module purge
module load freefem/4.14
module list
Les logiciels peuvent inclure :
- compilateurs ;
- bibliothèques MPI ;
- bibliothèques numériques ;
- environnements Python ;
- applications scientifiques ;
- outils d'intelligence artificielle ;
- bibliothèques et outils GPU ;
- environnements Apptainer.
Pour aller plus loin :
Espaces de stockage
Les espaces de stockage ont des objectifs et des limites différents.
| Espace | Usage principal | Règle importante |
|---|---|---|
$HOME | Configuration, scripts et petits fichiers | 30 Go par utilisateur, avec sauvegarde |
| Espace projet | Données partagées et résultats importants | Quota en To, extensible jusqu'à 10 To sur demande justifiée |
$SCRATCH | Fichiers temporaires et calculs intensifs | Pas de quota individuel, rétention de trois mois et nettoyage automatique |
Ne conservez pas l'unique copie d'une donnée importante dans $SCRATCH. Les fichiers anciens peuvent être supprimés automatiquement pour libérer de la place.
Pour plus d'informations :
Services interactifs
Selon la configuration d'eXplor-v2, les utilisateurs peuvent accéder à des environnements interactifs par l'intermédiaire d'Open OnDemand, de TurboVNC ou d'autres services.
Ces services peuvent donner accès à :
- des terminaux web ;
- des sessions graphiques ;
- JupyterLab ;
- VS Code ;
- des applications de visualisation ;
- des environnements spécifiques à certains logiciels scientifiques.
Les sessions interactives utilisent elles aussi les ressources du cluster et doivent respecter les règles SLURM.
Pour plus d'informations :
Cycle de vie d'un calcul
Un calcul sur eXplor-v2 suit généralement les étapes suivantes :
- préparer les données et le script sur un nœud de connexion ;
- charger les modules nécessaires ;
- choisir les ressources adaptées ;
- demander une allocation interactive pour un premier test ;
- soumettre un job batch pour une exécution reproductible ;
- suivre l'état du job ;
- analyser les fichiers de sortie et les journaux ;
- transférer les résultats importants vers l'espace projet ;
- supprimer les fichiers temporaires inutiles.
Bonnes pratiques
- Utilisez SLURM pour les calculs importants.
- Demandez uniquement les ressources nécessaires.
- Testez votre programme sur un cas réduit avant une longue exécution.
- Notez les versions des logiciels utilisés.
- Conservez les scripts de soumission avec vos résultats.
- Utilisez
$SCRATCHpour les fichiers temporaires. - Placez les données importantes dans un espace projet.
- Ne stockez pas de données volumineuses dans
$HOME. - Vérifiez les limites et les règles de la partition choisie.
- Consultez la documentation avant d'utiliser un nouveau service.