Aller au contenu principal

Vue d’ensemble des ressources de calcul

eXplor-v2 est un mésocentre de calcul haute performance qui met à disposition des ressources CPU, GPU, mémoire, stockage et visualisation. Ces ressources sont partagées entre les projets et attribuées par le gestionnaire de jobs SLURM.

Les principaux types de ressources​

Les ressources de calcul comprennent notamment :

  • des nœuds de connexion pour préparer les travaux et soumettre les jobs ;
  • des nœuds de calcul CPU pour les programmes séquentiels ou parallèles ;
  • des nœuds équipés de GPU pour les applications compatibles avec l'accélération matérielle ;
  • des nœuds de visualisation pour les applications graphiques et la visualisation 3D ;
  • de la mémoire RAM associée à chaque nœud ;
  • du stockage partagé et du stockage local temporaire.

Pour une description détaillée du matériel, consultez Ressources de calcul.

Comment les ressources sont-elles attribuées ?​

SLURM gère l'accès aux nœuds et attribue les ressources demandées par les utilisateurs. Lorsque vous soumettez un job, vous indiquez notamment :

  • la partition ;
  • le nombre de tâches ;
  • le nombre de CPU par tâche ;
  • la mémoire ;
  • les GPU, si nécessaire ;
  • la durée maximale ;
  • le projet ou compte à débiter.

Les ressources ne sont pas attribuées automatiquement à la demande : le job peut rester en attente jusqu'à ce que les ressources soient disponibles et que les règles de priorité le permettent.

Deux modes d'exécution​

Jobs batch​

Les jobs batch sont adaptés aux traitements longs, reproductibles ou réalisés en grand nombre. Ils sont soumis avec sbatch et s'exécutent sans intervention continue de l'utilisateur.

sbatch mon-script.slurm

Consultez Calcul batch avec SLURM.

Jobs interactifs​

Les jobs interactifs permettent de tester un programme, de développer un workflow ou d'utiliser une application pendant une durée limitée.

srun \
  --ntasks=1 \
  --cpus-per-task=2 \
  --mem=4G \
  --time=00:15:00 \
  --pty bash

Vous pouvez également lancer des sessions interactives depuis Open OnDemand.

Choisir les ressources​

Commencez par identifier la nature du traitement :

  • calcul principalement séquentiel : quelques CPU et une mémoire adaptée ;
  • calcul parallèle : plusieurs CPU et un programme capable de les exploiter ;
  • apprentissage automatique ou calcul accéléré : GPU compatible et mémoire GPU suffisante ;
  • visualisation : nœud graphique et session TurboVNC ;
  • traitement long ou répété : job batch plutôt que session interactive.

Utilisez ensuite la page Choisir ses ressources et vérifiez les limites de la partition sélectionnée.

Stockage et calcul​

Les données doivent être placées dans l'espace correspondant à leur usage :

  • $HOME pour les fichiers personnels et les configurations ;
  • l'espace projet pour les données partagées et les résultats à conserver ;
  • $SCRATCH pour les fichiers temporaires et les résultats intermédiaires ;
  • le stockage local des nœuds pour les besoins temporaires d'un job, si ce stockage est disponible.

Consultez Stockage sur les nœuds de calcul et Espaces de stockage.

attention

N'exécutez pas de calcul lourd sur un nœud de connexion

Les nœuds de connexion servent à préparer les fichiers, compiler de petits programmes, consulter les données et soumettre les jobs. Utilisez SLURM pour obtenir une allocation sur un nœud de calcul.

Bonnes pratiques​

  • Demandez uniquement les ressources nécessaires.
  • Choisissez une durée réaliste, sans marge excessive.
  • Utilisez une session interactive courte pour tester un workflow.
  • Utilisez sbatch pour les traitements de production.
  • Vérifiez les ressources réellement utilisées et ajustez les demandes futures.
  • Évitez de conserver des données volumineuses dans $HOME.
  • Supprimez les fichiers temporaires devenus inutiles.
  • Documentez les ressources utilisées pour assurer la reproductibilité.

Pages associées​