Organisation des partitions
Depuis le 25 juillet 2022, une nouvelle organisation des partitions a intervenu dans EXPLOR. La nouvelle organisation est représentée ci-dessous:
L’allocation générale dans la partition std inclut désormais les nœuds de l’ancienne partition freeXXX. Si vous ne sélectionnez aucun nœud spécial, il est possible que votre JOB soit terminé en raison de la priorité des JOBS dans les nœuds MyXXX. Pour éviter cette situation, envisagez de sélectionner les nœuds appropriés en excluant les nœuds privés. Pour savoir comment procéder, veuillez vérifier les informations dans l’élément (4.3 et 5).
Tableau des associations
| Partition | Hostname | # noeuds | # CPU /noeud | Mémoire CPU (Mb) | Mémoire noeud (Gb) | FEATURE |
|---|---|---|---|---|---|---|
| debug | cna[01] | 1 | 64 | 2000 | 118 | BROADWELL,OPA,INTEL |
| std | cna[02...64] | 53 | 32 | 3750 | 118 | BROADWELL,OPA,INTEL |
| std | cnb[01...62] | 30 | 32 | 3750 | 118 | BROADWELL,OPA,INTEL |
| std | cnc[01...64] | 51 | 32 | 5625 | 182 | SKYLAKE,OPA,INTEL |
| std | cnd[01...12] | 11 | 16 | 3750 | 54 | IVY,IB,INTEL |
| std | cne[01...16] | 16 | 8 | 15000 | 118 | BROADWELL,INTEL,HF |
| std | cnf[01...08] | 5 | 8 | 12000 | 86 | SKYLAKE,OPA,INTEL,HF |
| std | cng[01...12] | 8 | 40 | 4500 | 182 | CASCADELAKE,OPA,INTEL |
| std | cnh[01...02] | 2 | 8 | 94000 | 758 | CASCADELAKE,OPA,INTEL,HF |
| std | cni[01...16] | 16 | 40 | 9000 | 354 | CASCADELAKE,IB,INTEL |
| std | cni[16...32] | 16 | 40 | 4500 | 182 | CASCADELAKE,IB,INTEL |
| std | cnj[01...64] | 64 | 48 | 5200 | 246 | EPYC3,IB,AMD |
| std | cnk[01...08] | 8 | 8 | 22500 | 182 | CASCADELAKE,IB,INTEL,HF |
| std | cnl[01...04] | 4 | 24 | 241 | 241 | EPYC4,IB,AMD |
| std | cnl[05...18] | 14 | 32 | 10000 | 500 | EPYC4,IB,AMD |
| gpu | gpb[01...06] | 6 | 32 | 3750 | 118 | BROADWELL,OPA,P1000,INTEL |
| gpu | gpc[01...04] | 4 | 32 | 2000 | 54 | BROADWELL,OPA,GTX1080TI,INTEL |
| gpu | gpd[01...03] | 3 | 24 | 3600 | 86 | CASCADELAKE,OPA,T4,INTEL |
| gpu | gpe[01...02] | 2 | 40 | 4500 | 182 | CASCADELAKE,IB,RTX6000,INTEL |
| gpu | gpf[01] | 1 | 32 | 3750 | 118 | CASCADELAKE,L40,INTEL |
| myXXX | --- | -- | -- | -- | -- | -- |
Tableau des associations myXXX
| Partition | Hostname | # noeuds | #CPU | Mémoire (Gb) | Preemption |
|---|---|---|---|---|---|
| mysky | cnc[53,55-57,59-63] | 9 | 32 | 182 | Oui |
| myhf | cnf[02-06] | 5 | 8 | 86 | Oui |
| mycas | cng[01-02,04-05,07,09,11-12] | 8 | 40 | 182 | Oui |
| mylhf | cnh[01-02] | 2 | 8 | 758 | Oui |
| mylemta | cni[01-16] | 16 | 40 | 354 | Oui |
| mystdcas | cni[16-24,29-32] | 8 | 40 | 182 | Oui |
| mystdepyc | cnj[01-64] | 64 | 48 | 246 | Non |
| myhfcas | cnk[01-08] | 8 | 8 | 182 | Oui |
| mylpct | cnl[02-04] | 3 | 24 | 241 | Oui |
| mygeo | cnl[05-18] | 14 | 32 | 500 | Non |
| myt4 | gpd[01-03] | 3 | 24 | 86 | Oui |
| myrtx6000 | gpe[01-02] | 2 | 40 | 182 | Oui |
| mylpctgpu | gpf[01] | 1 | 32 | 118 | Oui |
Les hostname des noueds cnXX correspondent aux CPU et gpXX aux GPU.
Les instructions de soumission
(1) Toutes les soumissions doivent contenir toujours
#SBATCH --account=MY_GROUP
ou
#SBATCH -A MY_GROUP
(1.1) Information spéciale – Soumission MyXXX avec une association de projet différente
Pour utiliser une association de projet différente pour ceux qui ont de nombreux projets, veuillez supprimer de votre script l’option #SBATCH -A/--account et ajouter à l’extérieur avec la ligne de commande.
sbatch --account MY_GROUP my_subm_scrit.slurm
ou
sbatch -A MY_GROUP my_subm_scrit.slurm
MY_GROUP: devrait être votre identifiant de projet, vous pouvez le vérifier dans l’invite de votre terminal
[<utilisateur>@vm-<MY_GROUP> ~]
(2) En général, les cas où vous n’êtes pas obligé d’avoir une machine spéciale
L’allocation générale dans la partition std inclut désormais les nœuds de l’ancienne partition freeXXX. Si vous ne sélectionnez aucun nœud spécial, il est possible que votre JOB soit terminé en raison de la priorité des JOBS dans les nœuds MyXXX. Pour éviter cette situation, envisagez de sélectionner les nœuds appropriés en excluant les nœuds privés. Pour savoir comment procéder, veuillez vérifier les informations dans l’élément (4).
Les partitions privés MyXXX non preemptables sont: mystdepyc (cnj[01-64]) et mygeo(cnl[05-18]).
(2.1) tout type des machines dans std
#SBATCH --account=MY_GROUP
#SBATCH --partition=std
#SBATCH --job-name=Test
#SBATCH --nodes=1
#SBATCH --ntasks=4
ou
#SBATCH -A MY_GROUP
#SBATCH -p std
#SBATCH -J Test
#SBATCH -N 1
#SBATCH -n 4
(2.2) tout type des machines dans gpu
#SBATCH --account=MY_GROUP
#SBATCH --partition=gpu
#SBATCH --job-name=Test
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --gres=gpu:2
ou
#SBATCH -A MY_GROUP
#SBATCH -p gpu
#SBATCH -J Test
#SBATCH -N 1
#SBATCH -n 1
#SBATCH --gres=gpu:2
(3) Matériel Hébergé – continue comme avant
Les partitions mystdcasXXX seront désormais accessibles par une seule partition mystdcas
(mystdcaslemta, mystdcasijl, mystdcascrm2) ==> mystdcas
#SBATCH --account=MY_GROUP
#SBATCH --partition=mycas
#SBATCH --job-name=Test
#SBATCH --nodes=1
#SBATCH --ntasks=4
ou
#SBATCH -A MY_GROUP
#SBATCH -p mycas
#SBATCH -J Test
#SBATCH -N 1
#SBATCH -n 4
(4) Sélection précise des nœuds
La sélection des nœuds spécifiques se fait à travers les caractéristiques (FEATURES) présentées dans le tableau d’association ci-dessus. Voir les exemples ci-dessous:
#SBATCH --constraint=SOMETHING_FROM_FEATURES
(4.1) Sélection de nœuds de l’ancienne partition sky
#SBATCH --account=MY_GROUP
#SBATCH --partition=std
#SBATCH --constraint=SKYLAKE,OPA,INTEL
#SBATCH --job-name=Test
#SBATCH --nodes=1
#SBATCH --ntasks=4
ou
#SBATCH -A MY_GROUP
#SBATCH -p std
#SBATCH -C SKYLAKE,OPA,INTEL
#SBATCH -J Test
#SBATCH -N 1
#SBATCH -n 4
(4.2) Sélection de nœuds de l’ancienne partition p100
#SBATCH --account=MY_GROUP
#SBATCH --partition=gpu
#SBATCH --constraint=BROADWELL,OPA,P100,INTEL
#SBATCH --job-name=Test
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --gres=gpu:2
ou
#SBATCH -A MY_GROUP
#SBATCH -p gpu
#SBATCH -C BROADWELL,OPA,P100,INTEL
#SBATCH -J Test
#SBATCH -N 1
#SBATCH -n 1
#SBATCH --gres=gpu:2
(4.3) Suppression de tous les nœuds de l’ancien freeXXX/MyXXX machines et en sélectionnant tous les autres anciens nœuds (std, sky, ivy, hf)
#SBATCH --account=MY_GROUP
#SBATCH --partition=std
#SBATCH --constraint=NOPREEMPT
#SBATCH --job-name=Test
#SBATCH --nodes=1
#SBATCH --ntasks=4
ou
#SBATCH -A MY_GROUP
#SBATCH -p std
#SBATCH -C NOPREEMPT
#SBATCH -J Test
#SBATCH -N 1
#SBATCH -n 4
(5) Restart/Requeue preempted JOBS
Ce n’est pas une fonctionnalité pour les JOBS qui se terminent par une erreur. Il s’agit d’une fonctionnalité pour les JOBS qui peut avoir été supprimée de l’exécution par la règle preemption. Si vous souhaitez soumettre à toutes les machines de la partition STD, même si sur certaines machines votre JOB peut être supprimé pour donner la préférence à un autre avec une priorité plus élevée, il est possible d’utiliser la fonctionnalité de remise du JOB dans la file d’attente (--requeue)
#SBATCH --account=MY_GROUP
#SBATCH --partition=std
#SBATCH --requeue
#SBATCH --job-name=Test
#SBATCH --nodes=1
#SBATCH --ntasks=4