Organisation des partitions

Depuis le 25 juillet 2022, une nouvelle organisation des partitions a intervenu dans EXPLOR. La nouvelle organisation est représentée ci-dessous:

Screenshot1

Attention

L’allocation générale dans la partition inclut désormais les nœuds de l’ancienne partition freeXXX. Si vous ne sélectionnez aucun nœud spécial, il est possible que votre JOB soit terminé en raison de la priorité des JOBS dans les nœuds MyXXX. Pour éviter cette situation, envisagez de sélectionner les nœuds appropriés en excluant les nœuds privés. Pour savoir comment procéder, veuillez vérifier les informations dans l’élément (4.3 et 5).

Tableau des associations

Partition	Hostname	# noeuds	# CPU /noeud	Mémoire CPU (Mb)	Mémoire noeud (Gb)	FEATURE
debug	cna[01]	1	64	2000	118	BROADWELL,OPA,INTEL
std	cna[02...64]	55	32	3750	118	BROADWELL,OPA,INTEL
std	cnb[01...62]	35	32	3750	118	BROADWELL,OPA,INTEL
std	cnc[01...64]	59	32	5625	182	SKYLAKE,OPA,INTEL
std	cnd[01...12]	11	16	3750	54	IVY,IB,INTEL
std	cne[01...16]	16	8	15000	118	BROADWELL,INTEL,HF
std	cnf[01...08]	7	8	12000	86	SKYLAKE,OPA,INTEL,HF
std	cng[01...12]	9	40	4500	182	CASCADELAKE,OPA,INTEL
std	cnh[01...02]	2	8	94000	758	CASCADELAKE,OPA,INTEL,HF
std	cni[01...16]	16	40	9000	354	CASCADELAKE,IB,INTEL
std	cni[16...32]	16	40	4500	182	CASCADELAKE,IB,INTEL
std	cnj[01...64]	64	48	5200	246	EPYC3,IB,AMD
std	cnk[01...08]	8	8	22500	182	CASCADELAKE,IB,INTEL,HF
std	cnl[01...04]	4	24	241	241	EPYC4,IB,AMD
std	cnl[05...18]	14	32	10000	500	EPYC4,IB,AMD
gpu	gpb[01...06]	6	32	3750	118	BROADWELL,OPA,P1000,INTEL
gpu	gpc[01...04]	4	32	2000	54	BROADWELL,OPA,GTX1080TI,INTEL
gpu	gpd[01...03]	3	24	3600	86	CASCADELAKE,OPA,T4,INTEL
gpu	gpe[01...02]	2	40	4500	182	CASCADELAKE,IB,RTX6000,INTEL
gpu	gpf[01]	1	32	3750	118	CASCADELAKE,L40,INTEL
myXXX	---	--	--	--	--	--

Tableau des associations myXXX

Partition	Hostname	# noeuds	#CPU	Mémoire (Gb)	Preemption
mysky	cnc[53-64]	12	32	182	Oui
myhf	cnf[01-07]	7	8	86	Oui
mycas	cng[01-02,04-05,07-12]	9	40	182	Oui
mylhf	cnh[01-02]	2	8	758	Oui
mylemta	cni[01-16]	16	40	354	Oui
mystdcas	cni[16-24,29-32]	8	40	182	Oui
mystdepyc	cnj[01-64]	64	48	246	Non
myhfcas	cnk[01-08]	8	8	182	Oui
mylpct	cnl[02-04]	3	24	241	Oui
mygeo	cnl[05-18]	14	32	500	Non
myt4	gpd[01-03]	3	24	86	Oui
myrtx6000	gpe[01-02]	2	40	182	Oui
mylpctgpu	gpf[01]	1	32	118	Oui

Note

Les hostname des noueds cnXX correspondent aux CPU et gpXX aux GPU.

Les instructions de soumission

(1) Toutes les soumissions doivent contenir toujours

#SBATCH --account=MY_GROUP

ou

#SBATCH -A MY_GROUP

(1.1) Information spéciale – Soumission MyXXX avec une association de projet différente

Pour utiliser une association de projet différente pour ceux qui ont de nombreux projets, veuillez supprimer de votre script l’option #SBATCH -A/--account et ajouter à l’extérieur avec la ligne de commande.

%sbatch --account MY_GROUP my_subm_scrit.slurm

ou

%sbatch -A MY_GROUP my_subm_scrit.slurm

MY_GROUP: devrait être votre identifiant de projet, vous pouvez le vérifier dans l’invite de votre terminal

[<utilisateur>@vm-<MY_GROUP> ~]

(2) En général, les cas où vous n’êtes pas obligé d’avoir une machine spéciale

Attention

L’allocation générale dans la partition inclut désormais les nœuds de l’ancienne partition freeXXX. Si vous ne sélectionnez aucun nœud spécial, il est possible que votre JOB soit terminé en raison de la priorité des JOBS dans les nœuds MyXXX. Pour éviter cette situation, envisagez de sélectionner les nœuds appropriés en excluant les nœuds privés. Pour savoir comment procéder, veuillez vérifier les informations dans l’élément (4).

Important

Les partitions privés MyXXX non preemptables sont: mystdepyc (cnj[01-64]) et mygeo(cnl[05-18]).

(2.1) tout type des machines dans std

#SBATCH --account=MY_GROUP

#SBATCH --partition=std

#SBATCH --job-name=Test

#SBATCH --nodes=1

#SBATCH --ntasks=4

ou

#SBATCH -A MY_GROUP

#SBATCH -p std

#SBATCH -J Test

#SBATCH -N 1

#SBATCH -n 4

(2.2) tout type des machines dans gpu

#SBATCH --account=MY_GROUP

#SBATCH --partition=gpu

#SBATCH --job-name=Test

#SBATCH --nodes=1

#SBATCH --ntasks=1

#SBATCH --gres=gpu:2

ou

#SBATCH -A MY_GROUP

#SBATCH -p gpu

#SBATCH -J Test

#SBATCH -N 1

#SBATCH -n 1

#SBATCH --gres=gpu:2

(3) Matériel Hébergé – continue comme avant

Les partitions mystdcasXXX seront désormais accessibles par une seule partition mystdcas

(mystdcaslemta, mystdcasijl, mystdcascrm2) ==> mystdcas

#SBATCH --account=MY_GROUP

#SBATCH --partition=mycas

#SBATCH --job-name=Test

#SBATCH --nodes=1

#SBATCH --ntasks=4

ou

#SBATCH -A MY_GROUP

#SBATCH -p mycas

#SBATCH -J Test

#SBATCH -N 1

#SBATCH -n 4

(4) Sélection précise des nœuds

La sélection des nœuds spécifiques se fait à travers les caractéristiques (FEATURES) présentées dans le tableau d’association ci-dessus. Voir les exemples ci-dessous:

#SBATCH --constraint=SOMETHING_FROM_FEATURES

(4.1) Sélection de nœuds de l’ancienne partition sky

#SBATCH --account=MY_GROUP

#SBATCH --partition=std

#SBATCH --constraint=SKYLAKE,OPA,INTEL

#SBATCH --job-name=Test

#SBATCH --nodes=1

#SBATCH --ntasks=4

ou

#SBATCH -A MY_GROUP

#SBATCH -p std

#SBATCH -C SKYLAKE,OPA,INTEL

#SBATCH -J Test

#SBATCH -N 1

#SBATCH -n 4

Screenshot3

(4.2) Sélection de nœuds de l’ancienne partition

#SBATCH --account=MY_GROUP

#SBATCH --partition=gpu

#SBATCH --constraint=BROADWELL,OPA,P100,INTEL

#SBATCH --job-name=Test

#SBATCH --nodes=1

#SBATCH --ntasks=1

#SBATCH --gres=gpu:2

ou

#SBATCH -A MY_GROUP

#SBATCH -p gpu

#SBATCH -C BROADWELL,OPA,P100,INTEL

#SBATCH -J Test

#SBATCH -N 1

#SBATCH -n 1

#SBATCH --gres=gpu:2

Screenshot4

(4.3) Suppression de tous les nœuds de l’ancien freeXXX/MyXXX machines et en sélectionnant tous les autres anciens nœuds (std, sky, ivy, hf)

#SBATCH --account=MY_GROUP

#SBATCH --partition=std

#SBATCH --constraint=NOPREEMPT

#SBATCH --job-name=Test

#SBATCH --nodes=1

#SBATCH --ntasks=4

ou

#SBATCH -A MY_GROUP

#SBATCH -p std

#SBATCH -C NOPREEMPT

#SBATCH -J Test

#SBATCH -N 1

#SBATCH -n 4

Screenshot5

(5) Restart/Requeue preempted JOBS

Ce n’est pas une fonctionnalité pour les JOBS qui se terminent par une erreur. Il s’agit d’une fonctionnalité pour les JOBS qui peut avoir été supprimée de l’exécution par la règle . Si vous souhaitez soumettre à toutes les machines de la partition STD, même si sur certaines machines votre JOB peut être supprimé pour donner la préférence à un autre avec une priorité plus élevée, il est possible d’utiliser la fonctionnalité de remise du JOB dans la file d’attente (--requeue)

#SBATCH --account=MY_GROUP

#SBATCH --partition=std

#SBATCH --requeue

#SBATCH --job-name=Test

#SBATCH --nodes=1

#SBATCH --ntasks=4