Ressources de calcul
Description des ressources de calcul disponibles
Matériel EXPLOR
| Partition | Node-id | Matériel | CPU | GPU | # de nœud | # de cœurs / nœud | # de cœurs total | Mémoire dispo / nœud | Mémoire par défaut / cœur | Réseau | TFlopsTotal | Node-id |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| std | cna[02...64], cnb[01..64] | DELL C6320 | Intel Xeon E5-2683v42.1 GHz, AVX2 | n/a | 84 | 32 | 2688 | 120GB | 3.75GB | Omnipath100GB/s | 32.2 | cna[02...64], cnb[01..64] |
| std | cnc[01-11,13-48] | DELL C6420 | Intel Xeon Gold 61302.1 GHz, AVX512 | n/a | 42 | 32 | 1344 | 180GB | 5.625GB | Omnipath100GB/s | 16.6 | cnc[01-11,13-48] |
| std | cnd[01-04,06-12] | DELL C6220 | Intel Xeon E5-2640v22.0 GHz, AVX | n/a | 11 | 16 | 192 | 60GB | 3.75GB | Infiniband40GB/s | 0.8 | cnd[01-04,06-12] |
| std | cne[01-16] | DELL R630 | Intel Xeon E5-2637v43.5 GHz, AVX2 | n/a | 16 | 8 | 128 | 120GB | 15.0GB | Ethernet10GB/s | 0.4 | cne[01-16] |
| std | cni[25-28] | Dell C6420 | Intel Xeon Gold 62302.1 GHz, AVX512 | n/a | 4 | 40 | 160 | 180GB | 4.5GB | Infiniband100GB/s | 3.0 | cni[25-28] |
| std | cnl[01] | Dell R6615 | AMD EPYC 92542.9 GHz, AVX2 | n/a | 1 | 24 | 24 | 240GB | 10.0GB | Infiniband100GB/s | 0.6 | cnl[01] |
| gpu | gpb[01-06] | DELL C4130 | Intel Xeon E5-2683v42.1 GHz, AVX | NVIDIA TeslaP100 | 64xGPU/nœud | 32 | 192 | 120GB | 3.75GB | Omnipath100GB/s | 65.1 | gpb[01-04,06] |
| gpu | gpc[01-04] | DELL T630 | Intel Xeon E5-2683v42.1 GHz, AVX | GEFORCE GTX1080 Ti | 42xGPU/nœud | 32 | 128 | 64GB | 2.0GB | Omnipath100GB/s | 46.6 | gpc[01-04] |
Matériel Hébergé
Le mésocentre a également vocation a héberger du matériel. Contactez-nous explor-contact@univ-lorraine.fr pour toute demande d'informations complémentaires concernant l'hébergement de matériel.
| Partition | Node-id | Matériel | CPU | GPU | # de nœud | # de cœurs/ nœud | # de cœurstotal | Mémoiredispo / nœud | Mémoire pardéfaut / cœur | Réseau | TFlopsTotal | Partition |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| mysky | cnc[53-64] | DELL C6420 | Intel Xeon Gold 61302.1 Ghz, AVX512 | n/a | 9 | 32 | 288 | 180GB | 5.6GB | Omnipath100GB/s | 4.2 | mysky |
| myhf | cnf[02-06] | DELL C6420 | Intel Xeon Gold 51223.6 Ghz, AVX512 | n/a | 5 | 8 | 40 | 96GB | 12.0GB | Omnipath100GB/s | 0.2 | myhf |
| mycas | cng[01-05,07-09,11-12] | DELL C6820 | Intel Xeon Gold 62302.1 GHz, AVX512 | n/a | 8 | 40 | 320 | 180GB | 4.50GB | Omnipath100GB/s | 6.7 | mycas |
| mylhf | cnh[01-02] | DELL R640 | Intel Xeon Gold 52223.8 Ghz, AVX512 | n/a | 2 | 8 | 16 | 758GB | 94.8GB | Omnipath100GB/s | 0.1 | mylhf |
| mylemta | cni[01-16] | Dell C6420 | Intel Xeon Gold 62302.1 GHz, AVX512 | n/a | 16 | 40 | 640 | 180GB | 4.50GB | Infiniband100GB/s | 12.1 | mylemta |
| mystdcas | cni[17-24,29-32] | Dell C6420 | Intel Xeon Gold 62302.10GHz, AVX512 | n/a | 12 | 40 | 480 | 180GB | 4.50GB | Infiniband100GB/s | 9.1 | mystdcas |
| mystdepyc | cnj[01-64] | DELL 6425 | AMD EPYC 74132.65 GHz, AVX2 | n/a | 64 | 48 | 3072 | 246GB | 5.1GB | Infiniband100GB/s | 123.5 | mystdepyc |
| myhfcas | cnk[01-08] | Dell R640 | Intel Xeon Gold 52223.8 Ghz, AVX512 | n/a | 8 | 8 | 64 | 180GB | 22.5GB | Infiniband100GB/s | 0.2 | myhfcas |
| mylpct | cnl[02-04] | Dell R6615 | AMD EPYC 92542.9 GHz, AVX512 | n/a | 3 | 24 | 72 | 240GB | 10.0GB | Infiniband100GB/s | 1.9 | mylpct |
| mygeo | cnl[05-18] | Dell R6615 | AMD EPYC 9354P3.2 GHz, AVX512 | n/a | 14 | 32 | 448 | 512GB | 16.0GB | Infiniband100GB/s | 11.4 | mygeo |
| myt4 | gpd[01-03] | DELL R740 | Intel Xeon Gold 6126CPU @ 2.6 GHz, AVX512 | TESLA T4 | 33xGPU/nœud | 24 | 96 | 86GB | 3.6GB | Infiniband100GB/s | 25.0 | myt4 |
| myrtx6000 | gpe[01-02] | Dell R740 | Intel Xeon Gold 62302.1 GHz, AVX512 | RTX6000 | 22xGPU/nœud | 40 | 80 | 182GB | 4.55GB | Infiniband100GB/s | 31.0 | myrtx6000 |
| mylpctgpu | gpf[01] | Dell R760xa | Intel Xeon Gold 52182.3 GHz, AVX512 | L40 | 14xGPU/nœud | 32 | 32 | 120GB | 3.75GB | 90.9 | mylpctgpu |
Detail des noeuds GPU
| Node | Partition | CPU | GPU | Memory/node (GB) | Memory/carte-GPU (GB) | Cuda Ver. |
|---|---|---|---|---|---|---|
| gpb01 | gpu | 32 | 4 | 118 | 16.0 | 12.2 |
| gpb02 | gpu | 32 | 4 | 118 | 16.0 | 12.2 |
| gpb03 | gpu | 32 | 4 | 118 | 16.0 | 12.2 |
| gpb04 | gpu | 32 | 4 | 118 | 16.0 | 12.2 |
| gpb05 | gpu | 32 | 4 | 118 | 16.0 | 12.2 |
| gpb06 | gpu | 32 | 4 | 118 | 16.0 | 12.2 |
| gpc01 | gpu | 32 | 2 | 54 | 11.0 | 12.2 |
| gpc02 | gpu | 32 | 2 | 54 | 11.0 | 12.2 |
| gpc03 | gpu | 32 | 2 | 54 | 11.0 | 10.1 |
| gpc04 | gpu | 32 | 2 | 54 | 11.0 | 10.1 |
| gpd01 | gpu | 24 | 3 | 86 | 15.0 | 12.2 |
| gpd02 | gpu | 24 | 3 | 86 | 15.0 | 12.2 |
| gpd03 | gpu | 24 | 3 | 86 | 15.0 | 12.2 |
| gpe01 | gpu | 40 | 2 | 182 | 22.5 | 12.2 |
| gpe02 | gpu | 40 | 2 | 182 | 22.5 | 12.2 |
| gpf01 | gpu | 32 | 4 | 118 | 44.9 | 12.4 |
Puissance de calcul globale
Puissance totale : 480 TFlops
| # Nombre de noeuds | # Nombre de Coeurs | Puissance CPU (TFlops) | Puissance GPU (TFlops) |
|---|---|---|---|
| 315 | 10496 | 220 | 260 |
Processeurs Intel Skylake (6ème génération) :
Les nœuds "skylake" cnc[01-64] et cnf[02-06] comprend 56 nœuds connectés en réseau 100GB à basse-latence, chaque nœud disposant de deux processeurs de type Skylake Intel Xeon Gold 6130 Processor (chacun comprenant 16 cœurs cadencés à 2.10Ghz, soit 32 cœurs par nœuds) et 192 Go de RAM. Elle est adaptée aux applications massivement parallèles.
La seule véritable différence entre les processeurs Skylake (6ème génération) et Broadwell (5ème génération) est que les premiers possèdent des instructions de calcul plus efficaces. Donc ils sont capables de générer plus d'opérations par secondes (flops) que les Broadwell a une seule condition de recompiler les programmes avec les bonnes options pour permettre d'utiliser ces nouveaux registres (AVX512).
Processeurs Intel Broadwell (5ème génération) :
Les nœuds "standard" cn(a/b)[01-64] comprend 83 nœuds connectés en réseau 100GB à basse-latence, chaque nœud disposant de deux processeurs de type Broadwell Intel Xeon E5-2683 v4 (chacun comprenant 16 cœurs cadencés à 2.10Ghz, soit 32 cœurs par nœuds) et 128 Go de RAM. Elle est adaptée aux applications massivement parallèles.
Les nœuds "haute frecuence"cne[01-16] comprend 16 nœuds connectés en réseau 10GB ethernet, chaque nœud disposant de deux processeurs Intel Xeon E5-2637 v4 chacun comprenant 4 cœurs cadencés à 3.5Ghz et 128 Go de RAM. Elle est adaptée aux applications sérielles ou faiblement parallélisées.
Les nœuds gpu gpb[01-06] comprend 6 nœuds connectés en reseau 100GB à basse-latence , chaque nœud diposant de deux processeurs de type Broadwell Intel Xeon E5-2683 v4 (chacun comprenant 16 cœurs cadencés à 2.10Ghz, soit 32 cœurs par nœuds), 128 Go de RAM et de 4 cartes NVIDIA Tesla P100.
Les nœuds gpu "GTX" gpc[01-04] comprend 4 nœuds connectés en reseau 100Gb à basse-latence , chaque nœud diposant de deux processeurs de type Broadwell Intel Xeon E5-2683 v4 -v4-40M-Cache-2_10-GHz) (chacun comprenant 16 cœurs cadencés à 2.10Ghz, soit 32 cœurs par nœuds), 128 Go de RAM et de 2 cartes GEFORCE GTX 1080 Ti 77/geforce-gtx-1080-ti)
Processeurs Intel de Ivy Bridge (3ème génération) :
Les nœuds cnd[01-12] comprend 11 nœuds connectés en réseau Infiniband 40Gb à basse-latence, chaque nœud disposant de deux processeurs Intel Xeon E5-2640v2 2.0 GHz chacun comprenant 8 cœurs cadencés à 2.0 Ghz et 64 Go de RAM. Elle est adaptée aux applications parallèles.
L’allocation générale dans la partition std inclut désormais les nœuds des partitions exclusives (myXXX). Si vous ne sélectionnez aucun nœud spécial, il est possible que votre JOB soit terminé en raison de la priorité des JOBS dans les nœuds MyXXX. Pour éviter cette situation, envisagez de sélectionner les nœuds appropriés en excluant les nœuds privés. Pour savoir comment procéder, veuillez vérifier les informations dans l’élément 4.3 et 5.
Limitations en durée et en ressources d'un job
Les limitations suivantes en terme de ressources et de durées sont appliquées au mésocentre pour chaque job soumis :
| # Max de Nœuds / job | Durée Maximale /job (jours) |
|---|---|
| 1 | 16 |
| 2 | 16 |
| 4 | 8 |
| 8 | 4 |
| 16 | 4 |
| 32 | 2 |
Le nombre maximum de jobs actifs est déterminé par le nombre total de CPUs alloués, qui est limité à 2048 par utilisateur. Les jobs soumis au-delà de cette limite seront placés dans une liste d'attente et seront pris en compte une fois que les jobs précédents auront été terminés.
La soumission du job sera refusée si la durée maximale n'est pas spécifiée ou si les ressources demandées dépassent les limitations ci-dessus.