Détails

Équipements

La plate-forme est actuellement constituée de 21 lames et 2 baies de stockage.

Le cluster dispose de 2066 coeurs répartis sur 30 noeuds de calcul, 14,9To de RAM et environ 800To d'espace de stockage. La puissance crête de calcul totale cumulée est de 356 TFlops (virgule flottante double précision, dont).

Voici une schéma d'ensemble de la plate-forme avec les évolutions prévues et la participation des laboratoires.

Le tableau synthétique résume les descriptifs donnés ci-après.

Ressources de calcul

Les ressources de calcul proviennent de 30 nœuds powerEdge Dell et HPE 
 

1 nœuds HPE DL384 (2U) composés de :

  • 2 Nvidia Superchip GH200 Grace Hopper (architecture ARM64) 
  • Chaque SuperChip est un couple CPU-GPU (480 Go RAM/ CPU et 144Go / GPU) 
  • 3,2 To d'espace disque NVMe pour les E/S en local
  • Performance (GPUs): 68 TFlops

 

 

1 nœuds HPE DL380a (2U) composés de :

  • 2 processeurs Intel Xeon Gold 6444Y- 45M cache - 3,6GHz (max: 4.0 GHz)- 16 cœurs
  • 768 gigaoctets de mémoire vive
  • 4 cartes GPU  Nvidia H100 (modèles PCIe 96Go RAM)
  • 2.9 To d'espace disque NVMe pour les E/S en local
  • Performance (GPUs): 104 TFlops 

 

 

1 nœuds Dell XE8545 (4U) composés de :

  • 2 processeurs AMD-EPYC "Milan" - 256M cache - 2,3GHz (max: 3,5 GHz)- 48 cœurs
  • 512 gigaoctets de mémoire vive
  • 4 cartes GPU  Nvidia (A100 40GB)
  • 1.6 To d'espace disque SSD pour les E/S en local
  • Performance (GPUs): 40 TFlops

 

2 nœuds HPE DL385 (2U) composés de :

  • 2 processeurs AMD-EPYC "Milan" - 256M cache - 2,3GHz (max: 3,5 GHz)- 48 cœurs
  • 512 gigaoctets de mémoire vive
  • 2 cartes GPU  Nvidia (A100 40GB)
  • 1.6 To d'espace disque SSD pour les E/S en local
  • Performance (GPUs): 20 TFlops

 

1 Dell C6400-S (2U) composés de 4 noeuds dotés de:

  • 2 processeurs Intel Xeon Gold 6336Y - 36M cache - 2,4GHz (max: 3,6 GHz)- 24 cœurs
  • 512 gigaoctets de mémoire vive
  • 1.6 To d'espace disque SSD pour les E/S en local
  • Performance : 4.66 TFlops / noeud

 

5 nœuds HPE DL360 (1U) composés de :

  • 2 processeurs Intel Xeon Gold 6348 - 42M cache - 2,6GHz (max: 3,5 GHz)- 24 cœurs
  • 512 gigaoctets de mémoire vive
  • 1.6 To d'espace disque SSD pour les E/S en local
  • Performance : 4.66 TFlops / noeud

 

1 nœuds HPE DL365 (1U) composés de :

  • 2 processeurs AMD-EPYC "Genoa" - 256M cache - 4,1GHz (max: 4,4 GHz)- 16 cœurs
  • 768 gigaoctets de mémoire vive
  • 1.6 To d'espace disque SSD pour les E/S en local
  • Performance : 2.10 TFlops / noeud

PowerEdge R640

 

5 nœuds HPE DL365 (1U) composés de :

  • 2 processeurs AMD-EPYC "Milan" - 256M cache - 2,3GHz (max: 3,5 GHz)- 48 cœurs
  • 512 gigaoctets de mémoire vive
  • 1.6 To d'espace disque SSD pour les E/S en local
  • Performance : 4.66 TFlops / noeud

PowerEdge R640

 

1 nœuds HPE DL365 «BigMEM» (1U) composés de :

  • 2 processeurs AMD-EPYC "Milan" - 256M cache - 2,3GHz (max: 3,5 GHz)- 48 cœurs
  • 2048 gigaoctets de mémoire vive
  • 1.6 To d'espace disque SSD pour les E/S en local
  • Performance : 4.66 TFlops / noeud

PowerEdge R640

2 nœuds powerEdge R640 (1U) composés de :

  • 2 processeurs Intel Xeon Gold 6258R - 25M cache - 3GHz - 24 cœurs
  • 192 gigaoctets de mémoire vive
  • 1.1 To d'espace disque SSD pour les E/S en local
  • Performance : 4.61 TFlops / noeud

PowerEdge R640

 

2 nœuds powerEdge R6525 (1U) composés de :

  • 2 processeurs AMD EPYC 7702 (Rome)  256M cache - 2.0GHz - 64 cœurs
  • 256 et 512 gigaoctets de mémoire vive
  • 900 Go d'espace disque SSD pour les E/S en local
  • Performance : 4.09 TFlops / noeud

PowerEdge R640

 

1 nœuds powerEdge R940 (3U) composé de :

  • 4 processeurs Intel Xeon Gold 6254 - 25M cache - 3.1GHz - 18 cœurs
  • 512 gigaoctets de mémoire vive
  • 900 Go d'espace disque SSD pour les E/S en local
  • Performance : 7.14 TFlops

PowerEdge R940

1 nœud powerEdge R640 (1U) composés de :

  • 2 processeurs Intel Xeon Gold 6254 - 25M cache - 3.10GHz - 18 cœurs
  • 384 gigaoctets de mémoire vive
  • 900 Go d'espace disque SSD pour les E/S en local
  • Performance : 3.57 TFlops

PowerEdge R640

 

2 nœuds powerEdge R640 (1U) composés de :

  • 2 processeurs Intel Xeon Gold 6142 - 22M cache - 2.60GHz - 16 cœurs
  • 128 gigaoctets de mémoire vive
  • 1.8 To d'espace disque pour les E/S en local
  • Performance : 2.66 TFlops / noeud

PowerEdge R640

 

1 nœud powerEdge R740 (2U) composé de :

  • 2 processeurs Intel Xeon Gold 6154 - 24.75M cache - 3GHz - 18 cœurs
  • 128 gigaoctets de mémoire vive
  • 1,8 To d'espace disque SSD pour les E/S en local
  • Performance : 3.46 TFlops

PowerEdge R740

3 nœuds powerEdge R630 (1U) composés de :

  • 2 processeurs Intel Xeon E5-2690 v4 - 35M cache - 2.60GHz - 14 cœurs
  • 128 gigaoctets de mémoire vive
  • 2 To d'espace disque pour les E/S en local
  • Performance : 1.16 TFlops / noeud

 PowerEdge R630

 

Stockages

 Une baie de stockage Dell ME4080 et son tiroir d'extension (800 To en tout), Direct Attached Storage (DAS), directement connectées sur le serveur de fichier.

Deux espaces de stockage Direct Attached Storage (DAS) : baie MD1400 et MD1420 Dell, directement connectées sur le frontal.

La première (MD1400) est équipée de 12 disques capacitifs SAS (7200 Rpm) de 8To et héberge :

  • une sauvegarde incrémentale des data "protected"
  • une sauvegarde des comptes utilisateurs (/nfs/home 8To)

 

La seconde (MD1420), contient 24 disques SAS (10K Rpm) de 1,8To et héberge :

  • des données et machines virtuelles  (/nfs/data2 36To)

Un espace de stockage distribué ( BeeGFS, 30 To), dont l'usage est le Scratch ( répertoire temporaire pendant les calculs). Il est composé de 4 serveurs PowerEdge R440 :

  • un pour le serveur BeeGFS & serveur metadata  (équipé de disques rapides SSD)
  • trois pour le stockage proprement dit (disques classiques, associés en RAID6).

 

Administration

Ressources dédiées à l'administration et aux services

Une première lame (1U) sert :

  • de serveur d'administration pour la gestion des nœuds de la plate-forme.
  • de frontal pour la connexion.
  • d'hébergement des comptes utilisateurs et de l'espace de données.
  • à compiler et lancer les jobs.

C'est un powerEdge R630 doté de :

  • 2 processeurs Intel Xeon E5-2623 - 3.00GHz - 4 cœurs
  • 32 gigaoctets de mémoire vive.
  • 5 To (avec quota) pour les comptes utilisateurs.
  • 58 To (sans quota) pour stocker des données. Cet espace est hébergé sur la baie MD1400.
  • 36 To (sans quota) supplémentaires pour les données. Stockage sur la baie MD1420.

 

 Une seconde lame (1U) héberge :

  • ce site web.
  • un serveur ldap.
  • un espace de Backup pour l'administration.
  • différents services de visualisation et de monitoring.

Il s'agit d'un powerEdge R420 doté de :

  • 2 processeurs Intel Xeon E5-2407 - 2.40GHz - 4 coeurs
  • 32 gigaoctets de mémoire vive
  • 2 To d'espace de sauvegarde

 

La troisième lame (1U) sert d'hyperviseur KVM pour divers services virtualisés hors infrastructure ULCO. Elle héberge pour le moment :

  • Le serveur de jetons (Matlab).
  • Le service Seafile (dropbox like) dédié aux Laboratoires de Recherche.

Il s'agit d'un powerEdge R640 doté de :

  • 2 processeurs Intel Xeon Silver 4116 - 2.10GHz - 12 coeurs
  • 64 gigaoctets de mémoire vive
  • 22 To d'espace disque

Réseau 

Réseau rapide "low-cost" :

Les noeuds de calcul et le noeud de login sont interconnectés sur un réseau 10 Gigabit Ethernet.

 


 

  Mutualisation