This is a bi-lingual blog of the members of the ADAMIS team at Laboratoire APC and invited guests. We comment on selected papers and events exploring, or relevant to, the interface between physics, cosmology, applied math, statistics, and numerical algorithms and which we have found interesting.

The opinions expressed in this blog reflect those of their authors and neither that of the ADAMIS group as a whole nor of Laboratoire APC.

Monday, July 4, 2011

IDRIS

Suite du tour d'horizon des centres de calcul utlisés par le groupe, avec l'IDRIS.

L'IDRIS (Institut du développement et des ressources en informatique scientifique) est une unité de service de l'INS2I (Institut des sciences informatiques et de leurs interactions), fondée en 1993, dont l'objectif est d'accélérer les découvertes scientifiques nécessitant de très gros moyens de calcul. Pour se faire, le centre propose à la fois un accès à des ressources importantes et un service d'aide au passage à l'échelle et à l'optimisation des codes de simulation numérique. Les ressources sont utilisées par près de 420 projets scientifiques pour un total de 1000 utilisateurs environ.


Dans les machines de calcul de l'IDRIS on compte:
- Vargas: composé de 112 nœuds power6 (270° au top500 juin 2011)
- Babel : composé de 10 'cabinets' IBM Blue Gene/P (69° au top500 juin 2011)

Et qu'est-ce qu'un cabinet ? Très simple, il s'agit d'un rack de 32 node cards contenant chacun 32 nœuds de calcul de 4 cœurs! Soit un total de 10.240 nœuds de calcul, 40.960 cœurs, une puissance crête de 139 Tflop/s et 20 To de mémoire vive.


Plus étonnant encore, la machine utilise 3 réseaux différents pour les communications inter nœuds :
- Le tore 3D connecte chaque nœud de calcul à ses 6 voisins (2 directions fois 3 dimensions), bon pour les communications point-à-point, ou collectives non-optimisées.
- Réseau collectif : réseau en arbre (one-to-all), bons pour les communications collectives telles que les réductions, broadcasts,...
- Global interrupt, pour les synchronisations.

En ce qui concerne Vargas, le réseau est InfiniBand, un total de 3.584 cœurs, 17.5 To de mémoire et 67.3 Tflops de performance crête totale.

Les deux machines disposent d'un volume partagé de 700To sous GPFS, avec un débit max de 8Go/s. Depuis Babel, les I/Os sont gérées par des nœuds dédiés (un nœud pour 64 nœuds de calcul) avec un débit max de 400Mo/s par nœud.

Après cette alléchante description, les modalités d'utilisation: les demandes d'allocation de ressources sont centralisées pour les 3 grands centres de calcul nationaux (IDRIS, CINES, CCRT), par GENCI, via la plateforme DARI (Demande d'Attribution de Ressources Informatiques). Une campagne par an, des sessions de rattrapage, des formulaires, des notes de cadrage, des comités d'évaluation, ..., des
dates limites de soumission et des résultats d'attribution ! Que du bonheur !!

Enfin passé la joie de se voir attribuer de si beaux moyens de calcul, il faudra encore remplir quelques formulaires de sécurité, courir après les signatures des grands chefs, essayer de retenir par cœur son login qui est une combinaison de lettres et de chiffres qui a peu de chance de ressembler à votre nom de famille, et bien sûr
(mais c'est partout pareil) avoir quelques mots de passe sous la main pour l'année à venir (durée de validité de 10 semaines) !

No comments:

Post a Comment