NERSC

Dans la continuité des précédents posts sur le calcul, je vous propose un petit tour d'horizon des différents centres, dont nous entendons parler régulièrement, ou dont nous nous servons (nous, Adamis).
L'idée est de synthétiser l'essentiel, le "bon à savoir", mais aussi de s'intéresser aux originalités propres à chaque centre. Ceci afin d'alimenter notre réflexion sur ce que nous pouvons mettre en place, à notre échelle, sur le cluster Adamis, ou future machine de calcul du FACe. Les commentaires sont donc les bienvenus !


Comme le titre l'indique, je vais commencer cette série avec le NERSC (National Energy Research Scientific Computing Center). Crée en 1974, il est aujourd'hui hébergé au Lawrence Berkeley National Laboratory (Californie). Il accueille les projets scientifiques du DOE, et en ce
qui nous concerne, les analyses de données CMB. On trouve des articles commentant l'histoire commune du NERSC et du CMB ici, et là (avec de jolies photos)

Deux machines du NERSC occupent le top100 (novembre 2010): Hooper en 5ème position (Cray XE6, 6000 noeuds de 24 coeurs chacun, avec une moyenne de 1GB3 de mémoire par coeur), et Franklin en 26ème position (Cray XT4, 9500 noeuds de 4 coeurs, 2GB de mémoire par coeur).

Le NERSC utilise deux systèmes de fichiers: NGF pour le calcul, et HPSS pour le stockage. NGF dérive du système de fichiers GPFS d'IBM. Il est utilisé pour:

• $HOME (partagés à plusieurs machines), limités à 40GB par utilisateur performant pour des petites tailles de fichiers, et dédiés à la compilation, pas de backup
• /project, 1 TB par utilisateur. Bande passante de 1 GB/sec. Chaque sous répertoire est associé à un responsable de projet. Pas de backup.
  

Le système de stockage HPSS offre un taux moyen de 100 MB/s (pic à 450 MB/s), et double de capacité tous les ans. Le système est coupé en deux parties : une dédié à l'archivage, et une pour le backup.

Deux noeuds sont dédiés au transfert de données, avec deux interfaces fibres (4 GB/s), et deux interfaces 10GB Ethernet, automatiquement accessibles pour tous les utilisateurs du NERSC. Ils peuvent être utilisés en interactif via ssh ou pour des transferts à distance via GridFTP.

Le réseau est géré par une entité dédiée, nommée EsNET, qui sert une quarantaine de laboratoires du DOE, et les relie aux autres réseaux. Le NERSC bénéfie d'une connection 10GB à EsNET, et d'une expertise en matière de transfert de larges volumes de données. En particulier, un outil de diagnostique en ligne est offert, pour détecter les éventuels problèmes de réseau ou de configuration de votre machine et calculer les meilleurs paramètres à utiliser pour le transfert !

En ce qui concerne les logiciels et l'environnement utilisateur, ils sont gérés par 'module'. Les commandes 'load' et 'unload' permettent de mettre à jour les variables d'environnement correspondant aux logiciels souhaités, d'une manière transparente pour l'utilisateur.

Je termine avec un point complètement d'actualité, puisque se déroule en ce moment les élections NUGEX, ie élections du groupe utilisateur, qui participe et discute des ressources et services (présents et futurs) offerts par le NERSC à ses utilisateurs.