Un nouvel espace disque est disponible sur la plateforme de calcul:
/workdir/votre_labo/votre_login
Cet espace disque est placé sur un «système de fichier distribué» [Wikipédia] . Notre choix s'est porté sur BeeGFS , (libre, licence GPL) . Il est installé sur 4 petits serveurs dédiés (DELL PowerEdge R440).
- il y a actuellement 30 To de disponible,
- il est par nature visible de tous les nœuds de calcul,
- son usage est, dans un premier temps [1], exclusivement réservé à du «scratch» (données temporaires pendant vos calculs)
Son principal intérêt est de très bien supporter la charge [2] des entrées/sorties. Que ceux qui «font» beaucoup d'I/O l'utilisent! (et nous fassent part de leur expérience ;-))
En résumé, pour les utilisateurs qui traitaient (ou produisaient) des Go à ...(?) de données:
AVANT:
- traitement depuis HOMEDIR : non (trop petit) et (NFS, lent[3])
- traitement depuis /nfs/data (ou data2): (NFS, lent)
- traitement depuis /scratch : oui, mais:
- local, donc inaccessible des autres nœuds,
- limité à ~ 1+ To (taille des disques locaux dédiés),
- scripts de lancement oar complexes, post-traitement aussi.
APRES:
- /workdir
Bien entendu, c'est également «prescrit» pour ceux qui n'ont pas de soucis de taille, mais réalisent de nombreux I/O.
[1] selon notre retour d'expérience (fiabilité/performance/maintenance), il n'est pas exclu qu'à plus ou moins long terme, nous l'utilisions pour les /HOMEDIR/
[2]: les premiers tests ont montré que les performances sont moyennes sur une utilisation «normale» ( par exemple une simple copie ). En revanche, en parallèle, tous les tests sont largement supérieurs: speedup de x2 à x4 par rapport à NFS, selon le paramétrage du test.
[3]: le NFS de calculco n'est pas si «lent» que ça(!): réseau 10 Go, doublé sur le frontal, et surtout, paramétrage complexe et optimal