Optimisation d’un calcul en le distribuant sur plusieurs noeuds de la GMPCS

jeudi 6 février 2014

STAGE (3 mois)

L’objectif du stage est de mesurer l’accélération des calculs sur la Grappe Massivement Parallèle de Calcul Scientifique (GMPCS, 320 coeurs CPU, 2104Go RAM). Mésocentre, la GMPCS est un centre de calcul de taille intermédiaire entre une station de travail d’un laboratoire et les centres de calculs à l’échelle nationale. La GMPCS est composée d’un noeud maître dédié à l’administration et de 31 noeuds de calculs. Un noeud de calcul est un ordinateur disposant jusqu’à 16 coeurs CPU et juqu’à 256 Go de RAM. La puissance de calcul crête de la GMPCS est de 5,53 TFLOPS. Voir le site web : http://www.gmpcs.lumat.u-psud.fr/

Certains calculs (jobs) nécessitent plus d’unités de calculs (coeurs) que celles disponibles sur un seul noeud. Et parfois, l’environnement multi-utilisateur ne permet pas d’attribuer à un job la totalité des coeurs disponibles sur un noeud si celui-ci est déjà utilisé en partie par un autre calcul. Pour optimiser l’utilisation de la GMPCS, il est donc nécesaire d’utiliser plusieurs noeuds simultanément.

Le stagiaire comparera le temps de calcul d’un job s’effectuant sur un seul noeud avec celui s’exécutant sur plusieurs noeuds. La différence de temps de calcul est donc liée d’une part à la vitesse de communication entre les noeuds et d’autre part aux algorithmes utilisés. Pour mesurer des temps de calcul, nous utiliserons deux algorithme de complexité différente : l’algorithme de la Transformée de Fourier Rapide (FFT, complexité N.log(N))) et l’algorithme de diagonalisation de matrices (matrices de plus de 100 millions d’éléments, diagonalisées en utilisant l’algorithme QR avec shift implicite, complexité N2). Les routines optimisées des bibliothèques fournies par INTEL et AMD (MKL et ACML) seront utilisées pour obtenir la meilleure performance des processeurs.

CONNAISSANCES

- Linux,

- C, FORTRAN

LIEU DU STAGE

Bâtiment 210

Université Paris-Sud

91405 Orsay Cedex

CONTACTS

Philippe Dos Santos et Georges Raseev


RTRA

Annonces

Stage : "Conteneurs dans un environnement HPC"

Rapport de stage de Jiaming HU :

PDF - 1.7 Mo
(mai - août 2017)

Stage : "Machines virtuelles et haute disponibilité"

Rapport de stage de Mahdi HAMMOUCHE :

PDF - 1.2 Mo
(juin - septembre 2016)

Stage : "Grappe de calcul HPC à éléments délocalisés"

Rapport de stage de Brahim BIKI :

PDF - 1.4 Mo
(mai-août 2015)

Stage : "Optimisation des ressources d’un cluster pour le calcul scientifique"

Rapport de stage de Damien Delhay :

PDF - 1.4 Mo
(mai-juillet 2014)

Stage : "Diagonalisation des matrices réelles sur GPU"

Rapport de stage de Kun SONG :

PDF - 803.4 ko
(mai - août 2013)

Stage : "Optimisation du transfert de données entre un CPU et un GPU"

Rapport de stage de Jean YAOKELI :

PDF - 915.4 ko
(mai - août 2012)