Introduction au calcul parallèle avec labibliothèque MPI

(Message Passing Interface)

Stephanie Delage Santacreu

To cite this version:

Stephanie Delage Santacreu. Introduction au calcul parallèle avec labibliothèque MPI (Message Pass-
ing Interface). Engineering school. 2008, pp.46. �cel-00395829�

HAL Id: cel-00395829

[Link]
Submitted on 16 Jun 2009

HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est

archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
 Introduction au calcul parallèle avec la
bibliothèque MPI (Message Passing Interface)
Stéphanie DELAGE SANTACREU,

Pôle Calcul Scientifique de l’UPPA (http : //[Link] − pau.f r),

CRI rue Jules Ferry, PAU.

Novembre 2008

1
Table des matières
1 Introduction 3

2 Environnement MPI 4
2.1 description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 Du programme source à l’exécution : . . . . . . . . . . . . . . 5

3 Communications 8
3.1 Communications point à point . . . . . . . . . . . . . . . . . . 8
3.2 Communications collectives . . . . . . . . . . . . . . . . . . . 11
3.2.1 Diffusion générale : MPI_BCAST() . . . . . . . . . 11
3.2.2 Diffusion sélective de données réparties : MPI_SCATTER 12
3.2.3 Collecte de données réparties : MPI_GATHER() . . 12
3.2.4 Collecte générale : MPI_ALLGATHER() . . . . . . 13
3.2.5 Synchronisation globale : MPI_BARRIER . . . . . 14
3.3 Opérations de réduction et communications collectives . . . . 14

4 Optimisation d’un programme parallèle 16

4.1 Modes d’envoi des messages avec MP I . . . . . . . . . . . . . 17
4.2 Communications bloquantes et non-bloquantes . . . . . . . . . 18
4.2.1 Communications bloquantes . . . . . . . . . . . . . . . 18
4.2.2 Communications non-bloquantes . . . . . . . . . . . . . 18
4.3 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

5 Types de données dérivés 21

5.1 Types de données dérivés homogènes . . . . . . . . . . . . . . 21
5.1.1 Données contigües . . . . . . . . . . . . . . . . . . . . 21
5.1.2 Données non contigües avec un pas constant . . . . . . 22
5.1.3 Données non contigües avec un pas variable . . . . . . 23
5.2 Types dérivés hétérogènes . . . . . . . . . . . . . . . . . . . . 24
5.3 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.3.1 Exemples sur des types de données dérivés homogènes . 25
5.3.2 Exemples sur des types dérivés hétérogènes . . . . . . . 28

6 Topologies 31
6.1 Topologies de type cartésien . . . . . . . . . . . . . . . . . . . 31
6.1.1 Création d’une topologie cartésienne . . . . . . . . . . 31
6.1.2 Quelques fonctions utiles . . . . . . . . . . . . . . . . . 32
6.1.3 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . 34
6.2 Topologies de type graphe . . . . . . . . . . . . . . . . . . . . 35
6.2.1 Création d’une topologie de type graphe . . . . . . . . 35

1
 6.2.2 Quelques fonctions utiles . . . . . . . . . . . . . . . . . 36
6.2.3 Exemple de l’Idris : propagation d’un feu de forêt . . . 37

7 Communicateurs 39
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
7.2 Communicateur issu d’un autre . . . . . . . . . . . . . . . . . 39
7.3 Subdivision de topologie . . . . . . . . . . . . . . . . . . . . . 40
7.4 Intra et intercommunicateur . . . . . . . . . . . . . . . . . . . 42

8 Conclusion 45

2
1 Introduction
Ce cours est issu de la formation faite par l’IDRIS (http : //[Link].f r).

Un code de calcul ou programme peut être écrit suivant deux modèles de

programmation : séquentiel ou parallèle.
Dans le modèle séquentiel, un programme est exécuté par un unique proces-
sus. Ce processus tourne sur un processeur d’une machine et a accès à la
mémoire du processeur.
Il arrive que pour certains codes de calcul, la mémoire d’un seul processeur
ne suffise plus (manipulation de gros tableaux) et/ou le temps de calcul soit
trop important...

Pour palier à ces problèmes, on peut avoir recours à différentes méthodes

comme le raffinement de maillage adaptatif, le grid-meshing ou la program-
mation parallèle.
On s’intéresse ici plus particulièrement à la programmation parallèle. Celle-ci
permet de répartir les charges de calcul sur plusieurs processus. Il existe deux
types de programmation parallèle : le MP I (Message Passing Interface) et
le openMP (Multithreading). On se limitera au MP I.
Dans un modèle de programmation parallèle par échange de messages (MP I),
le programme est dupliqué sur plusieurs processus. Chaque processus exécute
un exemplaire du programme et a accès à sa mémoire propre. De ce fait, les
variables du programme deviennent des variables locales au niveau de chaque
processus. De plus un processus ne peut pas accéder à la mémoire des pro-
cessus voisins. Il peut toutefois envoyer des informations à d’autres processus
à condition que ces derniers (processus récepteurs) soient au courant qu’ils
devaient recevoir ces informations du processus émetteur.
La communication entre processus se fait uniquement par passage de mes-
sages entre processus (c’est à dire : envoi et reception de messages). Tech-
niquement, cette communication se fait via des fonctions de la bibliothèque
MP I appelées dans le programme. L’environnement MP I permet de gérer
et interpréter ces messages.

3
2 Environnement MPI
2.1 description
Pour utiliser la bibliothèque MP I, le programme source doit impérativement
contenir :
1. l’appel au module MP I : include mpif.h en fortran77, use MPI en
fortran90, include mpi.h en C/C + +.
2. l’initialisation de l’environnement via l’appel à la subroutine
MPI_INIT(code). Cette fonction retourne une valeur dans la vari-
able code. Si l’initialisation s’est bien passée, la valeur de code est égale
à celle dans MPI_SUCCESS.
3. la désactivation de l’environnement via l’appel à la subroutine
MPI_FINALIZE (code). L’oublie de cette subroutine provoque une
erreur.

Une fois l’environnement MP I initialisé, on dispose d’un ensemble de

processus actifs et d’un espace de communication au sein duquel on va
pouvoir effectuer des opérations MP I. Ce couple (processus actifs,espace
de communication) est appelé communicateur.
Le communicateur par défaut est MPI_COMM_WORLD et comprend
tous les processus actifs. Il est initialisé lors de l’appel à la fonction
MPI_INIT() et désactivé par l’appel à la fonction MPI_FINALIZE().
On peut connaître le nombre de processus actifs gérés par un
communicateur avec la fonction MPI_COMM_SIZE(comm, nb_procs,
code) ainsi que le rang (ou numéro) d’un processus avec la fonction
MPI_COMM_RANK(comm, rang, code).

. comm (< in >) est en entier désignant le communicateur,

. nb_procs (< out >) est en entier donnant le nombre de processus,
. rang (< out >) est un entier indiquant le rang du processus. Il est
important dans le sens où il sert lui d’identifificateur dans un commu-
nicateur.
. code (< out >) est un entier retournant un code d’erreur.

Remarque : Il faut toujours essayer de développer un code parallèle pour

un nombre quelconque de processus.

4
2.2 Du programme source à l’exécution :
Trois étapes sont nécessaires : l’écriture du programme, sa compilation
puis son exécution.
1. L’écriture : La figure 1 montre un exemple de programme (exercice
Idris) en f ortran90.
2. La compilation du programme peut se faire par l’intermédiaire d’un
Makefile (figure 2). Les options de compilations dépendent du com-
pilateur. La figure montre un exemple de Makefile pour compiler le
programme pairimpair.f 90 (figure 1) avec le compilateur du construc-
teur IBM (XL)

3. L’exécution du programme en interactif sur 4 processus se fait via la

commande :
mpiexec -n 4 /users/uppa/delage/test/pairimpair.
Réponse du programme :
processus de rang pair : 0
processus de rang impair : 1
processus de rang pair : 2
processus de rang impair : 3

5
Fig. 1: Programme (en Fortran90) processus pair et impair.

6
Fig. 2: Exemple de Makefile pour le programme pairimpair.f 90.

7
3 Communications
3.1 Communications point à point
La communication point à point est une communication entre deux
processus. L’un d’eux envoie un message (c’est l’émetteur), l’autre le
reçoit (c’est le récepteur).
Ce message doit contenir un certain nombre d’informations pour assurer
une bonne réception et interprétation par le récepteur, à savoir :
. le rang du processus émetteur (rang_proc_source),
. le rang du processus récepteur (rang_proc_dest),
. l’étiquette du message (tag_emis pour message émis, tag_recu pour
message reçu),
. le nom du communicateur (comm),
. le type des données échangées (type_emis pour message émis, type_recu
pour message reçu), voir tableau 1 pour le fortran et tableau 2 pour le C,
. le nom données échangées (val_emis pour message émis, val_recu pour
message reçu).
. la taille des données échangées (taille_emis pour message émis,
taille_recu pour message reçu) (scalaire, vecteur, matrice, ...).
Plusieurs modes de transfert sont possibles pour échanger des messages. On
décrit ici des fonctions MP I de communication en mode bloquant, qui
laisse la main une fois que le message est bien reçu. C’est le mode à utiliser
quand on commence à paralléliser un code. On peut ensuite passer à un
autre mode de tranfert pour optimiser le temps de communication (détail
plus tard).
1. MPI_SEND(val_emis, taille_emis, type_emis, rang_proc_dest,
tag_emis, comm, code) pour l’envoi du message suivi de
MPI_RECV(val_recu, taille_recu, type_recu, rang_proc_dest,
tag_recu, comm, statut, code) pour la réception. Quand un message
est envoyé, il faut être sûr qu’il a été bien reçu.
. val_emis (< in >) : élément envoyé,
. taille_emis (< in >) : entier indiquant la taille de l’élément
envoyé (scalaire, vecteur, ...),
. type_emis (< in >) : type de l’élément envoyé,
. rang_proc_dest (< in >) : entier indiquant le rang du processus
qui reçoit le message,
. tag_emis (< in >) : entier désignant l’étiquette du message,
. comm (< in >) : entier désignant le communicateur
(MP I_COMM_W ORLD par défaut),
. code (< out >) : entier donnant un code d’erreur,

8
 . val_recu (< in >) : élément reçu,
. taille_recu (< in >) : entier indiquant la taille de l’élément reçu
(scalaire, vecteur, ...). Il doit correspondre à celui indiqué dans
taille_emis.
. type_recu (< in >) : type de l’élément reçu. Il doit aussi
correspondre à celui indiqué dans type_emis.
. tag_recu (< in >) :entier désignant l’étiquette du message,
. statut (< out >) : tableau d’entiers de taille
MP I_ST AT US_SIZE contenant de nombreuses informations
sur le message.
2. MPI_SENDRECV(val_emis, taille_emis, type_emis,
rang_proc_dest, tag_emis, val_recu, taille_recu, type_recu,
rang_proc_source, tag_recu, comm, statut, code) pour l’envoi et la
reception de messages. Attention, si on utilise la même variable pour
l’envoi et la réception (val_emis = val_recu), il y a écrasement.
rang_proc_source (< in >) est un entier indiquant le rang du
processus qui a émis le message
3. MPI_SENDRECV_REPLACE(val_emis_recu,
taille_emis_recu, type_emis_recu, rang_proc_dest, tag_emis,
rang_proc_source, tag_recu, comm, statut, code) pour l’envoi et la
reception de messages en utilisant le même variable val_emis_recu
pour l’envoi et la réception. Cette fois-ci il n’y a pas d’écrasement.
La figure 3 propose un exemple de programme en F ortran90 d’échange de
messages entre deux processus (exercice de l’Idris) :

type MPI type Fortran

MP I_INT EGER INTEGER
MP I_INT EGER8 INTEGER, kind=8
MP I_REAL REAL
MP I_DOUBLE_P RECISION DOUBLE
MP I_COMP LEX COMPLEX
MP I_LOGICAL LOGICAL
MP I_CHARACT ER CHARACTER
MP I_P ACKED Types hétérogènes

Tab. 1: Principaux type de données pour le fortran

Remarques :
– On peut utiliser des ”jokers” pour le rang du processus
(rang_proc_dest = MP I_ANY _SOURCE, ie on reçoit de n’importe

9
Fig. 3: Programme (en Fortran90) d’échange de messages entre deux pro-
cessus.

qui) et l’étiquette (tag_recu = MP I_ANY _T AG) lors de la réception

d’un message.
– On peut communiquer avec un processus fictif de rang
MPI_PROC_NULL. C’est très utile lors d’une action générique et
qu’un des processus n’existe pas. Par exemple, si on décide d’envoyer un
message à son processus voisin droit, au niveau des bords d’un domaine
de calcul, il n’y a plus de processus droit, d’où l’utilité d’envoyer le
message à un processus fictif. Si on envoie un message à un processus qui
n’existe pas, cela provoque une erreur.

10
 type MPI type C
MP I_INT signed int
MP I_UNSIGNED_INT unsigned int
MP I_F LOAT float
MP I_DOUBLE double
MP I_CHAR signed char
MP I_UNSIGNED_CHAR unsigned char
MP I_P ACKED Types hétérogènes

Tab. 2: Principaux type de données pour le C

3.2 Communications collectives

Elles permettent de communiquer en un seul appel avec tous les processus
d’un communicateur. Ce sont des fonctions bloquantes, c’est à dire que le
système ne rend la main à un processus qu’une fois qu’il a terminé la tache
collective.
Pour ce type de communication, les étiquettes sont automatiquement gérées
par le système.
On détaille quelques fonctions de communication collective.

3.2.1 Diffusion générale : MPI_BCAST()

Cette fonction permet à un processus de diffuser (BCAST pour broadcast)
un message à tous les processus du communicateur indiqué, y compris à
lui-même (figure 4). MPI_BCAST(val_emis, taille_emis, type_emis,
rang_proc_source, comm, code).

Proc0 Proc0 A
Proc1 A MPI_BCAST() Proc1 A
Proc2 Proc2 A
Proc3 Proc3 A

Fig. 4: Fonction MP I_BCAST (). Le processus P roc1 diffuse la donnée A

(stockée dans sa mémoire) à tous les processus P roc0 à P roc3

11
3.2.2 Diffusion sélective de données réparties : MPI_SCATTER
Cette fonction permet à un processus de diffuser des données aux processus
du communicateur indiqué de façon sélective. En fait le processus émetteur
dispose de données qu’il répartit. Chaque processus ( émetteur même
compris) reçoit un paquet de données différent (figures 5 et 7).
MPI_SCATTER(val_emis, taille_emis, type_emis, val_recu,
taille_recu, type_recu,rang_proc_source, comm, code).

Proc0 Proc0 A0
Proc1 A0 A1 A2 A3 MPI_SCATTER() Proc1 A1
Proc2 Proc2 A2
Proc3 Proc3 A3

Fig. 5: Fonction MP I_SCAT T ER(). Le processus P roc1 diffuse ses don-

nées A0,..., A3 (stockées dans sa mémoire) à tous les processus P roc0 à P roc3
de façon répartie.

3.2.3 Collecte de données réparties : MPI_GATHER()

Cette fonction permet au processus récepteur de collecter les données
provenant de tous les processus (lui-même compris). Attention, le résultat
n’est connu que par le processus récepteur (figure 6).
MPI_GATHER(val_emis, taille_emis, type_emis, val_recu,
taille_recu, type_recu, comm, code).

Proc0 A0 Proc0
Proc1 A1 MPI_GATHER() Proc1 A0 A1 A2 A3
Proc2 A2 Proc2
Proc3 A3 Proc3

Fig. 6: Fonction MP I_GAT HER(). Le processus P roc1 collecte les données

A0,..., A3 provenant des processus P roc0 à P roc3.

12
Fig. 7: Exemple de programme utilisant la fonction MP I_SCAT T ER().

3.2.4 Collecte générale : MPI_ALLGATHER()

Cette fonction effectue la même chose que la fonction MP I_GAT HER,
excepté que le résultat de la collecte est connue de tous les processus du
communicateur (figure 8). Ce serait l’équivalent d’un MP I_GAT HER
suivi d’un MP I_BCAST . MPI_ALLGATHER(val_emis,
taille_emis, type_emis, val_recu, taille_recu,
type_recu,rang_proc_dest, comm, code).

13
 Proc0 A0 Proc0 A0 A1 A2 A3
Proc1 A1 MPI_ALLGATHER() Proc1 A0 A1 A2 A3
Proc2 A2 Proc2 A0 A1 A2 A3
Proc3 A3 Proc3 A0 A1 A2 A3

Fig. 8: Fonction MP I_ALLGAT HER(). Le processus P roc1 collecte les

données A0,..., A3 provenant des processus P roc0 à P roc3 et le diffuse à
tous les processus.

3.2.5 Synchronisation globale : MPI_BARRIER

Cette fonction bloque les processus à l’endroit où elle est appelée dans le
programme. Les processus restent en attente au niveau de cette barrière
(BARRIER) jusqu’à ce qu’ils y soient tous parvenus. Ensuite, ils sont
libérés. MPI_BARRIER(comm, code).

3.3 Opérations de réduction et communications collec-

tives
Une réduction consiste à appliquer une opération à un ensemble d’éléments
pour obtenir un scalaire. Cela peut être la somme des éléments d’un vecteur
ou la valeur maximale d’un vecteur (voir tableau 3).

Nom Opération
MP I_SUM somme des éléments
MP I_P ROD produit des éléments
MP I_MAX Recherche du maximum
MP I_MIN Recherche du minimum

Tab. 3: Quelques opérations de réduction prédéfinies

Certaines fonctions MP I permettent de faire des opérations de réductions

en plus des communications collectives. c’est le cas des fonctions :
. MPI_REDUCE() qui permet de faire des opérations de réduction sur
des données réparties. Le résultat de l’opération de réduction est récupéré
sur un seul processus. MPI_REDUCE(val_emis, val_recu,
taille_emis, type_emis, operation, rang_proc_dest, comm, code).

14
 Proc0 A0 Proc0
Proc1 A1 MPI_REDUCE() Proc1 A
Proc2 A2 Proc2
Proc3 A3 Proc3
A=A0+A1+A2+A3

Fig. 9: Fonction MP I_REDUCE(). Le processus P roc1 collecte les don-

nées A0,..., A3 provenant des processus P roc0 à P roc3 et fait une opération
de réduction.

. MPI_ALL_REDUCE() qui permet de faire les mêmes opérations de

réduction que MPI_REDUCE(). La différence est que le résultat de
l’opération de réduction est connu de tous les processus d’un même
communicateur. MPI_ALL_REDUCE(val_emis, val_recu,
taille_emis, type_emis, operation, comm, code).

Proc0 A0 Proc0 A
Proc1 A1 MPI_ALLREDUCE() Proc1 A
Proc2 A2 Proc2 A
Proc3 A3 Proc3 A
A=A0+A1+A2+A3

Fig. 10: Fonction MP I_ALLREDUCE(). Opération de réduction et diffu-

sion du résultat à l’ensemble des processus.

15
4 Optimisation d’un programme parallèle
L’optimisation d’un code séquentiel concerne la minimisation du temps de
calcul. Lorsqu’on parallélise un code, un autre temps s’ajoute au temps de
calcul, c’est le temps de communication entre les processus (temps total
= temps calcul + temps communication). L’optimisation d’un code
parallèle consiste donc à minimiser le temps de communication entre les
processus. Celui-ci peut être mesuré via la fonction MPI_WTIME().
Avant de se lancer dans l’optimisation d’un programme parallèle, il faut
d’abord comparer le temps de calcul et le temps de communication au
temps total de simulation. Si le temps de communication est prépondérant
devant le temps de calcul, alors on peut passer à la phase d’optimisation.
Cette étape consiste à réduire le temps de communication. Celui-ci contient
un temps de préparation du message et un temps de transfert. Le temps de
préparation contient un temps de latence pendant lequel les paramètres
réseaux sont initialisés. Le reste du temps de préparation des messages
(appelé aussi temps de surcoût) est lié à l’implémentation MP I et au mode
de transfert utilisé (voir figure 11 pour plus de détails).
Il existe plusieurs possibilités pour optimiser le temps de communication,
parmi elles :
– recouvrir les communications par des calculs.
– limiter les modes de transfert qui utilisent la recopie du message dans un
espace mémoire temporaire (buf f ering).
– limiter les appels répétitifs aux fonctions de communication MP I (qui
coûtent cher en temps).

TEMPS TOTAL DE SIMULATION

TEMPS DE CALCUL TEMPS DE COMMUNICATION

TEMPS DE PREPARATION TEMPS DE TRANSFERT

TEMPS DE LATENCE TEMPS DE SURCOUT

Fig. 11: Composition du total de simulation d’un programme parallèle.

16
4.1 Modes d’envoi des messages avec MP I
1. Standard : MP I choisit ou non de recopier le message à envoyer
dans une zone mémoire tampon du processus émetteur. S’il y a
recopie, l’action d’envoi se termine lorsque la recopie est terminée,
donc avant que la réception du message ait commencée. Ceci permet
de découpler l’envoi de la réception (asynchrone). S’il n’y a pas
recopie du message, l’envoi s’achève une fois que le processus
destinataire a bien reçu le message. L’envoi et la réception sont alors
couplés (synchrone) (figures 12 et 13). MP I bascule automatiquement
du mode asynchrone au mode synchrone suivant la taille des messages
à transférer. Pour les petits messages, il y a recopie dans une zone
tampon et pour les messages de grande taille, il n’y a pas de recopie.
2. Synchroneous (synchrone) : l’utilisateur impose un couplage entre
l’envoi et la réception. L’envoi peut commencer avant même que
l’opération de réception ait été initialisée. L’opération d’envoi
s’achève une fois que l’opération de réception a été postée (par le
processus récepteur) et le message bien reçu (figure 13).
3. Buffered : L’envoi du message s’achève une fois que la recopie du
message dans une zone tampon est terminée. L’envoi et la réception
sont découplés. Attention, l’utilisateur doit effectuer lui-même la
recopie. Ce type d’envoi est déconseillé.
4. Ready : L’envoi du message ne peut commencer que si la réception
correspondante a DÉJÀ été postée, Sinon il y a erreur. Ce type
d’envoi est intéressant pour les applications clients-serveurs.
SYSTEME SYSTEME

1. DEMANDE D’ENVOI 4. RECEPTION

POSTEE ET TERMINEE

2. MPI RECOPIE
3. RECOPIE FINIE
TRANSFERT
ENVOI FINI
REPREND LA MAIN

MEMOIRE MEMOIRE

PROCESSUS EMETTEUR PROCESSUS RECEPTEUR

Fig. 12: Envoi standard avec recopie.

17
 SYSTEME SYSTEME

TRANSFERT
1. DEMANDE D’ENVOI 2. RECEPTION
POSTEE ET TERMINEE

3. ENVOI FINI
REPREND LA MAIN

MEMOIRE MEMOIRE

PROCESSUS EMETTEUR PROCESSUS RECEPTEUR

Fig. 13: Envoi standard sans recopie ou envoi synchrone.

4.2 Communications bloquantes et non-bloquantes

4.2.1 Communications bloquantes
Lors de communications bloquantes, le processus qui effectue une action (de
communication) ne rend la main qu’une fois l’action terminée.
Envoi bloquant MPI_SEND() : Le processus émetteur termine son
action une fois que le message a été envoyé et reçu par le processus
récepteur.
Réception bloquante MPI_RECV() : Le processus récepteur ne rend
la main que lorsqu’il a bien reçu les données.

4.2.2 Communications non-bloquantes

Les communications non-bloquantes permettent d’optimiser le temps de
communication dans le sens où elles les recouvrent par des calculs. En effet,
le processus qui effectue une opération de communication rend la main
avant que l’opération ait été terminée.
. Envoi non-bloquant MPI_ISEND() : le processus émetteur initialise
l’opération d’envoi mais ne la réalise pas. L’appel à la fonction MP I sera
terminée avant que le message ne soit parti. Ainsi, son transfert à partir
de la mémoire du processeur émetteur peut être fait simultanément avec
des calculs après l’initialisation et avant l’envoi effectif. Attention,
l’utilisateur doit lui-même s’assurer que le message a bien été envoyé avec
des fonctions MP I adaptées (MPI_TEST() et MPI_WAIT()).
La fonction MPI_ISEND(val_emis, taille_emis, type_emis,
rang_proc_dest, tag_emis, comm, requete, code) possède un argument

18
 de plus que la fonction MP I_SEND(), requete. L’argument requete
(< out >) :
. identifie l’opération de communication,
. contient des informations sur l’opération de communication, à savoir le
mode d’envoi, la destination du message, ...
. fait correspondre l’opération d’initialisation de la communication et
celle de réalisation de la communication.
. Réception non-bloquante MPI_IRECV() : Le processus récepteur
initialise la réception mais ne la réalise pas. L’appel à la fonction MP I
sera terminée avant que le message ne soit reçu. Ainsi, la réception du
message par le processus récepteur peut être faite simultanément avec des
calculs après l’initialisation et avant la réception effective. Attention,
l’utilisateur doit lui-même s’assurer que le message a bien été reçu avec
des fonctions MP I adaptées (MPI_TEST() et MPI_WAIT()).
Pour s’assurer que l’opération de communication a bien été effectuée,
l’utilisateur peut utiliser deux fonctions MP I :
– MPI_TEST(requete, f lag, statut) : cette fonction permet de tester si
l’opération de communication, identifiée par requete (< in >), est
terminée. MP I_T EST retourne 2 arguments de sortie (< out >) f lag et
statut. Si l’opération de communication est terminée, alors f lag = .true..
Sinon f lag = .f alse..
– MPI_WAIT (requete, statut) : cette fonction oblige l’opération de
communication, identifiée par requete (< in >), à s’achever.

4.3 Synthèse

mode bloquant non-bloquant

envoi standard MP I_SEND() MP I_ISEND()
envoi synchrone MP I_SSEND() MP I_ISSEND()
réception MP I_RECV () MP I_IRECV ()

Tab. 4: Principaux modes de transfert

Arguments des différentes fonctions MP I du tableau 4 :

– MP I_SEND(val_emis, taille_emis, type_emis, rang_proc_dest,
tag_emis, comm, code)
– MP I_ISEND(val_emis, taille_emis, type_emis, rang_proc_dest,
tag_emis, requete, code)
– MP I_SSEND(val_emis, taille_emis, type_emis, rang_proc_dest,
tag_emis, requete, code)

19
– MP I_ISSEND(val_emis, taille_emis, type_emis, rang_proc_dest,
tag_emis, requete, code)
– MP I_RECV (val_recu, taille_recu, type_recu, rang_proc_dest,
tag_recu, comm, statut, code)
– MP I_IRECV (val_recu, taille_recu, type_recu, rang_proc_dest,
tag_recu, comm, requete, code)

20
5 Types de données dérivés
Dans les communications MP I, les données transférées sont typées. MP I
dispose de types prédéfinis comme MP I_INT EGER, MP I_REAL, ...
On peut créer des structures de données plus complexes, soit homogènes
(constitués de données de même type) soit hétérogènes (constitués de
données de types différents).
La création d’un type dérivé doit être suivi de sa validation via la
fonction MPI_TYPE_COMMIT(). Pour réutiliser le même type
dérivé, il faut d’abord le libérer avec la fonction MPI_TYPE_FREE().
Attention, il faut éviter de passer directement des sections de tableaux.
Mieux vaut passer par les types dérivés !

5.1 Types de données dérivés homogènes

5.1.1 Données contigües
On peut construire une structure de données homogènes à partir d’un
ensemble de données, de type prédéfini, contigües en mémoire, via la
fonction MPI_TYPE_CONTIGUOUS(nb_element, old_type,
new_type, code) :
. nb_element (< in >) est le nombre d’éléments de type prédéfini à
mettre dans le type dérivé,
. old_type (< in >) est le type des éléments qui constitue le nouveau
type dérivé,
. new_type (< out >) est le nom du nouveau type dérivé et code le
retour d’erreur,
. code (< out >) est le code d’erreur.

A11 A12 A13 A14

A21 A22 A23 A24

A31 A32 A33 A34

Fig. 14: création d’un type dérivé colonne à partir d’une matrice de réels
Ai,j , i ∈ [1, 3], j ∈ [1, 4]. nb_element = 3, old_type = MP I_REAL

21
Les données contigües peuvent représenter une colonne d’une matrice de
réels Ai,j , i ∈ [1, 3], j ∈ [1, 4], par exemple (partie colorée en jaune de la
figure 14).

5.1.2 Données non contigües avec un pas constant

On peut construire une structure de données homogènes à partir d’un
ensemble de données, de type prédéfini, distantes d’un pas constant en
mémoire.

Le pas peut être donné en nombre d’éléments : c’est le cas par exemple
pour passer une ligne d’une matrice de réels Ai,j , i ∈ [1, 3], j ∈ [1, 4],par
exemple (partie colorée en jaune de la figure 15). Dans ce cas, on utilise la
fonction MPI_TYPE_VECTOR(nb_blocs, longueur_bloc, pas,
old_type, new_type, code).

. nb_blocs (< in >) est le nombre de blocs,

. longueur_bloc (< in >) est le nombre d’éléments (de type old_type)
dans chaque bloc,
. pas (< in >) est le nombre d’éléments (de type old_type) entre chaque
début de bloc,
. old_type (< in >) est le type de l’élément à partir duquel on souhaite
créer un type dérivé,
. new_type (< out >) est le type dérivé.

Le pas peut être donné en nombre d’octets : c’est le cas lorsque le type
dérivé est construit à partir de types plus complexes que les types
prédéfinis. Dans ce cas, on utilise la fonction
MPI_TYPE_CREATE_HVECTOR(nb_blocs, longueur_bloc, pas,
old_type, new_type, code) :

. nb_blocs (< in >) est le nombre de blocs,

. longueur_bloc (< in >) est le nombre d’éléments (de type old_type)
dans chaque bloc,
. pas (< in >) est le nombre d’octets (de type old_type) entre chaque
début de bloc. Il doit être déclaré comme :
integer(kind=MPI_ADDRESS_KIND) : :pas.
. old_type (< in >) est le type de l’élément à partir duquel on souhaite
créer un type dérivé.
. new_type (< out >) est le type dérivé.

22
 pas

A11 A12 A13 A14

A21 A22 A23 A24

A31 A32 A33 A34

longueur_bloc

nb_blocs

Fig. 15: création d’un type dérivé ligne à partir d’une matrice de réels Ai,j ,
i ∈ [1, 3], j ∈ [1, 4]. nb_blocs = 4, longueur_bloc = 1, pas = 3, old_type =
MP I_REAL.

5.1.3 Données non contigües avec un pas variable

On peut construire une structure de données homogènes composée d’une
séquence de blocs contenant un nombre variable d’éléments de type
prédéfini et dont les blocs sont distants d’un pas variable en mémoire.

Old_type

1 2 3
New_type

0 2 6

nb_blocs=3 longueur_bloc=(1,2,3) deplacement=(0, 2, 6), en nombre d’elements

Fig. 16: Construction d’une structure de données avec

MP I_T Y P E_INDEXED.

Le pas peut être donné en nombre d’éléments : Dans ce cas on utilise la

fonction MPI_TYPE_INDEXED(nb_blocs, longueur_bloc,
deplacement, old_type, new_type, code).

23
 – nb_blocs (< in >) est le nombre de blocs,
– longueur_bloc (< in >) est un tableau de dimension nb_blocs con-
tenant le nombre d’éléments de type old_type par bloc,
– deplacement (< in >) est un tableau de dimension nb_blocs con-
tenant l’espacement entre chaque bloc. Cet espacement est donné en
multiple de old_type (voir figure 16).

Le pas peut être donné en nombre d’octets quand la structure est construite
à partir d’éléments de type plus complexes que ceux prédéfinis : Dans ce cas
on utilise la fonction : MPI_TYPE_CREATE_HINDEXED
(nb_blocs, longueur_bloc, deplacement, old_type,new_type,code).
– nb_blocs (< in >) est le nombre de blocs,
– longueur_bloc (< in >) est un tableau de dimension nb_blocs
contenant le nombre d’éléments de type old_type par bloc,
– deplacement (< in >) est un tableau de dimension nb_blocs contenant
l’espacement entre chaque bloc. Cet espacement est donné en octets (voir
figure 17) et doit être déclarée comme integer(kind =
MP I_ADDRESS_KIND), dimension(nb_blocs) :: pas.

Old_type = 1octet

1 2 3
New_type

0 3 10

nb_blocs=3 longueur_bloc=(1,2,3) deplacement=(0, 3, 10), en nombre d’octets

Fig. 17: Construction d’une structure de données avec

MP I_T Y P E_CREAT E_HINDEXED.

5.2 Types dérivés hétérogènes

C’est le constructeur le plus général. Il permet de créer des types de
données hétérogènes équivalent à des structures en C ou à des types dérivés
en F ortran90. Pour cela, il faut d’abord créer une structure constituée
d’éléments de types différents.

24
On utilise ensuite la fonction
MPI_TYPE_CREATE_STRUCT(nb_elements, longueur_bloc,
deplacement, tableau_types,new_type,code) (voir figure 18).
– nb_elements (< in >) est le nombre d’éléments de la structure, chaque
élément constitue un bloc.
– longueur_bloc (< in >) est un tableau de dimension nb_elements
contenant le nombre d’éléments de chaque bloc de la structure,
– deplacement (< in >) est un tableau de dimension nb_elements
contenant l’adresse de chaque début de bloc par rapport à celle du
premier bloc, en octets. Il doit être déclaré comme : integer(kind =
MP I_ADDRESS_KIND), dimension(nb_blocs) :: deplacement. On
détermine cette adresse via la fonction
MPI_GET_ADDRESS(element_struct,adress_element, code).
– tableau_types (< in >) est un tableau de dimension nb_elements
contenant le type de chaque bloc de la structure.
– new_type (< out >) est le nouveau type de données.

type1 type2 type3

Old_types = 1octet

2 1 2 3 1
New_type

0 3 7 13 16

nb_blocs=5 tab_types=(type1, type2, type3, type1, type3)

longueur_bloc=(2, 1, 2, 3, 1) deplacement=(0, 3, 7, 13, 16), en nombre d’octets

Fig. 18: Construction d’une structure de données hétérogène avec

MP I_T Y P E_CREAT E_ST RUCT .

5.3 Exemples
5.3.1 Exemples sur des types de données dérivés homogènes
Exemple1 : Construction d’un type sous matrice avec la fonction
MP I_T Y P E_V ECT OR() : On construit un type dérivé sous-matrice à
partir d’éléments d’une matrice de réels (voir programme figure 19).

25
Fig. 19: Construction de la transposée d’une matrice à l’aide de types
dérivés : programme en F ortran90.

26
Exemple2 : construction de la transposée d’une matrice à l’aide de type
dérivés (figures 20 et 21) (fonctions MP I_T Y P E_V ECT OR et
MP I_T Y P E_CREAT E_HV ECT OR) : on construit un type ligne à
partir d’éléments d’une matrice de réels, puis un type dérivé transpose
(correspondant à la transposée d’une matrice) à partir du type dérivé ligne.

Fig. 20: Construction de la transposée d’une matrice à l’aide de types

dérivés : programme.

Exemple3 : construction de matrices à partir de types dérivés homogènes

à pas variables (fonctions MP I_T Y P E_INDEXED()) (figure 23 et son
résultat sur la figure 22).

27
Fig. 21: Construction de la transposée d’une matrice à l’aide de types
dérivés : résultat.

Fig. 22: résultat du programme triangle.f 90 (figure du cours de l’Idris).

5.3.2 Exemples sur des types dérivés hétérogènes

La figure montre un exemple de programme en F ortran90 utilisant une
structure de données hétérogène :

28
Fig. 23: Programme montrant l’échange de sous matrices triangulaires entre
deux processus.

29
Fig. 24: Interaction de deux particules avec
MP I_T Y P E_CREAT E_ST RUCT .

30
6 Topologies
MP I permet de définir des topologies virtuelles de type cartésien ou
graphe. Ces topologies font correspondre le domaine de calcul à une grille
de processus et permettent donc de répartir les processus de manière
régulière sur le domaine de calcul. Ceci se révèle très utile pour les
problèmes de type décomposition de domaine.

6.1 Topologies de type cartésien

Dans cette topologie :
– chaque processus est défini dans une grille de processus,
– la grille peut être périodique ou non,
– les processus de cette topologie sont identifiés par leurs coordonnées
dans la grille.

6.1.1 Création d’une topologie cartésienne

Pour créer une topologie cartésienne contenant un ensemble de processus
qui appartienne à un communicateur donné (comm_ancien), on utilise la
fonction : MPI_CART_CREATE(comm_ancien, ndims, dims,
periods, reorganisation, comm_nouveau, code).
. comm_ancien (< in >) : entier indiquant le nom de l’ancien
communicateur (par défaut MP I_COMM_W ORLD),
. ndims (< in >) : entier indiquant la dimension d’espace (2 pour 2D),
. dims (< in >) : tableau d’entiers de dimension ndims indiquant le
nombre d’éléments suivant chaque direction,
. periods (< in >) : tableau de logicals de dimension ndims indiquant la
periodicité (true pour oui),
. reorganisation (< in >) : logical, reorganisation = true si
renumérotation des processus dans comm_nouveau (conseillé mais faire
très attention), reorganisation = f alse sinon. Si reorganisation = true,
MP I renumérote les processus suivant l’axe y puis x en 2D, suivant l’axe
z, y puis x en 3D.
. comm_nouveau (< out >) : nom du nouveau communicateur (de type
entier).
. code (< out >) : code de retour (de type entier).

Attention, cette communication est collective, elle concerne donc l’ensemble

des processus appartenant à comm_ancien.

31
6.1.2 Quelques fonctions utiles
. La fonction MPI_DIMS_CREATE(nb_procs, ndims, dims, code)
détermine le nombre de processus suivant chaque dimension de la grille
en fonction du nombre total de processus.
. nb_procs (< in >) est un entier indiquant le nombre de processus,
. ndims (< in >) est un entier indiquant la dimension d’espace,
. dims (< inout >) est un tableau d’entiers de dimension ndims
indiquant le nombre d’éléments suivant chaque direction. Si en entrée,
dims est un tableau d’entiers nuls, c’est MP I qui répartit les processus
dans chaque direction en fonction du nombre total de processus. Le
tableau 5 montre quelques répartitions de processus en fonction de la
valeur initiale de dims (voir aussi la figure 25).
. code (< out >) est le code d’erreur.

Entrées < in > Sortie < out >

nb_procs ndims dims dims
8 2 (0, 0) (4, 2)
16 3 (0, 0, 0) (4, 2, 2)
16 3 (0, 4, 0) (2, 4, 2)
16 3 (0, 3, 0) error

Tab. 5: Répartition des processus avec la fonction

MP I_DIMS_CREAT E dans une topographie cartésienne par MP I.

. La fonction MPI_CART_RANK(comm_nouveau, coords, rang,

code) donne le rang rang du processus associé au coordonnées coords
dans la grille (voir aussi la figure 25).
. comm_nouveau (< in >) est un entier indiquant le nouveau
communicateur,
. coords (< in >) est un tableau d’entiers de dimension ndims
contenant les coordonnées du processus de rang rang dans la grille,
. rang (< out >) est un entier indiquant le rang du processus ayant
pour coordonnées coords
. code (< out >) est le code d’erreur (type entier).
. La fonction MPI_CART_COORDS(comm_nouveau, rang, ndims,
coords, code) est la fonction inverse de MP I_CART _RANK dans le
sens où elle donne les coordonnées coords d’un processus de rang rang
dans la grille.
. comm_nouveau (< in >) est un entier indiquant le nouveau
communicateur,
. rang (< in >) est un entier indiquant le rang du processus,

32
 Y

1 Proc1 Proc3 Proc5 Proc7

(0,1) (1,1) (2,1) (3,1)

0 Proc0 Proc2 Proc4 Proc6

(0,0) (1,0) (2,0) (3,0)

0 1 2 3 X

Fig. 25: Répartition de 8 processus (P roc0 à P roc7) choisi par MP I sur la

grille. Chaque processus a des coordonnées.

. ndims (< in >) est un entier indiquant le nombre de dimensions,

. coords (< out >) est un tableau d’entiers de dimension ndims
contenant les coordonnées du processus de rang rang dans la grille.
(voir aussi la figure 25).
. La fonction MPI_CART_SHIFT(comm_nouveau, direction, pas,
rang_precedent, rang_suivant, code) donne le rang des processus
voisins (rang_precedent et rang_suivant) dans la direction choisie,
direction.
. comm_nouveau (< in >) est un entier indiquant le nouveau
communicateur.
. direction (< in >) est un entier indiquant la direction dans laquelle
on va chercher les rangs des processus voisins. direction = 0 suivant x
et direction = 1 suivant y (figure 25).
. pas (< in >) correspond au déplacement, pas = 1 pour les voisins
directs (type entier).
. ndims (< in >) est un entier indiquant le nombre de dimensions.
. rang_precedent (< out >) est le rang du processus voisin Ouest si
direction = 0, Sud si direction = 1.
. rang_suivant (< out >) est un entier indiquant le rang du processus
voisin Est si direction = 0, Nord si direction = 1.
. code (< out >) est un entier indiquant le code d’erreur.

33
6.1.3 Exemple
La figure 26 montre comment on peut utiliser les différentes fonctions MP I
concernant la topologie cartésienne.

Fig. 26: programme F 90 montrant l’utilisation des différentes fonctions de

topologie cartésienne

34
6.2 Topologies de type graphe
Lorsque la géométrie du domaine de calcul devient complexe, la topologie
de graphe de processus est plus appropriée. On peut alors répartir les
processus sur des sous domaines de géométries complexes elles aussi.
Chaque processus peut avoir un nombre quelconque de voisins.

6.2.1 Création d’une topologie de type graphe

Proc3 Numero Proc Numero proc voisins

0 1

1 0, 2, 3
Proc0 Proc1 Proc2
2 1, 3, 4

3 1, 2, 4

Proc4 4 2, 3

nb_procs=5 index(1, 4, 7, 10, 12) liste_voisins=(1, 0,2,3, 1,3,4, 1,2,4, 2,3)

Fig. 27: Exemple de topologie de type graphe.

La fonction MPI_GRAPH_CREATE(comm_ancien, nb_procs,

index, liste_voisins, reorganisation, comm_nouveau, code) permet de
créer ce type de topologie (voir figure 27 pour exemple).
– comm_ancien (< in >) : nom de l’ancien communicateur (par défaut
MP I_COMM_W ORLD),
– nb_procs (< in >) : entier indiquant le nombre de processus.
– index (< in >) : tableau d’entiers de taille nb_procs indiquant pour
chaque processus l’indice du tableau liste_voisins qui contient le dernier
voisin.
– liste_voisins (< in >) : tableau d’entiers de taille le nombre total de
voisins (sur tous les processus) indiquant successivement les rangs des
processus voisins pour chaque processus.
– reorganisation (< in >) : logical, reorganisation = true si renuméro-
tation des processus dans comm_nouveau (conseillé mais faire très
attention), reorganisation = f alse sinon. Si reorganisation = true,
MP I renumérote les processus suivant l’axe y puis x en 2D, suivant
l’axe z, y puis x en 3D.

35
 – comm_nouveau (< out >) : nom du nouveau communicateur (de
type entier).
– code(<out>) : code de retour (de type entier).

6.2.2 Quelques fonctions utiles

. La fonction MPI_GRAPH_NEIGHBORS_COUNT
(comm_nouveau, rang, nb_voisins, code) détermine le nombre de
processus voisins pour un processus donné.
. comm_nouveau (< in >) est un entier indiquant le nombre de
processus,
. rang (< in >) est un entier indiquant le rang du processus,
. nb_voisins(< out >) est un entier indiquant le nombre de voisins,
. code (< out >) est le code d’erreur.
. La fonction MPI_GRAPH_NEIGHBORS(comm_nouveau, rang,
nb_voisins, voisins, code) donne la liste des processus voisins pour un
processus donné.
. comm_nouveau (< in >) est un entier indiquant le nombre de
processus,
. rang (< in >) est un entier indiquant le rang du processus,
. nb_voisins (< in >) est un entier indiquant le nombre de voisins,
. voisins (< out >) est tableau d’entiers de taille le nombre de voisins
total, contenant la liste des voisins,
. code (< out >) est le code d’erreur.

36
6.2.3 Exemple de l’Idris : propagation d’un feu de forêt

Fig. 28: Programme en F 90 calculant la propagation d’un feu de forêt de

parcelle en parcelle en utilisant une topologie de type graphe. (programme
issu du cours de l’Idris)

37
Fig. 29: Affichage à l’écran des impressions du Programme de la figure 28.
Le programme s’arrête au bout de 10 itérations lorsque le critère d’arrêt est
vérifié.

Fig. 30: Visualisation de la propagation du feu de parcelle en parcelle (figure

cours Idris).

38
7 Communicateurs
7.1 Introduction
Un communicateur est constitué d’un ensemble de processus et d’un
contexte de communication. Ce contexte, mis en place lors de la
construction du communicateur, permet de délimiter l’espace de
communication et est géré par MP I.
Par défaut, c’est le communicateur MPI_COMM_WORLD qui est créé
lors de l’initialisation de l’environnement MP I. Celui-ci contient tous les
processus actifs et c’est au sein de cet ensemble qu’on effectue des
opérations de communication.

Cet ensemble de processus peut être partitionné en plusieurs

sous-ensembles de processus au sein desquels on pourra effectuer des
opérations MP I. Ainsi, chaque sous-ensemble dispose de son propre espace
de communication qui correspond en fait à un communicateur.

Les communicateurs peuvent-être gérés de manière dynamique. Ils sont

créés en utilisant les fonctions MPI_CART_CREATE(),
MPI_CART_SUB(), MPI_COMM_CREATE(),
MPI_COMM_DUP() ou MPI_COMM_SPLIT(). Ils sont détruits
via la fonction MPI_COMM_FREE().
On peut se demander quelle est l’utilité de créer un communicateur
contenant un sous-ensemble de processus. Supposons qu’on dispose d’un
ensemble de processus dans le communicateur MP I_COMM_W ORLD.
On souhaite effectuer des communications seulement entre les processus de
rang pair. Une possibilité est de faire des tests (boucle if ) sur le rang de
chaque processus, mais cela devient vite coûteux..... Une autre possibilité
consiste à regrouper les processus de rang pair dans un nouveau
communicateur, ce qui supprime les tests (pourvu qu’on précise que les
communications se font dans le nouveau communicateur).

7.2 Communicateur issu d’un autre

La fonction MPI_COMM_SPLIT(comm, couleur, clef , nouveau_comm,
code) partitionne un communicateur donné en autant de communicateurs
voulus :
. comm (< in >) est un entier désignant le communicateur de départ
(qu’on veut partitionné),
. couleur (< in >) est un entier. Une couleur est affectée à chaque
processus appartenant au même sous-espace de communication.

39
 . clef (< in >) est un entier qui permet à MP I d’affecter un rang aux
processus appartenant au même sous-espace de communication. Il s’agit
d’une numérotation locale. MP I attribue les rangs suivant des valeurs
de clefs croissantes. Il est conseillé de mettre la clef la plus petite sur
le processus détenant l’information à distribuer (il aura ainsi le rang 0
dans la numérotation locale).
. nouveau_comm (< out >) est un entier désignant le nouveau com-
municateur.
. code (< out >) est un entier donnant le code d’erreur.
Un processus à qui on attribue une couleur MPI_UNDEFINED n’appar-
tient qu’à son communicateur initial.

Exemple : construction d’un communicateur qui partage l’espace de commu-

nication initial entre processus de rangs pairs et impairs via le constructeur
MPI_COMM_SPLIT() :

processus P0 P1 P2 P3 P4 P5
rang_global 0 1 2 3 4 5
couleur 10 20 10 20 10 20
clef 6 1 0 2 5 0
rang_local 2 1 0 2 1 0

Tab. 6: Construction du communicateur Comm_pair_impair avec

MP I_COMM_SP LIT .

7.3 Subdivision de topologie

L’idée consiste à dégénérer une topologie cartésienne de processus de
dimension d’espace dim en une topologie cartésienne de dimension
(dim − 1). Pour dégénérer une topologie cartésienne de dimension dim, il
suffit de créer des communicateurs de dimension (dim − 1). Pour une
topologie cartésienne de dimension dim = 2, la dégénérescence se traduit
par la création d’autant de communicateurs qu’il y a de lignes, par exemple
(voir figure 32). Les transferts d’information se font alors au sein de chaque
nouveau communicateur.
L’intérêt réside dans le fait qu’on peut effectuer des communications
collectives restreintes à un sous ensemble de processus appartenant à la
topologie dégénérée. On peut dégénérer une topologie cartésienne soit à
partir de la fonction MPI_COMM_SPLIT() (détaillée précédement)

40
Fig. 31: Programme en F 90 illustrant le partage de l’espace de communica-
tion initial entre processus de rangs pairs et impairs.

41
soit à partir de la fonction MPI_CART_SUB(CommCart, Subdivision,
CommCartD, code) où :

. CommCart (< in >) est un entier désignant une topologie cartési-

enne,
. Subdivision (< in >) est un tableau d’entiers de dimension le nombre
de communicateurs qu’on veut créer,
. CommCartD (< out >) est un entier désignant la topologie cartési-
enne dégénérée,
. code (< out >) est un entier désignant le code d’erreur.

Y Y

2 P2 P5 P8 P12 2 P2 P5 P8 P12
v=c v=c

1 P1 P4 P7 P10 1 P1 P4 P7 P10
v=b v=b

0 P0 P3 P6 P9 0 P0 P3 P6 P9
v=a v=a
X X
0 1 2 3 0 1 2 3
Topologie cartesienne 2D Topologie Cartesienne degeneree 1D

Transfert information

Fig. 32: Topologie cartésienne 2D dégénérée en topologie cartésienne 1D

(subdivision en ligne).

7.4 Intra et intercommunicateur

Les intracommunicateurs sont des communicateurs qui effectuent des
opérations de communication entre processus d’un même communicateur.
Mais les communications entre communicateurs sont impossibles. Jusqu’à
présent, c’est ce type de communicateur qu’on a construit.
Un intercommunicateur est un communicateur qui permet d’établir des
communications entre intracommunicateurs. Attention, dans le MP I − 1
seules les communications point à point sont permises. Pour créer un
intercommunicateur, on utilise la fonction
MPI_INTERCOMM_CREATE().

42
Fig. 33: Programme dégénérant une topologie cartésienne 2D en une topolo-
gie cartésienne 1D avec la fonction MP I_CART _SUB().

43
Fig. 34: Programme dégénérant une topologie cartésienne 2D en une topolo-
gie cartésienne 1D avec la fonction MP I_COMM_SP LIT ().

44
8 Conclusion
La bibliothèque MP I permet de faire du calcul parallèle en se basant sur le
principe d’échanges de messages (communications) entre processus, chacun
ayant sa propre mémoire. Ces opérations de communications peuvent être
collectives ou point à point.
Dans un code de calcul parallèle, si le temps de communication devient
prépondérant devant celui de calcul, on peut optimiser le temps de
communication grâce aux différents modes de transfert de messages
proposés par MP I ainsi qu’en recouvrant les communications par des
calculs.
MP I permet aussi de créer des topologies cartésiennes ou de type graphes
(pour des géométries de domaines plus complexes), ce qui est très pratique
lorsqu’on travaille sur des domaines de calcul ou qu’on souhaite faire de la
décomposition de domaine.
MP I permet aussi de partitionner un ensemble de processus en plusieurs
sous-ensembles de processus au sein desquels on pourra effectuer des
opérations de communication. Ainsi, chaque sous-ensemble dispose de son
propre espace de communication ou communicateur.
Dans une nouvelle version de la bibliothèque MP I (MP I − 2), on note
deux évolutions principales : la gestion dynamique des processus et les
Entrées−Sorties parallèles.

45