Calcul distribué : une introduction

PoincaréEmmanuel.Jeannot@loria.fr6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 2/77Le concept de GrilleDistribution transparente de l'énergie électrique6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 3/77Le concept de grille informatique (GRID)Distribution transparente de la puissance de calcul et de stockage à travers le réseau6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 4/77Plan•Introduction•Architecture•Différentes approches des grilles de calcul•Quelques défis scientifiques•Exemple de travaux en cours•Conclusion6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 5/77Introduction•La suite du calcul parallèle: distribuéet hétérogène•Grille de calcul : grande collection de ressources distribuées (calculateurs, machines de stockage, instruments, réseaux)•Utiliser la puissance des réseaux et des machines qui y sont connectées.•Cibles:de plus en plus d'applications dans divers domaines.•Objectifs :-Transparence-Efficacité-Simplicité (d'utilisation, de programmation, )-Sécurité-Extensibilité (passage à l'échelle)-Pluridisciplinarité- 6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 6/77Introduction, suiteUne des idées (long terme):louer la puissance de calcul et les capacités mémoire sur Internet.

Très grand potentiel :Besoin de "ProblemSolvingEnvironment» (PSEs).On n'a pas toujours les ressources disponiblesLes applications ont toujours plus besoin de puissance et de mémoire.On n'a pas toujours la bibliothèque installéeDes bibliothèques ou des environnements ont besoin de rester sur place.Énormément de ressources disponibles.?Utilisation de serveurs de calcul par l'intermédiaire d'une interface simple.Difficile pour un non-spécialiste.Peu de transparence.Problèmes de sécurité et de gestion des comptes peu abordés 6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 7/77Introduction, finProblèmes à résoudre:-algorithmique ((re)distribution des données, équilibrage de charge, ordonnancement, )-système (administration, tolérance aux pannes, sécurité, localisation de ressources, )-logiciel (interopérabilité, ré-utilisation de code, )-standardisation6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 8/77Pourquoi maintenant?•Accroissement des besoins•On dispose d'ordinateurs très puissants•Internet et les réseaux fournissent une connectivité "universelle»•Nouveaux modes de travail : collaboration, calcul (simulation)•Croissance de la vitesse des réseaux ("network exponentials») : changement de vision (géométrie, géographie)6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 9/77Network Exponentials•Performance des réseaux contre ordinateurs-Vitesse des ordinateurs double tous les 18 mois-Vitesse des réseaux double tous les 9 mois-Différence = 1 ordre de grandeur tous les 5 ans•1986 à 2000-Ordinateurs : x 500-Réseaux : x 340 000•2001 à 2010-Ordinateurs : x 60-Réseaux : x 4 000Moore's Law vs. storage improvements vs. optical improvements.Graph from Scientific American(Jan-2001) by Cleo Vilett, source VinedKhoslan, Kleiner, Caufieldand Perkins.6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 10/77Plan•Introduction•Architecture-Applications-Middlewares-Services-protocoles-Infrastructure-Problématique de l'intégration-Problématique de l'interopérabilité•Différentes approches des grilles de calcul•Quelques défis scientifiques•Exemple de travaux en cours•Conclusion6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 11/77Architecture logicielInfrastructureServices-protocolesApplicationsIntégrationMiddlewaresInteropérabilité6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 12/77Applications•Calcul scientifique•Physique des particules (LHC)•Bio-informatique•Chimie quantique•Imagerie médicale•Simulation multi-physique6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 13/77Middlewares (intergiciels)•Interface entre les applications et les services (ou les ressources)•Permet de :-Programmer la grille -Virtualiserl'infrastructure -Exécuter des applications sur la grille•Beaucoup de travaux dans ce domaine6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 14/77Services-protocoles1.Déjà existants dans les réseaux standards :-XML-DNS-TCP-IP- 2.Mis en oeuvre pour la grille-Service de prévision (NWS)-Service de stockage (IBP) -Protocole de transfert (gridFTP)-OGSA (Open GridServices Architecture)- 6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 15/77Infrastructure•Réseaux -WideArea Network (WAN) •Internet•backboneGbit/s (VTHD, GEANT, TERAGRID)-Local Area Network (LAN)-System Area Network (SAN)•Machines de calcul-PCs-Grappes-Ordinateurs parallèles•Instruments : fournisseurs de données-Accélérateur de particules-(radio)-télescope-Séquenceur (génome)•Stockage -Centre de stockage-Service de stockage dans le réseau6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 16/77Infrastructures en FranceReimsCaenRouenRennesNancyStrasbourgPoitiersBordeauxLyonGrenobleToulouse .MontpellierMarseilleNantesBesançonClermont-FerrandLimogesParisDijonLilleSophiaCompiègneOrléansCorte2.

4) Gbit/s622 Mbit/s155 Mbit/s34 Mbit/s8 Mbit/sNRDNIONOCRENATER•Ressources de calcul-Centres de calcul nationaux (terascale)•IDRIS, CINES, méso-centres, ressource des laboratoires, •Réseaux-Réseau opérationnel RENATER-Réseau expérimental VTHD (projet RNRT)VTHD6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 17/77Problématique de l'intégrationInfrastructureServices-protocolesMiddlewaresApplicationsFaire communiquer les couches entre elles :•Spécifier les rôles à chaque niveau •Définir des APIs/interfaces standardisés (ex : gridRPC)•Optimiser le transfert des données• Intégration6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 18/77Problématique de l'interopérabilitéInfrastructureServices-protocolesMiddlewaresInteropérabilitéBeaucoup d'environnements :-PSE-Portails WEB-Serveurs de calculs- Objectif : faire coopérer les éléments d'une même couche ensemble.Coopération ?-Standards-Protocoles-API-Descripteurs de problèmeExemple : couplage de code6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 19/77Plan•Introduction•Architecture•Différentes approches des grilles de calcul-Portail web-Internet computing-Méta-computing-Super-calculateur virtuel-Réseaux pair à pair (peer-to-peer)•Quelques défis scientifiques•Exemple de travaux en cours•Conclusion6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 20/77Différentes approches1.Différents types d'applications2.Différents besoins pour les utilisateurs3.Différentes plate-formes cibles4.Différents modèles d'exécutionDifférentes solutionsActuellement : effort de standardisation (GGF)6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 21/77Modèles de déploiement•Client-serveur-Centralisé ou Distribué-Utilisation de caches pour éviter la congestion-Information centralisée•Pair-à-Pair (P2P)-Chaque pair est à la fois client et serveur-Distribution de la charge dans le réseau (si parité!)-Information distribuéeClientInternetserveurClientClientClientClientClientClientClientClientClientCacheProxyserveurClient/ServeurInternetserveurserveurClient/ServeurClient/ServeurClient/ServeurClient/ServeurClient/ServeurClient/ServeurClient/ServeurClient/ServeurZone de congestionZone de congestion6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 22/77Différents types de GRIDCaractéristiques des noeuds :Les systèmes de Calcul Global ou "MegaComputing» ou "Internet Computing»Les systèmes Pair à PairLes systèmes distribués à grande échelleGrands sitesde calcul,Clusters•<100•Stables•Identificationindividuelle•Confiance•~100 000•Volatiles•Pas d'identindividuelle•Pas de confianceLes Grilles de calcul ou "GRID»2 types de grands systèmes distribuésPCWindows,Linux6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 23/77Portail Web•Sans doute la première incarnation du concept de grille•Accès à l'information-A partir d'une adresse http-A partir d'un moteur de recherche•Transparence lors de l'accès à l'information-On ne sait pas toujours d'où vient l'information (ex. images de cette présentation)Serveur WebServeur WebMoteur de RechercheServeur WebServeur WebClient6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 24/77Punch/NetCarePUNCH/NetCare: portail webdédié à l'architecture des ordinateursUtilise les cycles libres parmi 600 PCs.http://punch.perdue.edu6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 25/77l'Internet Computing•Principe-Des millions de PC en attente -Utilisation des cycles processeurs inutilisés (environ 47% en moyenne dans une entreprise*) via un économiseur d'écran•Exemples-SETI@HOME •Recherche de signaux extra-terrestres•4,5 millions d'utilisateurs•55,06 Teraflop/s (à comparer aux 35,86 Teraflop/s de l'ordinateur le plus puissant au monde au Japon!)-DECRYPTHON•Etablirla carte des 500 000 protéines du vivant-RSA-155•Casser des codes cryptographiques* d'après une enquête d'OmniConsulting Group6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 26/77Seti@home6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 27/77Méta-computingAGENT(s)AS3ClientS2 !RequêteRéponse(C)A, B, CC=Op(C, A, B)S4S1S2C6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 28/77Méta-computing•Principe-Acheter du service de calcul sur Internet-Services = applications pré-installées sur un calculateur•Appels bloquants ou non-bloquants: Matlab, C, Fortran, Scilab...•Exemples-Netsolve(Univ.

Tsukuba)-DIET (ENS-Lyon/INRIA)6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 29/77DistributedInteractive Engineering ToolboxHiérarchie d'agents (extensibilité)Fonctionne sur le mode gridRPC(appel de procédure à distance sur la grille)Utilise CORBA pour l'exécution de calculs sur les serveursReD:RedirectorMA :Master AgentLA :Leader AgentSeD:Server DaemonCRD: ComputationalResourceDeamonReD:RedirectorMA :Master AgentLA :Leader AgentSeD:Server DaemonCRD: ComputationalResourceDeamon6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 30/77Supercalculateur virtuel•Principe-Agréger les ressources distribuées en un supercalculateur-Faire exécuter ses applications sur ce supercalculateur (mpirun)"10 GFlops, EOS data,20 Mb/sec --pour 20 minutes"MetacomputingDirectoryServiceGRAMGRAMCourtier deressourceService d'information:localisation+ sélectionAllocateursderessourcesde GLOBUSForkLSFEASYLLCondoretc."Quelsordinateurs?""Quellevitesse?""Disponibilité?""50 processeurs+ stockagede 10:20 à10:40 pm""20 Mb/sec"•Exemples-Globus-Légion-UnicoreGRAMGRAM = GridResourceInformationManagement6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 31/77The GlobusProject™Making Grid computing a reality•Close collaboration with real Grid projects in science and industry•Development and promotion of standard Grid protocols to enable interoperability and shared infrastructure•Development and promotion of standard Grid software APIs and SDKs (System Development Kit) to enable portability and code sharing•The GlobusToolkit™: Open source, reference software base for building grid infrastructure and applications•Global Grid Forum (GGF): Development of standard protocols and APIs for Grid computing6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 32/77Vue GlobusApplicationConnectivity"Talkingto things": communication (Internet) & sécuritéResource"Partager les ressources": négociation des accès, contrôle de l'utilisationCollective"Coordonner les ressources": services pour la gestion de l'infrastructure, services distribués spécifiques aux applicationsInternetTransportApplicationLinkProtocole InternetFabric"Contrôle local": accès et contrôle des ressources6 mai 2003 Emmanuel Jeannot - journée calcul et données distribués 33/77Système Pair àPair(Peerto Peer)•Applications dédiées-Napster, Gnutella, Freenet, -KaZaA, Music-city,-Jabber, •Projets d