[PDF] Procédure APB - ESITC Caen
[PDF] Gestion de projet - calcul des dates et calcul des marges - AUNEGE
[PDF] Académie de Bordeaux CALENDRIER - Educationgouv
[PDF] session 2018 du BTS - BTS tertiaires - Calendrier - Educationgouv
[PDF] session 2018 du BTS - BTS tertiaires - Calendrier - Educationgouv
[PDF] session 2018 - Educationgouv
[PDF] CAPEPS INTERNE ET CAER MATERIELS - Educationgouv
[PDF] Calendrier des épreuves des concours des seconds degrés de la
[PDF] Notice - Fongecif
[PDF] Calendrier concours examen 2017 - 2018 - CIG Versailles
[PDF] Calendrier des inscriptions aux concours en Région Centre - Onisep
[PDF] Calendrier des inscriptions aux concours en Région Centre - Onisep
[PDF] Les écoles du secteur social en Ile-de-France rentrée 2018 - Onisep
[PDF] Calendrier prévisionnel 2016-2017 Des préparations aux concours
[PDF] calendrier interregional 2018 prévisionnel des concours et - CDG05
![[PDF] Le Data Warehouse et les Systèmes Multidimensionnels](https://pdfprof.com/Listes/38/10023-38wattiau_09-10_3.pdf.pdf.jpg "[PDF] Le Data Warehouse et les Systèmes Multidimensionnels")
1 1
Le Data Le Data WarehouseWarehouse
et les Systèmes et les Systèmes
Multidimensionnels
Multidimensionnels
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat2
1. Définition d'un Data warehouse (DW)
•Le Data warehouse(entrepôt de données) est une collection de données orientées sujet, intégrées, non volatiles et historisées, organisées pour le support d 'un processus d 'aide à la décision (Inmon, 94). 2
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat3
1. Définition d'un Data warehouse
1. 1 Données orientées sujet
• Données structurées par thèmes (sujets majeurs de l'entreprise) et non suivant les processus fonctionnels. • Le sujet est transversal aux structures fonctionnelles et organisationnelles de l'entreprise. On peut accéder aux données utiles sur un sujet. • L'intégration des différents sujets se fait dans une structure unique.
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat4
1. Définition d'un Data warehouse
1. 1 Données orientées sujet
• Il n 'y a pas de duplication des informations communes à plusieurs sujets. • La base de données est construite selon les thèmes qui touchent aux métiers de l'entreprise (clients, produits, risques, rentabilité, ...). • Les données de base sont toutefois issues des Systèmes d'Information Opérationnels (SIO). 3
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat5
1. Définition d'un Data warehouse
1. 2. Données intégrées
• Les données, issues de différentes applications de production, peuvent exister sous toutes formes différentes. • Il faut les intégrer afin de les homogénéiser et de leur donner un sens unique, compréhensible par tous les utilisateurs. • Elle doivent posséder un codage et une description unique.
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat6
1. Définition d'un Data warehouse
1. 2 Données intégrées
• La phase d'intégration est longue et pose souvent des problèmes de qualification sémantique des données à intégrer (synonymie, homonymie, etc...). • Ce problème est amplifié lorsque des données externes sont à intégrer avec les données du SIO. 4
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat7
1. Définition d'un Data warehouse
1. 3 Données non-volatiles
• Une information est considérée volatile quand les données sont régulièrement mises à jour comme dans les
Systèmes d'Information Opérationnels.
• Dans un SIO, les requêtes portent sur les données actuelles. Il est difficile de retrouver un ancien résultat. • Dans un DW, il est nécessaire de conserver l'historique de la donnée. Ainsi, une même requête effectuée à deux mois d'intervalle en spécifiant la date de référence de la donnée, donnera le même résultat.
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat8
1. Définition d'un Data warehouse
1. 4 Données historisées
• Dans un SIO, les transactions se font en temps réel, et les données sont mises à jour constamment. L 'historique des valeurs de ces données n 'est généralement pas conservé car il est inutile. • Dans un DW, la donnée n'est jamais mise à jour. • Les données du DW s 'ajoutent aux données déjà engrangées.=> ajout de couches de données successives, à la manière des strates géologiques 5
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat9
1. Définition d'un Data warehouse
• Le DW stocke donc l'historique des valeurs que la donnée aura prises au cours du temps. • Un référentiel de temps est alors associé à la donnée afin d'être capable d'identifier une valeur particulière dans le temps. • Les utilisateurs possèdent un accès aux données courantes ainsi qu'à des données historisées.
1. 4 Données historisées
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat10
1. Définition d'un Data warehouse
1. 5 Support d 'un processus d 'aide à la décision
• Un DW est un système d 'information dédié aux applications décisionnelles dont les principales contraintes sont : • des requêtes complexes à plusieurs niveaux d 'agrégation • la nécessité de disposer d 'informations synthétiques (" reporting » de gestion, analyse des ventes, gestion de la masse salariale, etc) • le stockage des données sous une forme multi- dimensionnelle • des mises à jour périodiques 6
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat11
2. Objectifs d'un Data warehouse
• permet le développement d 'applications décisionnelles et de pilotage de l 'entreprise et de ses processus • joue un rôle de référentiel pour l 'entreprise puisqu 'il permet de fédérer des données souvent éparpillées dans différentes bases de données • offre une vision globale et orientée métier de toutes les données que manipule l 'entreprise • permet de faire face aux changements du marché et de l 'entreprise • offre une information compréhensible, utile , rapide et à jour
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat12
3. Architecture d'un Data warehouse
Bases multidimensionnelles
Datamarts
Outil frontal
OLAP
Outils
multidimensionnels MOLAP
Requeteur
ou tableau
Outil ROLAP
Bases de
production
Extraction
Transformation
Chargement
RafraîchissementBases externes
Data WarehouseDictionnaire
Outils
d'administration 7
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat13
3. Architecture d'un Data warehouse
3. 1 Les Bases de Données
• Bases de données internes: •Bases de production de l'entreprise •Bases créées par les utilisateurs • Bases de données externes à l'entreprise qui nécessitent leur identification, leur rapatriement et leur intégration. •Données achetées à des fournisseurs de données (Nielsen, INSEE, ...) •Données récupérées sur Internet
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat14
3. Architecture d'un Data warehouse
3. 2 Opérations sur les données
• Extraire les données de leur environnement d'origine (bases de données relationnelles, fichiers plats, ...). • Utiliser une technique appropriée pour n 'extraire que les données nécessaires : données créées ou modifiées depuis la dernière opération d'extraction.EXTRACTION 8
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat15
3. Architecture d'un Data warehouse
3. 2 Opérations sur les données
• Une même donnée peut avoir une structure ou une valeur différente en fonction de la base (production, externe, utilisateurs) dont elle provient. • On peut être confronté à des redondances (un même client peut apparaître avec différents attributs et propriétés selon la source consultée).TRANSFORMATION
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat16
3. Architecture d'un Data warehouse
3. 2 Opérations sur les données
• Il faut supprimer certaines données aberrantes qui risqueraient de fausser les analyses. • Il faut donc épurer et transformer les données.TRANSFORMATION 9
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat17
3. Architecture d'un Data warehouse
3. 2 Opérations sur les données
• Effectuer sur les données des opérations de calcul et d'agrégation. • Remplacer certaines bases si aucune solution d'extraction satisfaisante n'est possible. CHARGEMENT/RAFRAICHISSEMENT
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat18
3. Architecture d'un Data warehouse
3. 2 Opérations sur les données
• Mettre en place des procédures de chargement et de restauration (en cas de problème). • Typiquement, la fréquence du chargement est quotidienne et il est effectué en tout début de matinée. • Si la disponibilité du système ne peut être interrompue, envisager la mise en place de systèmes redondants.CHARGEMENT/RAFRAICHISSEMENT 10
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat19
3. Architecture d'un Data warehouse
3. 2 Opérations sur les données
• On peut automatiser tout ou partie des opérations décrites. • Des outils sont disponibles : Extract d'ETI, Genio de
Leonard 's Logic, SAS/Warehouse Administrator de
SAS...
• Le développement d'outils spécifiques est envisageable mais risque d 'alourdir les tâches.LES OUTILS
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat20
3. Architecture d'un Data warehouse
3. 3 Dictionnaire de Données
• Le dictionnaire de données regroupe les méta-données. • Une méta-donnée représente une donnée sur les données. Il s'agit de l'ensemble des informations qui permettent de qualifier une donnée, notamment par sa sémantique, sa règle de calcul, sa provenance, sa qualité, etc... • les méta-données permettent de préciser de quelle table provient la donnée, à quelles dates et heures elle en a été extraite, l'état de la base à cet instant, etc... 11
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat21
3. Architecture d'un Data warehouse
3. 3 Dictionnaire de Données
• Une méta-donnée permet de " remonter la chaîne » et de reconstituer l'ensemble d'événements et données qui ont servi à obtenir l'information associée. • Le dictionnaire de données contient toutes les informations permettant d'exploiter les données. • C'est un référentiel destiné aux utilisateurs et à l'administrateur du DW. • A ce jour, il n'existe pas de normes en ce qui concerne la structure et la gestion des dictionnaires de données. Chaque outil propose sa solution et son approche.
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat22
3. Architecture d'un Data warehouse
3. 4 Les Data Marts
• Un data mart (magasin de données) est un DW focalisé sur un sujet particulier, souvent au niveau départemental ou métier. • C 'est donc un mini DW lié à un métier particulier de l 'entreprise (finance, commercial, ...). • Un DW est souvent volumineux (plusieurs centaines de Go voire quelques To ) avec des performances inappropriées (temps de réponse trop longs). Un Data mart, quant à lui, comporte moins de 50 Go, ce qui permet des performances acceptables. • La création d'un data mart peut être un moyen de débuter un projet de DW (projet pilote). 12
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat23
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.1 Les modèles de
données
Modèles de présentation
Modèles de diffusion
Modèles d'intégration
Bases de données opérationnelles
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat24
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.1 Les modèles de données
• Le modèle d 'intégration unifie les données opérationnelles. • Le modèle de diffusion représente le modèle conceptuel des données. Il correspond aux bases multidimensionnelles (serveur
OLAP).
• Le modèle de présentation est un complément au modèle conceptuel. C'est à travers ce modèle que l'utilisateur voit les données. Il correspond à différents outils physiques : les tableurs, les requêteurs, les outils clients OLAP, etc... 13
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat25
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.2 Les outils OLAP (On-Line Analytical Processing)
• OLAP caractérise l'architecture nécessaire à la mise en place d 'un système d'information décisionnel (SID). • OLAP s'oppose à OLTP (On-Line Transactional Processing) qui caractérise les SIO.
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat26
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.2 Les outils OLAP (On-Line Analytical Processing)
• OLAP constitue l'ensemble des outils multidimensionnels nécessaires à l'accès, stockage et à la manipulation des données utiles pour un SIAD ou pour un EIS. • OLAP désigne les outils d 'analyse s'appuyant sur les bases de données multidimensionnelles. 14
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat27
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.3 Les 12 règles de E.F. CODD (1993)
Vue multidimensionnelle: Les données sont structurées en dimensions métiers. Transparence : L 'utilisateur doit pouvoir utiliser les logiciels habituels (tableurs, ...) sans percevoir la présence d 'un outil OLAP. Accessibilité: L 'outil doit se charger d 'accéder aux données stockées dans n 'importe quel type de bases de données (interne + externe) et le faire simultanément. Performance continue dans les restitutions: A mesure que le nombre de dimensions ou la taille de la base augmente, l'utilisateur ne doit pas subir de baisse sensible de performance.
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat28
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.3 Les 12 règles de E.F. CODD (1993)
Architecture client-serveur : Tout produit OLAP doit fonctionner en mode C/S avec une répartition des traitements. Dimension générique : Chaque dimension (avec l'analyse) doit être équivalent aux autres à la fois dans sa structure et dans ses capacités opérationnelles. Une seule structure logique dans l'ensemble des dimensions. Gestion dynamique des matrices creuses: OLAP doit gérer les cellules non renseignées de manière optimale. Support multi-utilisateurs: OLAP doit assurer un accès simultané aux données, gérer l'intégrité et la sécurité de ces données. 15
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat29
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.3 Les 12 règles de E.F. CODD (1993)
Opérations entre les dimensions : OLAP doit gérer des calculs associés entre les dimensions sans faire appel à l 'utilisateur pour définir le contenu de ces calculs Manipulation intuitive : Minimiser le recours à des menus ou les allers et retours avec l 'interface utilisateur Flexibilité des restitutions: convivialité des états de gestion ou des états de sortie - ergonomie Nombre de dimensions et niveaux de hiérarchie illimité: l 'outil doit gérer au moins quinze dimensions et ne pas limiter le nombre de niveaux hiérarchiques.
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat30
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.4 Fast Analysis of Shared Multidimensional Information (FASMI)
Analyse : fournir des possibilités d 'analyse (statistiques et autres) Rapide : l 'essentiel des réponses doit être rendu dans un délai de moins de cinq secondes Information: accéder à l 'ensemble des données indépendamment de leur localisation Multidimensionnelle :fournir une vue conceptuelle multidimensionnelle Partagée: être accessible à un grand nombre d 'utilisateurs et ne pas limiter le nombre de niveaux hiérarchiques. 16
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat31
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.5 Les outils relationnels OLAP
Outils relationnels : requêteurs, infocentres, jointures complexes exemple : Business Objects (anciennes versions) Hypercubes relationnels: les données sont stockées dans une BD relationnelle, mais avec une structure adaptée aux données multi- dimensionnelles exemple : SGBD relationnels OLAP relationnel (ROLAP): ces outils utilisent directement le modèle relationnel. Au travers des méta-données, ils permettent de transformer l 'analyse multidimensionnelle en requêtes SQL : distinguent les axes d 'analyse et les faits à observer (modèles en étoile ou en flocon)
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat32
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.5 Les outils relationnels OLAP
Hypercube virtuelInterface de
présentation
Base de données
relationnelle 17
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat33
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.6 Intégration Infocentre Hypercube
Principe proche de l 'OLAP relationnel
Intégration d 'un outil d 'infocentre et d 'un outil d 'analyse multidimensionnelle dans une même interface située sur le poste client L 'outil d 'infocentre assure la gestion d 'un référentiel commun, la sélection des données et leur valorisation L 'outil multidimensionnel assure la création d 'un hypercube, l 'implémentation des fonctionalités OLAP (consolidation, zoom avant, glisser-déplacer, gestion des seuils, etc.)
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat34
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
Hypercubes clients
Serveur relationnel
Table de dimension
Table de
Faits
Table de dimension
Table de dimension
Table de dimension
Table de dimension
3.5.6 Intégration Infocentre Hypercube
18
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat35
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.7 Les outils multidimensionnels MOLAP
Les BD multidimensionnelles sont propriétaires (pas de standard) Les données sont dynamiquement structurées et compressées (optimisation de l 'espace disque) Les données sont organisées en dimensions et hiérarchies Les formules de calcul sont généralement complexes
Les temps de réponse sont constants
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat36
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
Interface de
présentation
Serveur matriciel
3.5.7 Les outils multidimensionnels MOLAP
19
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat37
3. Architecture d'un Data warehouse
3. 5 Les bases multidimensionnelles et les outils OLAP
3.5.7 Les outils multidimensionnels MOLAP
La constitution de la base se fait selon le processus suivant extraction des données provenant des SGBD ou fichiers décomposition des données en dimensions, attributs et variables calcul des consolidations chargement de l 'hypercube selon la structure dimensionnelle choisie L 'interrogation de la base possède les caractéristiques suivantes : interface graphique (drill down, slice and dice, etc) gestion des seuils et des alertes (codage couleurs) temps de réponse court et constant
SQL non implémenté
Exemple : Oracle Express
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat38
3. Architecture d'un Data warehouse
3. 6 Les limites du multidimensionnel
Format et langage propriétaire
Structure figée (l'hypercube doit être construit à chaque modification)
Accès au détail difficile
Peu d 'outils disponibles
Outils d 'administration insuffisants
Difficulté de réaliser des sélections sur un hypercube Pas de standard ni pour la structure physique ni pour l 'interrogation Manque de souplesse et absence de gestion de méta-données 20
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat39
3. Architecture d'un Data warehouse
3. 7 Conclusion
Un marché florissant
nombreux outils (ROLAP,MOLAP,..) concentration du nombre d 'éditeurs de logiciels
Nécessité de méthodologie de conception
démarche modélisation conceptuelle et logique implication des utilisateurs
Un avenir réel
l'informatique opérationnelle est mature la demande des utilisateurs est importante la technologie est disponible.
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat40
4. Le Marché du Data warehouse
Le marché du décisionnel regroupe une trentaine d'acteurs Les éditeurs peuvent être regroupés en quatre catégories solutions applicatives bases de données multidimensionnelles client ROLAP client OLAP 21
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat41
4. Le Marché du Data warehouse
L'offre la plus ancienne
l'offre verticale (spécialisée dans un secteur tel que la banque ou la grande distribution) l'offre horizontale (consacrée à une fonction précise) l'offre fondée sur un progiciel l'éditeur intègre généralement dans sa solution une base de données multidimensionnelle
4. 1 Les solutions applicatives
Copyright J. Akoka - I. Comyn-Wattiau - N.Prat42
4. Le Marché du Data warehouse
exemples de produits :
4. 1 Les solutions applicatives
EditeurProduitFonction
Boost sales analysisAnalyse des ventes
Commander budgetElaboration budgétaire
Commander FDCReporting, consolidation
Hyperion SoftwareHyperion entrepriseReporting, consolidation
Hyperion PilarElaboration budgétaire
OracleOracle financial analyserElaboration budgétaire
Oracle sales analyser
SAS InstituteCFO VisionReporting
quotesdbs_dbs31.pdfusesText_37
[PDF] Le Data Warehouse et les Systèmes Multidimensionnels