Next PDF List

INTRODUCTIONETHISTORIQUEDES APPLICATIONSMULTIMÉDIAINTERACTIVESS.

NatkinCNAM Paris février 2003Introduction CAM, CNAM 20002Énoncé du sujetIntroduction CAM, CNAM 20003Multimédia?Introduction CAM, CNAM 20004Médias multiples ?MULTIMEDIA?Introduction CAM, CNAM 20005Les relations entre médiaUn livre illustréUn opéra, une pièce de théâtreUn film,une vidéosont multi "média"Les perceptions syntaxiques et sémantiques des informations apportées par les différents média sont complètement liéesIntroduction CAM, CNAM 20006Quoi de neuf?Stocker sur un même support du son, du texte et des images est à priori sans intérêtProduire un livre illustré ou une vidéo sur ordinateur est un usage classique du multimédiaPotentialité:Pouvoir interagir avec des objets "multimédia" qui définissent de nouvelles relations syntaxiques et sémantiques entre les différents types d'informationIntroduction CAM, CNAM 20007ExempleInterrogation d'une Base de données multimédia:Le thème musical c'était:Sifflé au microL'actrice était blonde etressemblait àJe crois que dans une desscènes sa jupe se soulevaitIntroduction CAM, CNAM 20008Ma définitionUn environnement multimédia est un ensemble de matériels et de logiciels permettant:-De créer-De stocker et d'organiser-De consulter et modifier en temps réel-De transmettreDes documents structurés de façon homogène comportant des informations textuelles, de la voix, des images fixes ou animées codées numériquement.Cet environnement doit permettre de jouer "naturellement" sur les relations syntaxiques et sémantiques liant les différents média.Introduction CAM, CNAM 20009Un contre exemple : La chaîne de production audiovisuelleScénario, script (Image+son)Prises de vues et prises se sonPost production imageMontage imagePost production et montage sonCréation des élémentssonMixageIntroduction CAM, CNAM 200010Les domaines du multimédia•Production audio visuelle numérique (CD, film, vidéo)•Edition Hors ligne (CD/DVD) •Edition En ligne (site web, télévision interactive,WAP ) •Les dispositifs technique du spectacle vivant (danse, concert ,théâtre, installations interactives)Introduction CAM, CNAM 200011Les domaines du multimédia (2)Le marché•Production audio visuelle numérique (CD, film, vidéo)=> classique •Les dispositifs technique du spectacle vivant limité et spécialisé•Edition Hors ligne portée par le jeu, s'intègre dans le En ligne•Edition En ligne.

Beaucoup d'utilisation potentielle (commerce électronique B to B, B to C, travail coopératif, EAD, ).

Mais très faible marché actuellement Introduction CAM, CNAM 200012Systèmes multimédiainteractifsIntroduction CAM, CNAM 200013InteractivitéUtilisation de l'informatique dans le domaine des multimédia:•Outil de production et de transformation des images et du son en différé (éditeur d'image fixe, synthèse d'image et de son, montage et mixage numérique)•Outil de transformation des sons, images , textes, en temps réel, -soit en réaction avec un processus physique soit en fonction d'un processus aléatoire de synthèse-soit en réaction à l'action humaine=> interactivitéL'informatique ouvre à ce type d'applications, qui existaient déjà (spectacle vivant par exemple), des possibilités considérablesIntroduction CAM, CNAM 200014Classification sommaire•Nombre d'utilisateurs a un instant donné•Localisation des utilisateurs•Caractère du dialogue pour plusieurs utilisateurs•Interaction avec un processus physique ou pseudo aléatoireIntroduction CAM, CNAM 200015Un utilisateurEx: Consultation et mise à jour d'une base de données multimédiaIntroduction CAM, CNAM 200016Un utilisateur et un processus(réel ou simulé)Processus•Entrées pures (interface météo)•Boucles ouvertes (réalité augmentée)•Asservissements complexes (jeux,instruments électroniquescontrôle de processus)Introduction CAM, CNAM 200017Plusieurs utilisateurs et un processus(réel ou simulé)Exemple jeu en réseaux, installation artistiques, Outils de travail coopératifImportance du protocole coopératif, conscient ou inconscientProcessusIntroduction CAM, CNAM 200018Types d'univers interactifs•Objets constitutifs•Mode de déplacement•Changement de contexte•Interface de commande discrète ou continueIntroduction CAM, CNAM 200019Objets constitutifs•Univers purement conceptuel liés par des relations sémantique•Simulation d'un univers physique ayant des lois générales d'évolution impliciteIntroduction CAM, CNAM 200020NavigationNavigation selon des relations sémantiquesUnivers à script quasi linéaire (arborescent)Univers à topologie de déplacement continueIntroduction CAM, CNAM 200021ContexteContexte: Un contexte détermine l'interprétation donnée à une action de l'utilisateurAu niveau global une certaine homogénéité est nécessaire(action<-> classe d'inteprétation)Dans les univers peu conceptuel les changements de contexte sont difficilesIntroduction CAM, CNAM 200022HypermédiaParcours par navigation dans un réseau sémantiquePas de simulation d'univers physiqueRéaction contextuelle simple provoquant généralement un changement de contexte sur des commandes discrètes (souris )Introduction CAM, CNAM 200023Script quasi linéaire:(Jeux de plate-formes)Séquences préprogramméesSimulation simpliste de lois physiquesRéaction contextuelle simple sur des commandes discrètes (souris, joystick )Changements de contexte raresIntroduction CAM, CNAM 200024Les systèmes à commandecontinue(Univers virtuels)•Parcours par commande continue dans un univers continu•Changements de contexte exceptionnels•Simulation de loi physiques•Retour "d'effort" avec contraintes physiologiquesIntroduction CAM, CNAM 200025Évolution de la technologieIntroduction CAM, CNAM 200026Technologie matérielleNumérisation:sonimages fixesvidéoAccroissement des capacités de stockage et des débits de transfertDispositifs de compression et décompressionAccroissement des puissances de calculIntroduction CAM, CNAM 200027NumérisationToute information physique est perçue comme une grandeur variant dans le temps (signal)Numérisation<=> échantillonnage dans le temps et l'espace:101111111110010101013 2 1 011 10 01 00Introduction CAM, CNAM 200028Historique•Numérisation du téléphone (60)•Analyse du son (65)•Reconnaissance des formes (caractères, pièces mécaniques, imagerie scientifique) (65)•Analyse d'images fixes (70)•Retouche et montage photographique numérique (70)•Numérisation vidéo (80)Introduction CAM, CNAM 200029Avantages3 2 1 03 2 1 011 10 01 00Pas de perte de qualité lors de la duplication ou du transfertPermet le traitement numérique du signal=>AnalyseReprésentation uniforme des données=>SynthèseIntroduction CAM, CNAM 200030InconvénientVolume et débit d'informationExemples:Image 24x36 qualité photo sans compression (scanpleine ouverture 12b/pixel): 288 GbBande passante TV PAL 5MhzTransfert numérique sans compression (SDI) 270 Mb/sUne minute de son stéréo qualité CD:10 Mo=> Codage complexe et compression des donnéesComplexité des dispositifs de conversion analogique/digitalIntroduction CAM, CNAM 200031Compression (principes)Compression conservative: La plupart des codages "naturels" de l'information sont extrêmement redondantsIl est possible de trouver des codages "meilleurs": nécessitant moins de bits pour définir la même informationCompression non conservative: une partie de l'information sera filtrée soit par les dispositifs de restitution soit par les organes de perception humaineIl est inutile de stocker cette informationIntroduction CAM, CNAM 200032Schéma de principeDonnées codéessous forme naturelleCompressionDécompressionStockage ou transfertDonnées codéessous forme naturelleIntroduction CAM, CNAM 200033HistoriqueDepuis le 19 siècle:Théorie de l'information, Linguistique formelle1900: Traitement du signal1940: Algorithme d'Huffman60 standard du téléphone numérique (MIC)70 Fac similé, compression des fichiers, sur disque80 Standards de compression du son (Ex:Musicam)90 Normes JPEG, MPEG de compression de l'image fixe et animéeIntroduction CAM, CNAM 200034Compression conservative•Codage différentiel•Compression par dictionnaires•Compression HuffmanIntroduction CAM, CNAM 200035Algorithme d'Huffman00 16/25 001 8/25 1010 1/25 11Alphabet codage fréquence codagede base compacté0011Introduction CAM, CNAM 200036Algorithme d'Huffman(.

2) Codage de base 50 bits00000000000001010100000110010000010101000000000000Codage Huffman34 bits0000001010100010111000101010000000Introduction CAM, CNAM 200037Compression non conservativeCompression des images fixes:JPEG: Transformation du signal en spectreSuppression des fréquences "peu visibles»CodageconservatifImages animéesMPEG:JPEG+ Processus d'interpolation entre images successivesSonMIC: échantillonnage en fonction du spectre d'écouteMP3: Utilisation de filtragespsychoacoustiques (effet de masquage)Introduction CAM, CNAM 200038Accroissement des capacités de stockage70 Mémoire centrale 64Ko Disque 10 Mo00 Mémoire centrale 260 Mo Disque 10 Gocoûts de stockage/10000Support Capacité Temps Coûtd'accès lecteurD.Mag10 Go 8 ms > 3KfCD Rom 660 Mo 300ms >1KfDVD Rom 4,7 Go 150 ms >2kf Introduction CAM, CNAM 200039DVD (d'après Sony)Introduction CAM, CNAM 200040Accroissement des capacités de traitement70 IBM 360/30 0,25 MIPS (1MFF)93 IBM RISC 6000 4-6 MIPS (0,1 MFF)02 Pentium IV 3 Ghz20 MIPS (0,015MFF)apparition des coprocesseurs (graphique, calcul flottant )Introduction CAM, CNAM 200041Infrastructure réseauNumérisation progressive de toute l'infrastructure de transmission, Intégration des servicesInfrastructure du téléphone public (dès les années 60)En cours téléphone mobile (seconde génération)télévision (câble, satellite)A venir: Radiotéléphone fixe (local abonné)Introduction CAM, CNAM 200042Quelque débits•Téléphone analogique, câble : 56 Kb/s à 2mb/s•Réseau local: 10 à 1 Gb/s•Infrastructure de télécommunication:100 Mb/s à 100 Gb/s•Téléphone mobile: 8 Kb/s a 4 Mb/s (troisième génération)•En 1970: Modems a 9600 b/s sur réseau commutéIntroduction CAM, CNAM 200043INTERNET: Histoire1960 Préhistoire des réseaux informatiques,début de la numérisation du téléphone1965 Projet Arpadu Darpa1968 Projet Cyclade1968 SNA, Decnet1970 fin du passage à la commutation temporelle en France1972 Transpac1970 Naissance de l'internetaux USA1970-1980: Interconnexion des réseaux de recherche1985: standard ISDN/Numeris1990: Mosaic, Numeris1992: Web, Parution d'un article sur le Web dans Time Magazine1995: 30 Millions d'utilisateurs dans le mondeIntroduction CAM, CNAM 200044INTERNET: Principes de conceptionInternet est au départ un réseau conçu par des chercheurs pour des chercheursPas d'autorité centrale d'administration, une procédure "démocratique de raccordement"On trouve quelque part les innovations technologiques les plus récentes maisla facilité d'accès prime sur l'innovation technologiqueMise en commun d'outils et d'information "gratuitement"Esprit néo "baba cool" marquéC'est aujourd'hui plus un phénomène sociologique que techniqueIntroduction CAM, CNAM 200045TIntroduction CAM, CNAM 200046Technologie logicielleIntroduction CAM, CNAM 200047Techniques essentielles pourle multimédiaReprésentation de données complexes (Hypertexte, réseau sémantiques)Programmation orientée objetSynthèse du son et de l'imageIntroduction CAM, CNAM 200048Processus de création d'un objet multimédia 1VIDEO/PHOTOEnregistrement sonoreNumérisationSynthèseObjetsenregistrésTexturageTraitement et transformationsDescription symboliquedes scènes et de la cinématiquenon interactiveScènes et objets enregistrésIntroduction CAM, CNAM 200049Systèmes interactifsSystèmes non interactifsAdaptation aux moyens derestitutionSynthèse globaleCalculs cinématiques et détection des interactions mécaniquest:=t+DTProcessus de création d'un objet multimédia 2Scènes et objets enregistrésIntroduction CAM, CNAM 200050Exemple Bruges (C.

Boustani)Introduction CAM, CNAM 200051La scèneC'est une description symbolique d'un univers virtuelInterprétable par des outils de synthèse et de visualisationQui se présente comme un document structuréIntroduction CAM, CNAM 200052La scène MPEG 4Introduction CAM, CNAM 200053Que faut il représenter ?•Un référentiel spatial et temporel•Du texte•Des objets virtuels •Des textures•Des comportements dynamiques symboliques•Des indications pour les outils de synthèse et de visualisationIntroduction CAM, CNAM 200054Exemple (1)Introduction CAM, CNAM 200055Exemple (2)DirectionalLightGroupTransformTransformShapeSphereAppearenceMaterialTransformShapeAppearenceMaterialBoxIntroduction CAM, CNAM 200056Exemple (3)Introduction CAM, CNAM 200057Exemple (4)Introduction CAM, CNAM 200058La scène sonore•Sources: fichiers audio ou fichier pour un synthétiseur (commandes midi par exemple)•Position dans l'espace et directivité•Acoustique des pièces par effet géométrique (trous, murs mats ou brillants ) ou perceptif à appliquer•Autres transformations à appliquerIntroduction CAM, CNAM 200059Synthèse des images ou du sonAnalyse•Observation d'un phénomène physique•Déduction des lois qui régissent la perceptionde ce phénomène Synthèse•Construction d'un modèle qui simule le phénomène dans ces aspects perceptifs•Utilisation du modèle pour génére