[PDF] [PDF] La théorie mathématique de la communication

View - Download [PDF] La théorie mathématique de la communication

Previous PDF

Next PDF

CLAUDESHANNON

WARRENWEAVER

Lathéorie mathématique

delacommunication

Traduitdel'anglaisparJ.Cosnier ,G.Dahan,

S.Economidès,C. Bellaïche,e tO.Rioul

Préfaced'OlivierRioul

CASSINI

ISBN978-2-84225-217-5

©1949,1998b ytheBoard ofTrusteesof theUniv ersityof Illinois

©2017Cassinipour latraduction

Tabledesmatières

Préface1

parOlivierRioul

Lathéoriemathématiq uede lacommunication9

parClaudeE. Shannon

Introduction9

I.Syst èmesdiscretssansbruit15

1.Lecanal discretsansbr uit. ... ... ...... ... 15

2.Lasource d'information discrète. ......... ... 18

3.Lessér iesd'approximation del'anglais... ...... 23

4.Représentation graphiqued'unprocessusde Marko

..25

5.Sourceser godiques etmixtes....... ... ... ..27

6.Choix,incer titudeet entropie..... ... ... ... .29

7.L'entropie d'unesourced'information ... ... ....35

8.Représentation desopérationsdecodageet dedécodage .39

9.Lethéorème fondamentalpour uncanalsans bruit.... 41

10.Discussionet ex emples.. ......... ... ... .45

II.Lecanal discret av ecbruit49

11.Représentation d'uncanaldiscretbruité. ... .. ... 49

12.Équiv ocationetcapacitéducanal... ... ... ... .50

13.Lethéorème fondamentalpour uncanal discretavecbruit 55

14.Discussion. ... ... ... ... .. ... ... ... .59

15.Exemple d'uncanaldiscretetde sacapacité. ... ... 61

16.Lacapacité ducanaldans certainscas particuliers. ... 63

17.Un exempledecodag ee

cace.. ... ... ... ... 65

III.Information continue67

18.Classeset ensemblesdef onctions.. ... .. .....67

19.Espacesde fonctionsà bandelimitée. ...... .. ..73

20.Entropied'une distribution continue.. ........ .74

21.Entropied'un ensemblede fonctions. ... ... ....79

22.Per ted'entropiedansdesfiltreslinéaires.. ... ... .81

!1 er août2017

Shannon4g

23.Entropiede lasomme dedeuxensembles ... ... ..84

IV.Lecanalcontinu87

24.Lacapacité d'uncanalcontinu ... ... ... .. ... 87

25.Capacitéd'un canalav ecunepuissance moyenne limitée90

26.Lacapacité d'uncanala vecune puissancedecrête limitée95

V.Ledébitd'unesource continue101

27.Fonctions d'évaluationdelafidélité. ...... .. ..101

28.Ledébit d'unesourcerelatif àuncr itèredefidélité ... 105

29.Lecalcul desdébits. .. ... ... ... ... ... ..107

Appendices111

Contributionsrécent esàlathéoriedelacommunication125 parWar renWeaver

1.Note introductive... ...... ... ... ... ... 125

1.1.Communication. ... ... ... ... .. ... 125

1.2.Lestroisniv eauxdesproblèmes decommunication126

1.3.Commentaires. .. ... ... ... ... ... 128

2.Problèmesde communicationauniv eauA ... ... ..129

2.1.Un systèmedecommunicationet sesproblèmes.129

2.2.L'inf ormation.......... ... .. ... .131

2.3.Capacitéd'un canaldecommunication ... ..139

2.4.Lecode ... ... ... ... ... .. ... ..140

2.5.Lebr uit.. ..... ... ... ... ... ... 142

2.6.Messages continus..... ... ... .. ... 146

3.Interrelations entrelestroisniveaux. ... .. ... ..148

3.1.Introduction. ... ... ... ... .. ... ..148

3.2.Généralitéde lathéorie auniveau A.. ..... 148

!"1 er août2017

Shannon4g

Préface

En1948,Claude ElwoodShannon publie"une théorie

mathématiquedelacommunication »(AMathematical Theory ofCommunication),lefr uitdepresq uedixannéesderecherc he. L'articleparaîtendeuxpartiesdans lesnumérosde juilletet d'octobreduBellSys temTechnicalJournal,lare vuespécialisée deslaboratoiresBell. Ils 'agitd'undes travaux scientifiquesqui ontex ercéleplusd'influencedèsleurparution, etpeude textes onteuun impactaussiimpor tantdansnotre mondemoderne. Au début,lesrésultats deShannonétaient sioriginaux quecer tains onteudu malàcomprendre leurimportance ;maisils rassemblent tellementd'av ancéesfondamentalesetdecoupsdegénieq ue Shannonest aujourd'huilehérosdemilliersde chercheurs. Par uneapproche probabilisteoùl'entropiejoueun rôlecentral,la théoriedécritmathématiquement lanotiond'informationet résout complètementlesproblèmes decompressionet detransmissionde donnéesenfix antles limitesfondamentalesdeperf ormance.P our lapremièref ois,oncomprend quetoutecommunicationfiabledoit

êtreessentiellementnumér ique(digitale).

L'articlearapidementfaitl'e

etd'unebombe, etsous l'impulsiondeW arrenW eaver,onasouhaitéfaire connaîtrela théoriedeShannonauplus grand nombre,endépassant lecadre d'unerevue spécialisée.L'annéesuivante, ilest re-publiésous formedelivre,précédéd'une xposéintroductifde Weav er.À cette occasion,lete xtedeShannon reçoitquelquescorrections etdes référencessontmisesàjour .Maisle changement quies tàla foisleplusanodinet leplus importantconcer neletitre :"U ne théoriemathématiquedela communication»devient"Lathéorie mathématiquedelacommunication» (TheMathematical Theory ofCommunication). 11 er août2017

Shannon4g

#-,./#0& L'exposédeWeaver, "Contributions récentesàlathéoriede lacommunication», dontune forme condenséeest publiéela mêmeannéedans lare vuedevulg arisationscientifiq ueScientific American,est unedesnombreusescontributionsà ladi !usionde lathéorie auprèsdugrandpublic.Mû parung randenthousiasme, Weaveryprendenquelquesor telecontre-pied deShannon: alors quecedernierécar ted'embléel'aspect sémantiquedesmessages poursecirconscr ireauproblème techniquedel'ingénieuren communication,Wea vertented'expliquercommentlesidéesde Shannonpourraient s'étendrebienaudelàde sesobjectifsinitiaux, àtoutesles sciencesqui abordentdesproblèmes decommunication ausenslar ge- commelalinguistiqueetlessciencessociales. Les idéesdeW arren Weaver,précisémentparcequ 'ellesprécèdent letexte deShannondanslav ersionoriginale dulivre,ont eu unimpactimmense :iles tprobableq uedenombreux lecteurs sesontf aitleuridée delathéorieenlisant Weav eret sesont arrêtésauxpremiersénoncésmathématiq uesde Shannon.Encore aujourd'hui,onattr ibuepar foislathéorieà Weaverautantqu'à Shannon,etla premièreéditionen françaisdece livreparles éditionsRetz en1975élèvemêmeW eaver aurangde premier auteur. L'exposédeWeavera ainsicontribué àfaireuneextraordinaire publicitéàla théorie deShannonq uiestvitedev enueundomaine à lamodeau mêmetitreq uelacyber nétiqueou l'informatiq ue.Mais commel'areconnu Shannonlui-même, cettepopularité aporté en estappliquée,parf oissansdiscernement,àde nombreuxdomaines commelaph ysique fondamentale,labiologie,lalinguistique,la psychologie,l'économieetd'autressciencessociales ;àtel point queShannon,dansunéditor ialintitulé TheBandwagon ("Letrain enmarche »)enmars1956,meten gardecontre lesdériv esd'une tellepopularité.

Depuiscesannées, lesou

éest retombéquelquepeu,mais

lathéorie delacommunication,aujourd'huimieux connuesous lenomde théoriedel'information ,est toujoursaussivivante entantq uedisciplinemathématiq ueappliquéeauxcommuni- #1 er août2017

Shannon4g

cationsetà d'autressciences.A vecle recul,oncomprend que letexte deShannonresteintemporelalors quecelui deWea ver estunpeutombéen désuétude.Il estsymptomatiq uequ 'aujour- d'hui,lesar ticlesscientifiques dudomainecitentpresquee x- clusivementl'articlede1948 (centmillecitations,septmille parances dernièresannées) audétriment dulivrede1949 (citéunpeu plusdedeux millefois seulementdepuissa paru- tion). Jesuistrès reconnaissantauxéditions Cassinid'a voirpr isla décision,centans aprèsla naissancedeShannon, derééditerla traductionfrançaisedu livre deShannonet Weaver.Les erreursde latraductioninitiale de1975des éditionsRetz ontétécor rigées etl'exposé deWeaver estrelégué àlafindel'ouvragepourson intérêthistor ique.CelaredonneautexteinitialdeShannonsaplace d'oeuvremathématique depremierplan. Danscetra vail,Shannon achoisidélibérémentdeprivilégier lacompréhensionau détriment delar igueur,avecun style de rédactionrelativement léger,typiquede l'époque.Celapermet unelectureaisée dulivreet explique sansdouteson caractère intemporel.Aujourd'hui, lestraitéssurlathéorie del'infor mation sontempreintsd'une bienplusg randerigueur formelle, maisen regardantdeprèslete xtedeShannon, touslesrésultats importants, ycompris quelques-unsdesplus avancés,ysontdéjàprésents.La théorieestnéeentièrement formée! Unautresignedela grandeur decelivre estq uesespréceptes fondamentauxnousapparaissentaujourd'huiévidents, alorsqu 'ils étaientrévolutionnaires. Dansleparadigmedela communication queShannonexposedès lespremières pages,unmessageémis par unesourced'inf ormation esttransmisdansuncanalbruitépuis reçuparle destinataire :untel schéma,quidistingue clairement lesrôlesde l'émetteuretdu récepteur,ainsi quedu signaletdu bruit,nousestcomplètement naturelaujourd'hui. L'idéemême d'unecommunicationnumér ique estmaintenantsicourantedans lemondetec hnologiquemoder nequ'onpourraitse demander pourquoiShannonaéprouvé lanécessité d'énoncerunec hoseaussi

évidente.

+1 er août2017

Shannon4g

,-,./#0& Lecoeurde lathéorie exposéedans celivrees tlanotion d'entropie,etcelle d'entropieconditionnelle, appliquéesaux sourcesd'infor mationetauxcanauxdetransmission.Shannon montreenq uoicesnotions sontnaturellesetlesutilise,g râceau principedemaximumd'entropie,pour démontrerses théorèmesde codage.Àcetteoccasion,il développe desconceptsmathématiq ues trèsav ancés,surlessuitestypiquesqui exploitentla loides grands nombres,etsur leschoix aléatoiresde codes. L'influencedesthéorèmesdeShannonsurle développement destélécommunicationsn 'apastoujours étéévaluéeàsajus te mesure,maisa étéconsidérable.A vantShannon, desmoy ens decommunicationcomme letélégraphe ontétédév eloppéspour ainsidiredans lebrouillard,sans lerepèreultime permettantde savoirjusqu'oùonpeut aller.AvecShannon,onsaitquepourdes ressourcesdonnées,quoiquel'on fasse,lemeilleur système de communicationfiable- av ecuntaux d'erreursaussifaibleque souhaité-ne pourrajamais dépasserunecer tainelimitebien déterminée(etcalculable)surle débitd'infor mation.Cesont les théorèmesdeShannon quidéter minentleslimites fondamentales, aussibiensur lecontenud'inf ormationd'une sourceque surla capacitédetransmission d'uncanal.Ils o rentainsiaux ingénieurs lapromessed'une communicationultime presquesans erreurs, laréférence deperformance, exprimée enbitsparseconde,à laquelletoutsystème pratiquede communicationpeutsecomparer. Sanslesf ormulesthéor iquesdeShannon,lessystèmesnumér iques plusdetemps àsedév elopper. Ilaf alluplusieursdécennies avant devoir apparaîtredessolutionspratiquesdont lesperf ormances s'approchentdeslimitesétabliesparShannon.On peutdire,sans exagérer,queShannonestlemathématiciendont lesthéorèmes ontrendupossible lemondedu numérique quenous connaissons aujourd'hui. Maisl'intérêtpr incipalde celivrerésideencore,selonmoi, danssoncontenu mathématique.L 'expér iencedelalecturedece ,1 er août2017

Shannon4g

unevisionprof ondeetf ondamentale,expriméedansle formalisme toutsongénie ettoutesles subtilitésde sadélicieusethéor ie.

OlivierRioul

-1 er août2017

Shannon4g

quotesdbs_dbs13.pdfusesText_19

[PDF] shannon et weaver biographie

[PDF] théorie de la communication jakobson

[PDF] théorie musicale guitare pdf

[PDF] théorie musicale pour les nuls

[PDF] livre albert einstein pdf

[PDF] einstein livre gratuit

[PDF] citation einstein connaissance pdf

[PDF] relativité générale formule

[PDF] la différence entre un roman épistolaire et une lettre dans un roman

[PDF] lettre fictive définition

[PDF] les fondements de la théorie de la relativité générale

[PDF] pourquoi relativité

[PDF] formule relativité restreinte terminale s

[PDF] économie de localisation définition

[PDF] exemple de récit fantastique