[PDF] [PDF] Théorie du signal et de linformation Notes de cours - Laurent Oudre

View - Download [PDF] Théorie du signal et de linformation Notes de cours - Laurent Oudre

Previous PDF

Next PDF

Théorie du signal et de l"information

Notes de cours

Laurent Oudre

laurent.oudre@ens-paris-saclay.fr

ENS Paris Saclay

M1 Parcours Jacques Hadamard

2023 - 2024

2

Table des matières

Introduction générale

5

1 Organisation du cours

5

2 Contenu du cours

5 2.1 Théorie du signal : conversion analogique-numérique 6 2.2 Théorie de l"information : information et entropie 9 2.3

Codage source : compression de l"information

10 2.4

Codage canal : transmission de l"information

11 2.5 Théorie du signal [le retour] : vers les communications numériques 12

3 Plan du cours

13

4 Références

13

I Théorie de l"information

14

1 Variables aléatoires sur un espace probabilisé discret

15 1.1

Espace probabilisé discret

15 1.2

Variable aléatoire discrète

16 1.3

Couple de variables aléatoires discrètes

18 1.4

Loi des grands nombres

20

2 Schéma de Shannon

21
2.1

Système de communication

21
2.2

Source discrète

22
2.3

Canal discret

25

3 Information et entropie

27
3.1

Information élémentaire

27
3.2

Entropie d"une source

29
3.2.1

Définition

29
3.2.2

Interprétation de l"entropie

30
3.2.3

Divergence de Kullback-Leibler

31
3.2.4

Propriétés de l"entropie

33

4 Entropies conjointe et conditionnelles, information mutuelle

33
4.1

Entropie conjointe

33
4.1.1

Définition

33
4.1.2

Propriétés

34
4.2

Entropies conditionnelles

35
4.2.1

Définition

35
4.2.2

Propriétés

36
Théorie du signal et de l"information - Laurent Oudre - 2023-2024 3 4.3

Diagramme de Venn

38
4.4

Information mutuelle

40
4.4.1

Définition

40
4.4.2

Propriétés

40
4.5

Extension à plusieurs variables aléatoires

43
4.5.1

Information mutuelle conditionnelle

43
4.5.2

Formules des conditionnements successifs

45

5 Propriété asymptotique d"équirépartition (AEP)

46
5.1

Définition

47
5.2

Ensemble des séquences typiques

48
5.2.1

Définition

48
5.2.2

Conséquences sur le codage source

51
5.3

Ensemble des séquences conjointement typiques

52
5.3.1

Définition

52
5.3.2

Application au codage canal

56

II Codage source

58

1 Classes de codes source

60
1.1

Quelques définitions importantes

60
1.2

Code non singulier

61
1.3

Code déchiffrable

62
1.4

Code instantané

62

2 Propriétés des codes binaires instantanés

65
2.1

Inégalité de Kraft

65
2.2

Longueur moyenne minimale

69
2.3

Rendement et redondance d"un code

70

3 Premier théorème de Shannon

71
3.1

Première version

71
3.2

Extension d"une source et deuxième version

73

4 Code de Huffman

75
4.1

Algorithme de codage

75
4.2

Optimalité du codage de Huffman

78

III Codage canal

81

1 Principe du codage canal

81
1.1

Exemple introductif

82
1.2 (M,n)-code 84

2 Inégalité de Fano

86
2.1

Théorème du traitement de l"information

87
2.2

Inégalité de Fano

88

3 Capacité d"un canal

90
3.1

Capacité d"un canal binaire symétrique

91
3.2

Capacité d"un canal multi-usages

93

4 Deuxième théorème de Shannon

95

5 Théorème de séparation source-canal

96
Théorie du signal et de l"information - Laurent Oudre - 2023-2024 4

6 Codes détecteurs et correcteurs d"erreurs

98
6.1

Propriétés des codes canal

100
6.2quotesdbs_dbs29.pdfusesText_35

[PDF] transfert de chaleur cours et exercices corrigés pdf

[PDF] translation 4eme cours

[PDF] ue1 paces qcm

[PDF] tout lue1 en fiche

[PDF] ue1 paces programme

[PDF] cours ue2 paces pdf

[PDF] paces pdf cours

[PDF] cours paces ue2

[PDF] la france et lunion européenne dans le monde

[PDF] exemple de rapport de veille concurrentielle

[PDF] rapport de veille concurrentielle pdf

[PDF] veille marketing et commerciale

[PDF] exemple de veille commerciale

[PDF] cours de camera pdf

[PDF] cours de prise de vue vidéo