Volumes horaires
- CM 12.0
- Projet 0
- TD 6.0
- Stage 0
- TP 0
Crédits ECTS
Crédits ECTS 1.5
Objectif(s)
Donner les principes fondamentaux de la théorie de l'Information, énoncés par C.
Shannon dans un contexte de communication.
Application de la théorie pour énoncer les limites du possible en termes de codage de
source/compression des données (efficacité), et en termes de transmission d'information fiable (protection) au travers d'un canal bruité.
Contenu(s)
1 - Eléments généraux de théorie de l'information : mesure d'information, entropie, information mutuelle, divergence de Kullback-Leibler, débit, introduction aux
sources avec mémoires et sources de Markov.
2 - Codage de source/compression : caractérisation, Inégalité de Kraft, Théorème de Shannon/compression, exemple des techniques de codages de Shannon-Fano, de Huffman
3 - Capacité et codage de canal : perturbation, capacité, redondance, théorème du codage de canal (2°th. Shannon).
4 - Théorie de l'Information dans le cas de Variables Aléatoires continues, capacité d'un canal continu à Bruit Blanc Additif Gaussien
Prérequis
Contrôle des connaissances
Session 1 :
si cours en présence : examen écrit présentiel de 2 heures
si cours/examen à distance : contrôle continu
Session 2 :
si présentiel possible : examen écrit présentiel de 2 heures
sinon : examen à distance
Session 1 :
If in-person courses and examination possible: 2 hours supervised written examination
else : homework report
Session 2 :
If in-person examination possible : 2 hours supervised written examination
else: distance examination
Bibliographie
T.M. Cover, J.A. Thomas, Elements of Information Theory, Wiley & Sons, 2nd edition, 2006.
G. Battail, « Théorie de l'information : application aux techniques de communication », col. pédagogique de Télécommunication, MASSON, 1997
F. Auger, « Introduction à la théorie du signal et de l'information , cours et exercices », Ed. Technip, 1999