Phelma Formation 2022

Théorie de l'information (SICOM S7) - 4PMSTHI9

  • Volumes horaires

    • CM 12.0
    • Projet 0
    • TD 6.0
    • Stage 0
    • TP 0

    Crédits ECTS

    Crédits ECTS 1.5

Objectif(s)

Donner les principes fondamentaux de la théorie de l'Information, énoncés par C.
Shannon dans un contexte de communication.
Application de la théorie pour énoncer les limites du possible en termes de codage de
source/compression des données (efficacité), et en termes de transmission d'information fiable (protection) au travers d'un canal bruité.

Contact Laurent ROS

Contenu(s)

1 - Eléments généraux de théorie de l'information : mesure d'information, entropie, information mutuelle, divergence de Kullback-Leibler, débit, introduction aux
sources avec mémoires et sources de Markov.

2 - Codage de source/compression : caractérisation, Inégalité de Kraft, Théorème de Shannon/compression, exemple des techniques de codages de Shannon-Fano, de Huffman

3 - Capacité et codage de canal : perturbation, capacité, redondance, théorème du codage de canal (2°th. Shannon).

4 - Théorie de l'Information dans le cas de Variables Aléatoires continues, capacité d'un canal continu à Bruit Blanc Additif Gaussien



Prérequis

Contrôle des connaissances

Session 1 :
si cours en présence : examen écrit présentiel de 2 heures
si cours/examen à distance : contrôle continu

Session 2 :
si présentiel possible : examen écrit présentiel de 2 heures
sinon : examen à distance



Session 1 :
If in-person courses and examination possible: 2 hours supervised written examination
else : homework report

Session 2 :
If in-person examination possible : 2 hours supervised written examination
else: distance examination

Informations complémentaires

Cursus ingénieur->Filières->Semestre 7

Bibliographie

T.M. Cover, J.A. Thomas, Elements of Information Theory, Wiley & Sons, 2nd edition, 2006.
G. Battail, « Théorie de l'information : application aux techniques de communication », col. pédagogique de Télécommunication, MASSON, 1997
F. Auger, « Introduction à la théorie du signal et de l'information , cours et exercices », Ed. Technip, 1999