Descriptif
Dans ce cours, les techniques de codage de source et de canal sont solidement établies sur la théorie de l'information (entropie, information mutuelle), utilisée conjointement à des modélisations statistiques des données et des canaux de communication. Après une introduction à cette théorie mathématique, le cours présente les notions fondamentales de la compression de source (quantification scalaire, codage à longueur variable, codage par transformée) et de la correction d'erreurs (maximum de vraisemblance, capacité de correction, codes binaires linéaires, décodage par syndrome).
Objectifs pédagogiques
Etre capable d'utiliser les outils de la théorie de l'information pour décrire des phénomènes expérimentaux statistiques ;
Etre capable d'appliquer les principes de la théorie de l'information à la conception pratique de systèmes de codage ;
Etre capable de sélectionner en fonction du contexte les algorithmes de compression et de transmission de l'information, de les mettre en œuvre et d’évaluer leurs performances.- Cours magistral : 9
- Contrôle : 3
- Petite classe : 9
Diplôme(s) concerné(s)
Parcours de rattachement
Pour les étudiants du diplôme Diplôme d'Ingénieur de l'Ecole Nationale Supérieure de Techniques Avancées
Aucun pré-requis.
Format des notes
Numérique sur 20Littérale/grade européenPour les étudiants du diplôme Diplôme d'Ingénieur de l'Ecole Nationale Supérieure de Techniques Avancées
Vos modalités d'acquisition :
- le rattrapage est obligatoire si :
- Note initiale < 6
- le rattrapage peut être demandé par l'étudiant si :
- 6 ≤ note initiale < 10
- Crédits ECTS acquis : 2 ECTS
- Scientifique acquis : 2
Le coefficient de l'UE est : 2
La note obtenue rentre dans le calcul de votre GPA.
L'UE est évaluée par les étudiants.
Programme détaillé
1. <b>Outils de théorie de l'information</b>
- Description d'un système de codage
- Rappels sur les probabilités
- Chaînes de Markov
- Divergence
- Information mutuelle
- Entropie et entropie conditionnelle
2. - Débit d'un modem téléphonique
- Densité gaussienne
- Formule de Bayes, traitement réciproque
- Chaînes de Markov
- Positivité de la divergence
- Propriétés de l'entropie
- Entropies différentielle et absolue
3. <b>Théorie de l'information appliquée au codage de source</b>
- Théorème du traitement de données
- Problématique du codage de source: compromis débit/distorsion.
- Fonction taux-distorsion et théorème de Shannon sur le codage de source (sans mémoire) avec pertes.
- Cas d'une source gaussienne
- Application aux performances de système de compression (6dB par bit)
4. - Théorème du traitement de données
- Fonction taux-distorsion: cas extrêmes
- Entropie d'une source gaussienne
- Calcul de R(D) pour une source gaussienne
5. <b>Codage entropique à longueur variable</b>
- Description du système de compression sans pertes
- Codes u.d. et instantanés, condition du préfixe
- Inégalité de Kraft-McMillan
- Codes de Fano-Shannon et de Huffman
- Théorème de Shannon
6. - Condition du préfixe
- Inégalité de Kraft-McMillan
- Construction d'un code instantané
- Dérivation de l'algorithme de Huffman
7. <b>Application de la théorie de l'information au codage de canal</b>
- Présentation générale d'un système de codage de canal: enjeux, performances
- Problématique du codage de canal: compromis débit/puissance/fiabilité.
- Modèles de canaux (CBS, AWGN)
- Capacité d'un canal (sans mémoire)
- Théorème de Shannon sur le codage de canal.
- Capacité du canal binaire symétrique et gaussien
8. <b>Codes linéaires et décodage par syndrome</b>
- Règles de décodage optimal (MAP, ML)
- Distance de Hamming, paramètres d'un code correcteur
9. - Codes linéaires: paramètres, matrice génératrice, matrice de parité
- Introduction au décodage par syndrome.
10. - Exemples de codes linéaires: répétition, parité, Hamming (7,4,3)
-Exemples de décodage
11. <b>Quantification scalaire</b>
- Description du système de quantification
- Conditions du plus proche voisin et du centroïde
- Algorithme de Lloyd-Max
- Performances en haute résolution
- Performances en présence d'un codeur entropique
12. - Caractéristique débit-distorsion en haute résolution
- Minima locaux de l'algorithme de Lloyd-Max
- Densité des cellules de quantification
- Optimisation de la formule de Bennett
- Compensation non linéaire
- Introduction à la quantification vectorielle
13. Contrôle de Connaissances
Epreuve écrite de 3h