Descriptif
Dans ce cours, les techniques de codage de source et de canal sont solidement établies sur la théorie de l'information (entropie, information mutuelle), utilisée conjointement à des modélisations statistiques des données et des canaux de communication. Après une introduction à cette théorie mathématique, le cours présente les notions fondamentales de la compression de source (quantification scalaire, codage à longueur variable, codage par transformée) et de la correction d'erreurs (maximum de vraisemblance, capacité de correction, codes binaires linéaires, décodage par syndrome).
- Cours magistral : 9
- Contrôle : 3
- Petite classe : 9
Diplôme(s) concerné(s)
Parcours de rattachement
Pour les étudiants du diplôme Diplôme d'Ingénieur de l'Ecole Nationale Supérieure de Techniques Avancées
Aucun pré-requis.
Format des notes
Numérique sur 20Littérale/grade européenPour les étudiants du diplôme Diplôme d'Ingénieur de l'Ecole Nationale Supérieure de Techniques Avancées
Vos modalités d'acquisition :
- le rattrapage est obligatoire si :
- Note initiale < 6
- le rattrapage peut être demandé par l'étudiant si :
- 6 ≤ note initiale < 10
- Crédits ECTS acquis : 2 ECTS
- Scientifique acquis : 2
Le coefficient de l'UE est : 2
La note obtenue rentre dans le calcul de votre GPA.
L'UE est évaluée par les étudiants.
Programme détaillé
1. <b>Outils de théorie de l'information</b>
- Description d'un système de codage
- Rappels sur les probabilités
- Chaînes de Markov
- Divergence
- Information mutuelle
- Entropie et entropie conditionnelle
2. - Débit d'un modem téléphonique
- Densité gaussienne
- Formule de Bayes, traitement réciproque
- Chaînes de Markov
- Positivité de la divergence
- Propriétés de l'entropie
- Entropies différentielle et absolue
3. <b>Théorie de l'information appliquée au codage de source</b>
- Théorème du traitement de données
- Problématique du codage de source: compromis débit/distorsion.
- Fonction taux-distorsion et théorème de Shannon sur le codage de source (sans mémoire) avec pertes.
- Cas d'une source gaussienne
- Application aux performances de système de compression (6dB par bit)
4. - Théorème du traitement de données
- Fonction taux-distorsion: cas extrêmes
- Entropie d'une source gaussienne
- Calcul de R(D) pour une source gaussienne
5. <b>Codage entropique à longueur variable</b>
- Description du système de compression sans pertes
- Codes u.d. et instantanés, condition du préfixe
- Inégalité de Kraft-McMillan
- Codes de Fano-Shannon et de Huffman
- Théorème de Shannon
6. - Condition du préfixe
- Inégalité de Kraft-McMillan
- Construction d'un code instantané
- Dérivation de l'algorithme de Huffman
7. <b>Application de la théorie de l'information au codage de canal</b>
- Présentation générale d'un système de codage de canal: enjeux, performances
- Problématique du codage de canal: compromis débit/puissance/fiabilité.
- Modèles de canaux (CBS, AWGN)
- Capacité d'un canal (sans mémoire)
- Théorème de Shannon sur le codage de canal.
- Capacité du canal binaire symétrique et gaussien
8. <b>Codes linéaires et décodage par syndrome</b>
- Règles de décodage optimal (MAP, ML)
- Distance de Hamming, paramètres d'un code correcteur
9. - Codes linéaires: paramètres, matrice génératrice, matrice de parité
- Introduction au décodage par syndrome.
10. - Exemples de codes linéaires: répétition, parité, Hamming (7,4,3)
-Exemples de décodage
11. <b>Quantification scalaire</b>
- Description du système de quantification
- Conditions du plus proche voisin et du centroïde
- Algorithme de Lloyd-Max
- Performances en haute résolution
- Performances en présence d'un codeur entropique
12. - Caractéristique débit-distorsion en haute résolution
- Minima locaux de l'algorithme de Lloyd-Max
- Densité des cellules de quantification
- Optimisation de la formule de Bennett
- Compensation non linéaire
- Introduction à la quantification vectorielle
13. Contrôle de Connaissances
Epreuve écrite de 3h