Détection Estimation / Detection and estimation

Diplômes intégrant cet élément pédagogique :

Descriptif

- Ce cours présente (1) les principes de base des théories statistiques de la détection et de l'estimation, (2) les notions élémentaires de théorie de l'information et de la conception de codes simples.

- Une série de TD illustre ce cours et

 

1) Introduction :
Cette introduction montre les trois niveaux typiques de complexité des problèmes que l'on peut aborder en détection et estimation : détection ou estimation d'un signal connu dans du bruit, d'un signal inconnu (ou partiellement connu) dans du bruit, d'un signal aléatoire dans du bruit. De plus, il montre la forte dépendance des résultats vis-à -vis du modèle et du critère choisis.

2) Théorie de la détection :

- Détection binaire : Critère de Bayes, Rapport de vraisemblance, Courbes COR , Critères Minimax et de Neyman-Pearson, Performance.
- Détection non binaire : Critère de Bayes dans la cas M-aire, Critère de Bayes dans le cas ternaire, Test dans le cas ternaire, Représentation graphique, Extension au cas M-aire.

3) Théorie de l'estimation :

- Estimation d'un paramètre aléatoire : Principe et fonction de coût, estimateurs des moindres carrés et du maximum a posteriori, invariance des estimateurs, estimateur issu d'une observation non linéaire.
- Estimation d'un paramètre déterministe : Principe et mesure de qualité de l'estimateur, maximum de vraisemblance, bornes de Cramer-Rao, applications des bornes, liens entre estimateurs du maximum de vraisemblance et du maximum a posteriori, propriétés de l'estimateur du maximum de vraisemblance.
- Estimation de paramètres multiples : Extension des estimateurs scalaires classiques, performances des estimateurs vectoriels, exemple dans le cas gaussien.

4) Théorie de l'information :

- Grandeurs fondamentales :Entropies, entropies jointes et conditionnelles, entropies relatives et information mutuelle, inégalités de Jensen.
- Codage et compression de données : Exemples de codes, construction de codes, codes optimaux, bornes, théorème de Kraft et de MacMillan, codes de Shannon et d'Huffman.

 

1) Introduction:

The introduction points out the 3 level of complexity of detection and estimation problems: detection or estimation of a known signal in noisy observation, of an unknown signal in noisy observation, of a random signal in noisy observation. It also shows the strong dependency of results with respect of the model and the optimization criterion.

2) Detection theory

- Binary detection: Bayes criterion, Likelihood Ratio Test (LRT), ROC characteristics, MINIMAX and Neyman-Pearson criteria, performance.
- M-ary detection: Bayes criterion in M-ary case, Bayes criterion in ternary detection, detection test for ternary case, extension to M-ary detection

3) Estimation theory:

- Estimation of a random parameter: principles and cost function, least square (LS) and maximum a posteriori (MAP) estimates, estimate invariance, estimate for nonlinear observation.
- Estimation for deterministic parameter: principles and estimate quality measurement, maximum likelihood (ML), Cramer-Rao bounds and applications, relationships between maximum likelihood (ML) and maximum a posteriori (MAP), properties of ML estimate
- Estimation of multiple parameters: from scalar to vectorial estimates, performance for vectorial estimates, examples in the Gaussian case

4) Information Theory:

- Fondamental quatities: entropies, joint and marginal entropies, conditional entropies, mutual information, Jensen inequalities

- Coding and data compression: code examples, code design, optimal codes, McMillan and Kraft theorems, Shannon and Huffman codes

Pré-requis

Probabilités et statistiques, calcul matriciel, traitement du signal.

Bibliographie

Un polycopié de 140 pages contenant des références bibliographiques accessibles dans les bibliothèques universitaires de Grenoble (Polytech'Grenoble, BU Sciences, ENSERG) est fourni aux étudiants.

Informations complémentaires

Lieu(x) : Grenoble - Saint-Martin d'Hères
Langue(s) : Francais