Voir la source de Théorème de Glivenko-Cantelli

En [[théorie des probabilités]], le '''théorème de [[Valery Glivenko|Glivenko]]-[[Francesco Paolo Cantelli|Cantelli]]''', communément appelé « ''théorème fondamental de la [[statistique]]'' »<ref>{{Lien web |auteur=Benoît Cadre |titre=Modélisation statistique |url=https://web.archive.org/web/20240504135002/https://w3.ens-rennes.fr/math/people/benoit.cadre/fichiers/chap1.pdf |consulté le=4 mai 2024}}</ref> exprime dans quelle mesure une [[loi de probabilité]] peut être révélée par la connaissance d'un (grand) [[Échantillon (statistiques)|échantillon]] de ladite loi de probabilité.

== Notations ==
Soit <math>X_1,\ldots,X_n</math> un échantillon de [[Variable indépendante et identiquement distribuée|variables aléatoires réelles i.i.d.]] définies sur un espace de probabilité <math>(\Omega, \mathcal A, \mathbb P)</math> avec pour fonction de répartition commune <math>F</math>.

Le théorème de Glivenko-Cantelli énonce la [[convergence uniforme]] presque partout de la [[fonction de répartition empirique]] <math>F_n</math> vers <math>F</math>. Il entraîne donc de plus la [[convergence en loi]] de <math>\mu_n</math> vers la loi de probabilité <math>\mu</math> correspondant dont la fonction de répartition est <math>F</math>, une loi de probabilité étant [[Fonction de répartition#Caractérisation de la loi par la fonction de répartition|caractérisée par sa fonction de répartition]].

== Énoncé ==
{{Théorème|Théorème de Glivenko-Cantelli<ref>{{Harvsp|Billingsley|2012|p=268}}</ref>||énoncé=Soient <math>(\Omega, \mathcal A, \mathbb P)</math> un [[espace probabilisé]]. Soient <math>X_1, \dots, X_n, \dots</math> des variables aléatoires indépendantes et uniformément distribuées de même [[fonction de répartition]] <math>F</math>. Pour <math>\omega \in \Omega</math>, on appelle <math>F_n(\cdot, \omega)</math> la [[fonction de répartition empirique]] de l’échantillon <math>X_1(\omega), \dots, X_n(\omega)</math>.

<math>\mathbb P</math>-[[presque sûrement]], la fonction de répartition empirique <math>F_n</math> converge uniformément vers la fonction de répartition <math>F</math>, ou bien, de manière équivalente :  
<center><math>\mathbb{P}_{\omega}\left(\lim_n\ \|F_n(\cdot , \omega)-F\|_\infty=0\right)=1.</math></center>}}
La fonction de répartition peut s'écrire comme une moyenne de variables aléatoires de Bernoulli, i.e.

<center><math>F_n(x, \omega) = \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{\{X_i(\omega) \leq x\}}.</math></center>

Puisque ces variables sont de moyenne <math>F(x)</math>, la [[loi forte des grands nombres]] implique que
<center><math>\forall x\in \R,\quad\mathbb{P}\left(\lim_n\ |F_n(x,\omega)-F(x)|=0\right)=1,</math></center>
mais il n'en découle pas nécessairement que
<center><math>\mathbb{P}\left(\forall x\in \R,\quad\lim_n\ |F_n(x,\omega)-F(x)|=0\right)=1,</math></center>
puisqu'une intersection non [[Ensemble dénombrable|dénombrable]] d'ensembles de probabilité 1 (ensembles [[Ensemble négligeable#« Presque sûrement »|presque sûrs]]) n'est pas nécessairement de probabilité 1. Cette intersection serait-elle de probabilité 1 qu'on n'aurait alors prouvé que la [[convergence simple]], au lieu de la [[convergence uniforme]] énoncée par le théorème de Glivenko-Cantelli.

Le [[Théorème de Donsker#Énoncé pour les processus empiriques|théorème de Donsker]] et l'[[inégalité DKW]] précisent le théorème de Glivenko-Cantelli en donnant des indications sur la rapidité de convergence, qui est de l'ordre de <math>1/\sqrt{n}.</math>

== Démonstration ==
Cette preuve utilise le deuxième [[Théorèmes de Dini|théorème de Dini]]<ref>{{Ouvrage|langue=fr|auteur1=Ivan Nourdin|titre=Agrégation de mathématiques épreuve oral|éditeur=[[Éditions Dunod|Dunod]]|année=|numéro d'édition=2|passage=109|isbn=}}</ref>. Pour une preuve [[combinatoire]] faisant intervenir des [[Inégalité de concentration|inégalités de concentration]], voir la preuve des [[Classe de Glivenko-Cantelli|classes de Glivenko-Cantelli]]. La loi forte des grands nombres nous assure que pour tout <math>x \in \mathbb R, F_n(x)</math> converge presque-sûrement vers <math>F(x)</math> et de plus <math>F_n</math> est croissante pour tout <math>n \in \mathbb{N}^*</math>. Néanmoins quelques problèmes se posent pour appliquer ce théorème :
* La fonction de répartition <math>F</math> n'est pas nécessairement continue ;
* La convergence n'a pas lieu sur un segment ;
* La loi forte des grands nombres nous donne une convergence sur un ensemble qui dépend de <math>x \in \mathbb R</math>, i.e. <center><math>\forall x \in \mathbb R, \exists A_x \in \mathcal A \ \textrm { t.q. } \ \mathbb P(A_x) = 1 \ \mathrm{ et } \ \forall \omega \in A_x, \lim_{n \to +\infty} F_n(x,\omega) = F(x).</math></center> Pour pouvoir appliquer le second théorème de Dini, il faudrait que <center><math>\exists A \in \mathcal A \ \mathrm{t.q.} \ \mathbb P(A)=1 \ \mathrm {et} \ \forall x \in \mathbb R, \forall \omega \in \mathcal A, \lim_{n \to +\infty} F_n(x,\omega) = F_n(x).</math></center>
On résout les deux premiers points avec l'[[Fonction de répartition inverse|inverse généralisée de la fonction de répartition]] (appelée aussi [[fonction de quantile]]) <math>F^\leftarrow</math> et le troisième grâce à la [[Espace séparable|séparabilité]] de <math>\mathbb R</math> (i.e. <math>\mathbb R</math> admet un sous-ensemble dense et au plus dénombrable comme <math>\mathbb Q</math>).

Soient <math>U_1, \dots, U_n</math> des variables i.i.d. [[Loi uniforme continue|uniformes]] sur <math>[0,1]</math> alors la fonction de répartition inverse vérifie la propriété <math>X_i \ \overset{\mathcal{L}}{=} \ F^\leftarrow(U_i)</math><ref>{{Ouvrage|langue=fr|auteur1=Philippe Barbe|auteur2=Michel Ledoux|titre=Probabilité|éditeur=[[EDP Sciences]]|collection=Enseignement Sup|année=|passage=50|isbn=}}</ref>. Alors

<center><math>\begin{align}
\sup_{t \in \mathbb{R}} |F_n(t)-F(t)| &= \sup_{t \in \mathbb{R}} \left| \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{\{X_i \leq t\}} - F(t) \right| \\
&\sim \sup_{t \in \mathbb{R}} \left| \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{\{F^\leftarrow (U_i) \leq t\}} - F(t) \right| = \sup_{t \in \mathbb{R}} \left| \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{\{U_i \leq F(t)\}} - F(t) \right| \\
&= \sup_{s \in F(\mathbb{R})} \left| \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{\{U_i \leq s\}} - s \right| \leq \sup_{s \in [0,1]} \left| \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{\{U_i \leq s\}} - s \right|
\end{align}</math></center>

Il suffit donc de montrer que le théorème de Glivenko-Cantelli est vrai dans le cas de variables aléatoires uniformes sur <math>[0,1] </math>. Grâce à la loi forte des grands nombres, on a que :  <center><math>\forall s \in [0,1], \exists A_s \in \mathcal{A} \ \textrm{ t.q. } \ \mathbb{P}(A_s) = 1 \ \textrm{ et } \ \forall \omega \in A_s, \frac{1}{n} \sum_{k=1}^n \mathbf{1}_{\{U_k(\omega) \leq s\}} \underset{n \to +\infty}{\longrightarrow} s. </math></center> Il faut donc trouver un ensemble <math> A </math> de mesure pleine qui soit uniforme pour tous les <math> s \in [0,1] </math>. Comme <math> \mathbb{Q} </math> est dénombrable et que l'intersection dénombrable d'ensembles de mesure pleine étant de mesure pleine, on en déduit que : <center><math> \exists A \in \mathcal{A} \ \textrm{ t.q. } \ \mathbb{P}(A) = 1 \ \textrm{ et } \ \forall s \in [0,1] \cap \mathbb{Q}, \forall \omega \in A, \frac{1}{n} \sum_{k=1}^n \mathbf{1}_{\{U_k(\omega) \leq s\}} \underset{n \to +\infty}{\longrightarrow} s. </math></center> Montrons que la propriété reste vraie pour tout <math> s \in [0,1] </math> : soit <math> s \in [0,1] </math> et <math> \omega \in A </math> alors on se donne une suite croissante <math> (s_n)_{n \in \mathbb{N}}</math> et décroissante <math> (t_n)_{n \in \mathbb{N}} </math> appartenant à <math> [0,1] \cap \mathbb{Q} </math> et de limite <math> s </math>. Alors pour <math> l </math> fixé et <math> n \geq 1 </math> : <center><math> \frac{1}{n} \sum_{k=1}^n \mathbf{1}_{\{U_k(\omega) \leq s_l\}} \leq \frac{1}{n} \sum_{k=1}^n \mathbf{1}_{\{U_k(\omega) \leq s\}} \leq \frac{1}{n} \sum_{k=1}^n \mathbf{1}_{\{U_k(\omega) \leq t_l\}}, </math></center> d'où, en faisant tendre <math> n \to +\infty </math>, <center><math> s_l \leq \liminf_{n \to +\infty} \frac{1}{n} \sum_{k=1}^n \mathbf{1}_{\{U_k(\omega) \leq s\}}  \leq \limsup_{n \to +\infty} \frac{1}{n} \sum_{k=1}^n \mathbf{1}_{\{U_k(\omega) \leq s\}} \leq t_l </math></center> et on conclut en faisant tendre <math> l \to +\infty </math>. 

On a donc montré que <center><math> \forall \omega \in A, \frac{1}{n} \sum_{k=1}^n \mathbf{1}_{\{U_k(\omega) \leq s\}} \to s </math></center> sur <math> [0,1] </math>. La convergence est uniforme par le deuxième théorème de Dini.

== Généralisation ==
{{Article détaillé|Classe de Glivenko-Cantelli|}}
On pose <math>X_1, \dots, X_n</math> des variables i.i.d. à valeurs dans un espace <math>\mathcal{X}</math> de loi <math>P = \mathbb{P}^X</math> et <math>\mathcal{F}</math> une classe de fonctions définies sur <math>\mathcal{X}</math> à valeurs réelles. La classe <math>\mathcal{F}</math> est appelée [[classe de Glivenko-Cantelli]] si elle vérifie <div style="text-align: center;"><math>||P_n-P||_\mathcal{F} = \sup_{f \in \mathcal{F}} |P_n(f) - P(f)| ~\xrightarrow[n \to +\infty]{}~0, </math></div> avec <math>P_n</math> la [[mesure empirique]] définie par <math>P_n(f) = \frac{1}{n} \sum_{i=1}^n f(X_i)</math> et <math>P(f) = \mathbb{E}[f(X_1)]</math>. Le théorème de Glivenko-Cantelli revient donc à dire que la classe des fonctions indicatrices <math> \mathcal{F} = \{x \mapsto \mathbf{1}_{\{x \leq t\}} : t \in \mathbb{R}\}</math> est une classe de Glivenko-Cantelli.

== Bibliographie ==
* {{ouvrage
|langue=en
|prénom1=Galen R.
|nom1=Shorack
|prénom2=Jon A.
|nom2=Wellner
|titre=Empirical Processes with Applications to Statistics
|numéro d'édition=
|lien éditeur=Society for Industrial and Applied Mathematics
|éditeur=SIAM
<!--|jour=4-->
|mois=9
|année=2009
|pages totales=998
|isbn=978-0-89871901-7
|url=https://books.google.fr/books?id=hjlMdxmHuEsC
}}
* {{Ouvrage|langue=en|prénom1=A. W.|nom1=van der Vaart|prénom2=J. A.|nom2=Wellner|titre=Weak Convergence and Empirical Processes|sous-titre=With Applications to Statistics|éditeur=[[Springer Verlag|Springer]]|année=1996|pages totales=508|isbn=978-0-387-94640-5|lire en ligne=https://books.google.fr/books?id=seH8dMrEgggC}}
* {{Ouvrage|langue=en|prénom1=Patrick|nom1=Billingsley|titre=Probability and Measure|éditeur=[[John Wiley & Sons]]|année=2012|numéro d'édition=4|pages totales=656|passage=268|isbn=978-1-118-34191-9|lire en ligne={{Google Livers|a3gavZbxyJcC|page=268}}}}

== Voir aussi ==
* [[Test de Kolmogorov-Smirnov]]

== Références ==
<references />

{{Palette|Probabilités et statistiques}}
{{Portail|mathématiques|probabilités et statistiques}}

[[Catégorie:Statistiques]]
[[Catégorie:Théorème de la théorie des probabilités|Glivenko-Cantelli]]
[[Catégorie:Théorème fondamental|Glivenko-Cantelli]]