Année 2023-24 - Equipe PEIPS (CMAP)

Groupe de Travail Discrete Random Objects: Limits and EStimates

Résumé de la séance 11 - Introduction à l'échangeabilité

Orateur : Antoine Aurillard (résumé par Lucas Gerin)

Sommaire

• I. Définitions et exemples
• II. Théorème de de Finetti

Références

[Ald85] D.Aldous . Exchangeability and related topics. St-Flour Lecture Notes (1985).
[Ber06] J.Bertoin. Random fragmentation and coagulation processes (Vol. 102). Cambridge University Press. (2006)
[Kle13] A.Klenke. Probability theory: a comprehensive course. Springer Science & Business Media (2013).
[Wik24] Wikipedia page: Exchangeable random variables.

I. Définitions et exemples

I.1. Vecteurs échangeables

Définition. Un $n$-uplet $(X_1,\dots, X_n)$ est échangeable si pour toute permutation $\sigma$ de taille $n$, $$ (X_1,\dots, X_n) \stackrel{\text{(d)}}{=} (X_{\sigma(1)},\dots, X_{\sigma(n)}). $$

Quelques exemples :

• Les $X_i$ sont i.i.d.
• Les $X_i$ sont des tirages aléatoires uniformes sans remise dans un ensemble $\{y_1,\dots,y_n\}$.
• On dispose de v.a. $Y=(Y_1,\dots,Y_n)$, et d'une permutation $\Sigma$ indépendante de $Y$. Alors $$ (Y_{\Sigma(1)},\dots, Y_{\Sigma(n)}) $$ est échangeable.
• Soit $N_0,\dots,N_n$ des $\mathcal{N}(0,1)$ i.i.d., et $c$ un paramètre réel. Alors si l'on pose $$ X_i=N_0+cN_i, $$ $(X_1,\dots, X_n)$ est échangeable.

Quelques propriétés :

• Pour tout $k$ et tous indices $i_1,\dots,i_k$ distincts deux-à-deux, $$ (X_{i_1},\dots, X_{i_k})\stackrel{\text{(d)}}{=}(X_1,\dots, X_k). $$ Conséquences :
  • les $X_i$ sont identiquement distribués.
  • Un vecteur extrait d'un vecteur échangeable est échangeable.
• Soit $\sigma^2=\mathrm{Var}(X_1)$. En partant de $0\leq \mathrm{Var}(X_1+...+X_n)$ et en développant on trouve que, pour tous $i\neq j$: $$ \mathrm{covar}(X_1,\dots,X_n)\geq -\frac{\sigma^2}{n-1}.\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (\star) $$ (Il peut y avoir égalité ci-dessus, voir Wikipedia.)

I.2. Suites échangeables

Définition. Une suite de v.a. $(X_1,X_2,\dots,)$ est échangeable si, pour tout $n$, $(X_1,\dots, X_n)$ est échangeable.

Un exemple :

• Soit $(Z_i)$ une suite de variables i.i.d., $Y$ indépendante des $Z_i$ et $f$ une fonction déterministe. Alors $$ X_i=f(Y,Z_i) $$ définit une suite échangeable.

Attention! Tous les $n$-uplets échangeables ne peuvent être prolongés en une suite échangeable. Si c'était le cas on arriverait à mettre en défaut l'équation $(\star)$ plus haut.

I.3. L'urne de Pólya

Soient $r,b\geq 1$. On considère une urne avec $r$ boules rouges, $b$ boules bleues à l'instant $i=0$. A tout instant $i$ on tire une boule uniformément et on la remet dans l'urne, avec une nouvelle boule de la même couleur. On pose $$ X_i=\mathbf{1}_{i-\text{ème boule est rouge}}. $$

Le résultat suivant n'est pas intuitif :

Théorème La suite $(X_n)$ associé à l'urne de Pólya est échangeable.

Idée de preuve : Pour tout $n$ on fixe $x_1,\dots ,x_n\in \{0,1\}$. En calculant $\mathbb{P}(X_1=x_1,\dots,X_n=x_n)$ explicitement on voit que cela ne dépend que de la somme des $x_i$.

Conséquences :

• $X_{10000}\stackrel{\text{(d)}}{=}X_1=\mathrm{Bernoulli}(r/(r+b))$.
• Pour tout $M$, $(X_1,X_2,\dots,)\stackrel{\text{(d)}}{=}(X_{M+1},X_{M+2},\dots,)$ : si on arrive en court de route on ne peut pas se rendre compte que le processus a déjà commencé (!).

II. Théorème de de Finetti.

II.1. Enoncé.

Théorème. On se donne une suite échangeable $(X_1,\dots,X_n)$, et l'on note $\mathcal{T}$ la tribu asymptotique associée. Il existe une v.a. $\mathcal{T}$-mesurable, notée $\Lambda$ et à valeurs dans l'ensemble des mesures de probas, telle que :
(i) Sachant $\mathcal{T}$, les $X_n$ sont i.i.d. Autrement dit, pour tout $k$ et tous boréliens $A_1,\dots,A_k$, $$ \mathbb{P}(X_1\in A_1,\dots ,X_k\in A_k\ |\ \mathcal{T})=\mathbb{P}(X_1\in A_1\ |\ \mathcal{T})\dots \mathbb{P}(X_k\in A_k\ |\ \mathcal{T}). $$ (ii) Pour tout $i$, la loi de $X_i$ sachant $\mathcal{T}$ est $\Lambda$.

II.2. Applications.

Pourvu que $\Lambda$ vérifie bien p.s. les hypothèses que l'on souhaite, on peut appliquer "presque tout" théorème limite aux $X_i$ conditionnellement à $\mathcal{T}$, et ensuite déconditionner. On a par exemple :

• Glivenko-Cantelli
• Loi Forte des Grands Nombres
• Théorème Central Limite
• ...

Je détaille la LFGN. Supposons que $\mathbb{E}[|X_1|]<+\infty$, ce qui implique que la v.a. $$ \mathrm{mean}(\Lambda):= \int x d\Lambda(x) $$ est bien définie p.s. Alors $$ \mathbb{P}\bigg(\frac{X_1+\dots+X_n}{n}\to \mathrm{mean}(\Lambda)\bigg)= \mathbb{E}\bigg[\mathbb{P}\bigg(\frac{X_1+\dots+X_n}{n}\to \mathrm{mean}(\Lambda)\ |\ \mathcal{T}\bigg)\bigg] =\mathbb{E}[1]=1, $$ où l'on a appliqué la LFGN "classique".

II.3. Retour sur Pólya.

Pour voir concrètement comment peuvent s'appliquer les résultats ci-dessus, on revient sur Pólya.

Sachant $\mathcal{T}$ les $X_i$ sont i.i.d. de loi $\Lambda$, à support dans $\{0,1\}$. On écrit $\Lambda=\mathrm{Bernoulli}(P)$, où $P$ est une v.a. dans $[0,1]$ qu'on cherche à déterminer. On va calculer ses moments.

Soit $n\geq 1$, $$ \mathbb{P}(X_1=X_2=\dots =X_n=1\ |\ \mathcal{T})= P^n. $$ En passant à l'espérance, $$ \mathbb{P}(X_1=X_2=\dots =X_n=1)= \mathbb{E}[P^n], $$ mais par ailleurs le terme de gauche est la probabilité de ne tomber que sur rouge : $$ \mathbb{P}(X_1=X_2=\dots =X_n=1)= \frac{r}{r+b}\times \frac{r+1}{r+b+1}\times \dots\times \frac{r+(n-1)}{r+b+(n-1)}. $$ Dans le terme de droite on "reconnaît" le $n$-ème moment de la loi Beta de paramètres $(r,b)$. Pour résumer on a donc $$ \frac{X_1+\dots+X_n}{n}\stackrel{\text{p.s.}}{\to} \mathrm{mean}(\Lambda)=P \stackrel{\text{(d)}}{=} \mathrm{Beta}(r,b). $$ (On a aussi un TCL mais la renormalisation en $\sqrt{P(1-P)}$ est aléatoire.)