L'inégalité de Jensen

la moyenne des images d'une fonction convexe est au-dessus de l'image de la moyenne

1 · ÉNONCÉ

$$\varphi \text{ convexe} \;\Longrightarrow\; \varphi\big(\mathbb{E}[X]\big)\;\le\;\mathbb{E}\big[\varphi(X)\big], \qquad \mathbb{E}[X]=\sum_i p_i\,x_i,\quad \mathbb{E}[\varphi(X)]=\sum_i p_i\,\varphi(x_i)$$

l'écart de Jensen $\mathbb{E}[\varphi(X)]-\varphi(\mathbb{E}[X])\ge 0$ est nul seulement si $X$ est constante (pour $\varphi$ strictement convexe)

2 · À TOI : DÉPLACE LES VALEURS ET LES POIDS DE X

graphe de $\varphi$ : glisse les points $(x_i,\varphi(x_i))$

loi de $X$ : tire le haut des barres pour changer les poids $p_i$

Point bleu : barycentre $(\mathbb{E}X,\ \mathbb{E}\varphi(X))$ des points du graphe, toujours dans leur enveloppe convexe (zone bleutée). Point vert : $(\mathbb{E}X,\ \varphi(\mathbb{E}X))$ sur la courbe. Segment orange : l'écart de Jensen.

3 · RAPPELS

Preuve par la tangente : en $m=\mathbb{E}X$, une droite d'appui passe sous la courbe, $\varphi(x)\ge\varphi(m)+\varphi'(m)(x-m)$. En prenant l'espérance, le terme en $x-m$ disparaît : $\mathbb{E}\varphi(X)\ge\varphi(m)$.
Lecture géométrique : $(\mathbb{E}X,\mathbb{E}\varphi(X))$ est le barycentre des points $(x_i,\varphi(x_i))$, donc dans leur enveloppe convexe, qui est au-dessus du graphe quand $\varphi$ est convexe.
$\varphi(x)=x^2$ : l'écart vaut exactement $\operatorname{Var}(X)\ge0$.
$\varphi=-\log$ : $\log\mathbb{E}X\ge\mathbb{E}\log X$, d'où l'inégalité arithmético-géométrique et $\mathrm{KL}(p\,\|\,q)\ge0$.
Fonction concave ($\log$) : l'inégalité se renverse ; c'est elle qui donne la borne inférieure de l'algorithme EM et l'ELBO.
Sans convexité, rien n'est garanti : avec $x^3$, l'écart change de signe selon la position des valeurs.