L'espace latent d'un VAE
promène-toi dans le plan des codes et regarde ce que le décodeur en fait
1 · MODÈLE
$$\underbrace{q_\phi(\mathbf{z}\mid\mathbf{x})=\mathcal{N}\!\big(\boldsymbol{\mu}_\phi(\mathbf{x}),\,\mathrm{diag}\,\boldsymbol{\sigma}^2_\phi(\mathbf{x})\big)}_{\text{encodeur}}\qquad \underbrace{p(\mathbf{z})=\mathcal{N}(\mathbf{0},I_2)}_{\text{a priori}}\qquad \underbrace{\hat{\mathbf{x}}=g_\theta(\mathbf{z})}_{\text{décodeur}}$$
$$\mathrm{ELBO}(\mathbf{x})=\mathbb{E}_{q_\phi(\mathbf{z}\mid\mathbf{x})}\big[\log p_\theta(\mathbf{x}\mid\mathbf{z})\big]-\mathrm{KL}\big(q_\phi(\mathbf{z}\mid\mathbf{x})\,\|\,p(\mathbf{z})\big)\;\le\;\log p_\theta(\mathbf{x})$$
chaque image \(8\times 8\) de chiffre manuscrit est codée par une petite ellipse dans le plan \(\mathbf{z}\in\mathbb{R}^2\)
2 · À TOI : SURVOLE L'ESPACE LATENT
plan latent : centres \(\boldsymbol{\mu}(\mathbf{x}_i)\) et ellipses à \(1\sigma\)
sortie du décodeur \(\hat{\mathbf{x}}=g_\theta(\mathbf{z})\)
Survole le plan pour voir le décodage, clique pour fixer z. Glisse les repères A et B pour choisir le trajet de l'interpolation (ou fixe z puis « A ← z »). Flèches du clavier : petits pas (Maj : grands pas).
3 · INTERPOLATION DANS L'ESPACE LATENT
\(\mathbf{z}(t)=(1-t)\,\mathbf{z}_A+t\,\mathbf{z}_B\) puis \(g_\theta(\mathbf{z}(t))\) : un chiffre se transforme continûment en un autre
4 · RAPPELS SUR LE VAE
- Le terme KL a une forme close : \(\mathrm{KL}=\tfrac12\sum_{k}\big(\mu_k^2+\sigma_k^2-1-\log\sigma_k^2\big)\). Il tire chaque ellipse vers le disque unité.
- Astuce de reparamétrisation : \(\mathbf{z}=\boldsymbol{\mu}+\boldsymbol{\sigma}\odot\boldsymbol{\varepsilon}\), \(\boldsymbol{\varepsilon}\sim\mathcal{N}(\mathbf{0},I)\), pour que le gradient traverse le tirage.
- Ici, en moyenne sur les images : reconstruction \(-\mathbb{E}_q[\log p_\theta(\mathbf{x}\mid\mathbf{z})]\approx\) nats, \(\mathrm{KL}\approx\) nats.
- Générer, c'est tirer \(\mathbf{z}\sim p(\mathbf{z})\) puis décoder. Cela ne marche que si les codes remplissent le disque sans trous : c'est le rôle du KL. Un auto-encodeur classique (sans KL) laisse des trous où le décodeur produit n'importe quoi.
- La loi agrégée \(q(\mathbf{z})=\tfrac1n\sum_i q_\phi(\mathbf{z}\mid\mathbf{x}_i)\) n'est pas exactement \(p(\mathbf{z})\) : là où \(p\) met de la masse et \(q\) presque rien, le décodage est ambigu.
- Avec un décodeur linéaire et gaussien, le VAE retrouve l'ACP probabiliste : les directions apprises engendrent le sous-espace principal.