L'espace latent d'un VAE

promène-toi dans le plan des codes et regarde ce que le décodeur en fait

1 · MODÈLE

$$\underbrace{q_\phi(\mathbf{z}\mid\mathbf{x})=\mathcal{N}\!\big(\boldsymbol{\mu}_\phi(\mathbf{x}),\,\mathrm{diag}\,\boldsymbol{\sigma}^2_\phi(\mathbf{x})\big)}_{\text{encodeur}}\qquad \underbrace{p(\mathbf{z})=\mathcal{N}(\mathbf{0},I_2)}_{\text{a priori}}\qquad \underbrace{\hat{\mathbf{x}}=g_\theta(\mathbf{z})}_{\text{décodeur}}$$
$$\mathrm{ELBO}(\mathbf{x})=\mathbb{E}_{q_\phi(\mathbf{z}\mid\mathbf{x})}\big[\log p_\theta(\mathbf{x}\mid\mathbf{z})\big]-\mathrm{KL}\big(q_\phi(\mathbf{z}\mid\mathbf{x})\,\|\,p(\mathbf{z})\big)\;\le\;\log p_\theta(\mathbf{x})$$

chaque image \(8\times 8\) de chiffre manuscrit est codée par une petite ellipse dans le plan \(\mathbf{z}\in\mathbb{R}^2\)

2 · À TOI : SURVOLE L'ESPACE LATENT

plan latent : centres \(\boldsymbol{\mu}(\mathbf{x}_i)\) et ellipses à \(1\sigma\)
sortie du décodeur \(\hat{\mathbf{x}}=g_\theta(\mathbf{z})\)

Survole le plan pour voir le décodage, clique pour fixer z. Glisse les repères A et B pour choisir le trajet de l'interpolation (ou fixe z puis « A ← z »). Flèches du clavier : petits pas (Maj : grands pas).

3 · INTERPOLATION DANS L'ESPACE LATENT

\(\mathbf{z}(t)=(1-t)\,\mathbf{z}_A+t\,\mathbf{z}_B\) puis \(g_\theta(\mathbf{z}(t))\) : un chiffre se transforme continûment en un autre

4 · RAPPELS SUR LE VAE