作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

阅读本文之前，首先注意以下两点：

1. 机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。

2. 文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号【AI机器学习与知识图谱】后回复：变分推断第二讲，可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！

本文将先对变分推断所要解决的问题进行分析，然后给出基于Mean Field的变分推断解法。

一、本文结论

结论1： 变分推断的主要思想：在给定数据集$X$下，问题是求后验概率$p$，简单情况下后验概率$p$可直接通过贝叶斯公式推导求出，但有些情况无法直接求解。因此变分推断想法是先假设另一个简单的概率分布$q$，如高斯分布，通过优化$p$和$q$之间距离最小化，让概率分布$q$逼近$p$，这样就可以用概率分布$q$近似表示后验概率$p$。

结论2： 基于Mean Field的变分推断方法主要是假设将隐变量$z$分成M个相互独立的部分$z=(z_1,z_2,...,z_M)$ ，当求$q_j(z_j)$时固定剩下M-1个部分。

结论3： 基于Mean Field的变分推断方法存在的两个问题：（1）假设将$z=(z_1,z_2,...,z_M)$分成M个相互独立的部分，然后固定其他依次求得$q_j(z_j)$。这个假设太强烈，在一些问题是无法分成相互独立的各个部分；（2）最后求出来的$q_j(z_j)$仍然需要进行求积分，在一些问题中，仍然可能是Intractable，无法求解的。

二、问题分析

观测数据Observed Data：$X$

隐变量Latent Variable：$Z$

完整数据Complete Data：$(X,Z)$

目的： 求数据的后验概率$p(z|x)$，下面先给出变分推断的分析思路

首先由简单的联合概率分布的分解式引出问题，如下公式所示：

通过两边加log变形为：

为了近似求解后验概率$p(z|x)$，我们需要先引入另一个分布$q(z)$，整合进上面公式中：

接下来分别将上式的左边和右边部分对$q(z)$进行积分：

其中

所以左边在积分后仍然是$logp(x)$，接下来对右边部分进行积分：

其中前半部分是Evidence Lower Bound，简称为$ELBO$：

后半部分是概率分布$p$和$q$的相对熵：

因此有：

因为当数据给定的情况下，左边$logp(x)$是定值，即$ELBO+KL(q||p)$是一个定值，而其中$KL(q||p)$是大于等于0的，且$KL(q||p)$越小代表概率分布$p$和$q$就越接近，也就是我们要优化的目标，但$KL(q||p)$中包含后验概率不好直接优化最小，但因为$ELBO+KL(q||p)$是定值，所以我们可以优化让$ELBO$部分最大，$KL(q||p)$相对就越小，这样便可以用概率分布$q$来代替$p$了。

三、公式推导

通过上一小节的描述已经明确了变分推断需要优化的目标，总结为如下公式：

下面通过公式推导求解是的$ELBO$最大的后验概率$q(z)$的值，使用基于Mean Field的变分推断的解法求解后验概率分布$p(z|x)$

先假设$z=(z_1,z_2,...,z_M)$，并且这M份之间是相互独立的，则有：

接下来对$ELBO$项进行展开，并将$q(z)$的值代入：

下面为了简便，先做一下变量假设：

在推导$A$和$B$前，先固定$z=(z_1,...,z_{j-1},z_{j+1}...,z_M)$，先$z_j$，接下来先推导$A$

其中有：

因此可以得出$A$的值如下：

接下来推导$B$：

其中有：

因此得出了$B$的值：

因为固定了$z=(z_1,...,z_{j-1},z_{j+1}...,z_M)$，只求未知量$z_j$，所以：

其中$C$是常量，至此有：

因此当KL取0时，$ELBO$能达到最大值，所以这里求出$q_j(z_j)$：

其他的$q_1(z_1),q_2(z_2),,...,q_M(z_M)$求解方法相同。这样求出了$q^{\ast }(z)$求等价于求出了后验概率$p(z|x)$。

正如文章开头结论所说，基于Mean Field的变分推断方法存在的两个问题，下一节变分推断将介绍另一种解法：基于随机梯度上升SGD的变分推断推导方案：

1、假设将$z=(z_1,z_2,...,z_M)$ 分成M个相互独立的部分，然后固定其他依次求得$q_j(z_j)$。这个假设太强烈，在一些问题是无法分成相互独立的各个部分；

2、最后求出来的$q_j(z_j)$仍然是求积分，在一些问题中，仍然可能是Intractable，无法求解的。