《Pattern Recognition and Machine Learning(模式识别与机器学习)》这本书有配套的matlab的程序(网址为prml源码)。第十章包括变分贝叶斯方法计算高斯混合模型的详细介绍。另外,源码里面包括变分贝叶斯计算高斯混合模型的例子。
    其中的变分贝叶斯方法较为复杂,尤其是关于变分后验概率分布(10.59)式中的几个参数的说明包括(10.60)到(10.62),网上的推导很少。
在这里插入图片描述
    下面给一个(10.60)到(10.62)式简略的证明:
    1.根据(10.54)式
在这里插入图片描述
    从10.54可以看出, q ∗ ( μ k , ∧ k ) q^∗(μ_k,∧_k) q(μk,k)(这里只取了1–K中的一项)只与第二项和第四项有关系。第二项中有
在这里插入图片描述
    第四项中有
在这里插入图片描述
    其中 ∧ k ∧_k k为精度矩阵,是协方差的逆矩阵。把对数去掉之后可以得到 q ∗ ( μ k , ∧ k ) q^∗(μ_k,∧_k) q(μk,k)的表达式(这里只取了1–K中的一项),是(10.40)式与(10.38)式的乘积。只写了自然常识指数部分的推导,其它项的稍微简单一些。推导过程是简化的标量格式的。下面是10.40式中正态分布部分与10.38式乘积结果的自然常识指数部分:
在这里插入图片描述
    对第一和第二项配平方之后就可以得到10.59中的正态分布部分,格式一致。(10.61)式得证。
    2. 下面看看配方后的剩余项(下面省去了前面的系数 1 2 ∧ k \frac{1}{2}∧_k 21k):
在这里插入图片描述
    以及
在这里插入图片描述

    可以看出这个式子再乘以10.40式中的wishart分布部分基本和书上的完全一致(多了个m0的项)。(10.62)式得证。

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐