邱锡鹏神经网络与深度学习习题2-6和2-7解答byMahomet

（pdf版本：30September2019）2-6：（1）根据定义，极大似然估计应有：因此，对其关于\mu求导并取0，可得(2)根据定义，最大后验分布应有：所以，而对乘积第二项，根据题目给的条件，因此相比\mu^{ML}，\mu^{MAP}多了一项\mu-\mu_0。2-7：我的理解是，当N足够多时，人们预先指定的先验分...

Mahomet_

1228人浏览 · 2019-10-06 13:01:32

Mahomet_ · 2019-10-06 13:01:32 发布

（pdf版本：30September2019）

2-6：

（1）根据定义，极大似然估计应有：

$argmax p(x|\mu,\sigma^2)=L(\mu,\sigma^2)=\prod^n_{i=1}\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{1}{2\sigma^2}(x^{(i)}-\mu)^2)$

因此，

$ln L \propto \sum^n_{i=1}(x^{(i)}-\mu)^2$

对其关于\mu求导并取0，可得

$\mu^{ML}=\frac{1}{n}\sum^n_{i=1}x^{(i)}$

(2)根据定义，最大后验分布应有：

$p(\mu|x,\sigma^2)=\frac{p(\mu,x|\sigma^2)}{\sum_\mu p(x,\mu|\sigma^2)} \propto p(x|\mu,\sigma^2)p(\mu,\sigma^2)$

所以，

$\mu^{MAP}=argmax_\mu p(x|\mu,\sigma^2)p(\mu;\sigma^2)$

而对乘积第二项，根据题目给的条件，

$logp_\mu_p_{anterior}=log p(\mu_0,\sigma^2_0) \propto (\mu-\mu_0)^2$

因此相比\mu^{ML}，\mu^{MAP}多了一项\mu-\mu_0。

2-7：

我的理解是，当N足够多时，人们预先指定的先验分布 $p(\mu;\sigma^2)$ 就没必要了，因为前面一项 $p(x|\mu,\sigma^2)$ 类似经验误差随着N的增大而减小那样，变得不再随\mu的取值扰动而扰动。

技术共进，成长同行——讯飞AI开发者社区

更多推荐

【人工智能】启发式搜索（Heuristic Search）完全入门指南

讯飞AI开发者社区

号课堂§2.2：声明范式

声明式语言——尤其是函数式语言和逻辑式语言——擅长基于数理逻辑的应用，如人工智能、符号处理、数据库、编译器等，对基于业务逻辑的、尤其是交互式或事件驱动型的应用就不那么得心应手了。命令式编程模拟电脑运算，是行动导向的，关键在于定义解法，即“怎么做”，因而算法是显性而目标是隐性的；声明式编程模拟人脑思维，是目标驱动的，关键在于描述问题，即“做什么”，因而目标是显性而算法是隐性的。”冒号娓娓道来，“除了