机器学习数学原理专题——广义线性模型数学公式总览

广义线性模型章节内容总览

机器白学

1063人浏览 · 2024-02-24 21:26:49

机器白学 · 2024-02-24 21:26:49 发布

一、文章链接

1.回归模型

回归损失函数推导：https://blog.csdn.net/qq_58718853/article/details/137536043

回归损失函数求导：https://blog.csdn.net/qq_58718853/article/details/137535658

2.分类模型

分类链接函数推导：https://blog.csdn.net/qq_58718853/article/details/136280920

分类损失函数推导：https://blog.csdn.net/qq_58718853/article/details/137547067

二、广义线性模型数学公式归纳表格

	回归	二分类	多分类
模型	$y=g^{-1}(W^{T}X)$	$y=g^{-1}(W^{T}X)$	$y=g^{-1}(W^{T}X)$
链接函数	$g^{-1}(\eta )=\eta$	$g^{-1}(\eta )=\frac{1}{1+e^{-\eta }}$ $eq?%3Dsigmoid%28%5Ceta%20%29$	$g^{-1}(\eta )=\frac{e^{\eta _{i}}}{\sum e^{\eta _{i}}}$ $eq?%3Dsoftmax%28%5Ceta%20%29$
分布	高斯 —> 均匀	伯努利—>二分类	多项式—>多分类
似然函数	$eq?%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi%20%5Csigma%20%5E%7B2%7D%7D%7Dexp%5B-%5Cfrac%7B1%7D%7B2%5Csigma%20%5E%7B2%7D%7D%28y-u%29%5E%7B2%7D%5D$ 其中， $eq?u%3DW%5E%7BT%7DX$	$eq?p%5E%7By%7D%5Ccdot%20%281-p%29%5E%7B1-y%7D$ 其中， $eq?p%3D%5Cfrac%7B1%7D%7B1+e%5E%7B-W%5E%7BT%7DX%7D%7D$ $eq?%3Dsigmoid%28W%5E%7BT%7DX%29$	$eq?p_%7B1%7D%5E%7By_%7B1%7D%7D%5Ccdot%20p_%7B2%7D%5E%7By_%7B2%7D%7D%5Ccdot%20...%5Ccdot%20p_%7Bn%7D%5E%7By_%7Bn%7D%7D$ 其中， $eq?p_%7Bi%7D%3D%5Cfrac%7Be%5E%7BW%5E%7BT%7DX_%7Bi%7D%7D%7D%7B%5Csum%20e%5E%7BW%5E%7BT%7DX_%7Bi%7D%7D%7D$ $eq?%3Dsoftmax%28W%5E%7BT%7DX%29$
损失函数	$eq?%5Cfrac%7B1%7D%7BN%7D%28Y-%5Chat%7BY%7D%29%5ET%28Y-%5Chat%7BY%7D%29$	$eq?-%5Csum_%7Bi%3D1%7D%5E%7BN%7D%5By_%7Bi%7D%5Clog%5Chat%7By_%7Bi%7D%7D$ $eq?+%281-y_%7Bi%7D%29%5Clog%20%281-%5Chat%7By_%7Bi%7D%7D%29%5D$	$eq?-%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%5B%5Clog%20%5Chat%7By%7D_%7By%5E%7B%28i%29%7D%7D%5E%7B%28i%29%7D%7B%7D%5D$
损失函数求导	$eq?%5Cfrac%7B%5Cpartial%20l%7D%7B%5Cpartial%20w%7D%3D%5Cfrac%7B1%7D%7BN%7DX%28X%5ETW-Y%29$	$eq?%5Cfrac%7B%5Cpartial%20l%7D%7B%5Cpartial%20w%7D%3Dsigmoid%28o_%7Bj%7D%29-y_%7Bj%7D$ 其中， $eq?o_%7Bj%7D%3DXW$	$eq?%5Cfrac%7B%5Cpartial%20l%7D%7B%5Cpartial%20w%7D%3Dsoftmax%28o_%7Bj%7D%29-y_%7Bj%7D$ 其中， $eq?o_%7Bj%7D%3DXW$

技术共进，成长同行——讯飞AI开发者社区

更多推荐

【人工智能】启发式搜索（Heuristic Search）完全入门指南

讯飞AI开发者社区

号课堂§2.2：声明范式

声明式语言——尤其是函数式语言和逻辑式语言——擅长基于数理逻辑的应用，如人工智能、符号处理、数据库、编译器等，对基于业务逻辑的、尤其是交互式或事件驱动型的应用就不那么得心应手了。命令式编程模拟电脑运算，是行动导向的，关键在于定义解法，即“怎么做”，因而算法是显性而目标是隐性的；声明式编程模拟人脑思维，是目标驱动的，关键在于描述问题，即“做什么”，因而目标是显性而算法是隐性的。”冒号娓娓道来，“除了