似然函数

一、似然函数的定义

给定联合样本值$x$关于参数$\theta$的函数: $L(\theta |x)=f(x|\theta )$ 其中$x$是随机变量$X$取得的值，$\theta$是未知的参数。
$f(x|\theta )$是密度函数，表示给定$\theta$下的联合密度函数。

核心区别：似然函数是关于$\theta$的函数，而密度函数是关于$x$的函数。

二、不同分布下的似然函数

1. 离散情况下

• 概率密度函数（此时为概率质量函数）：$f(x|\theta )={\mathbb{P}}_{\theta }(X=x)$
  表示在参数$\theta$下，随机变量$X$取到$x$的可能性。

• 似然大小比较：
  若$L({\theta }_1|x)={\mathbb{P}}_{{\theta }_1}(X=x)>{\mathbb{P}}_{{\theta }_2}(X=x)=L({\theta }_2|x)$，则在参数${\theta }_1$下随机变量$X$取到$x$值的可能性大于${\theta }_2$。

2. 连续情况下

若$X$是连续随机变量，给定足够小的$\epsilon >0$，则其在区间$(x-\epsilon ,x+\epsilon )$内的概率为：
${\mathbb{P}}_{\theta }(x-ϵ<X<x+ϵ)={\int }_{x-ϵ}^{x+ϵ}f(x|\theta )dx\approx 2ϵf(x|\theta )=2ϵL(\theta |x)$

结论：连续型与离散型结论一致！

• 概率：表达在给定参数$\theta$时，$X=x$的可能性；
• 似然：表达在给定样本$X=x$时，参数$\theta$的可能性。

三、极大似然估计

1. 核心思想（示例）

在一次吃鸡比赛中，有两位选手（职业选手、菜鸟路人）。比赛结束后，公布有一位选手完成20杀，请问是哪个选手？
通常会选择“职业选手”，核心逻辑是：概率最大的事件最有可能发生。

2. 极大似然估计的定义

在一次抽样中，得到观测值$x_1,x_2,\dots ,x_n$。选取$\theta =\hat{\theta }(x_1,x_2,\dots ,x_n)$作为$\theta$的估计值（$\hat{\theta }$表示$\theta$的估计量），使得当$\theta =\hat{\theta }$时，样本出现的概率最大。

3. 极大似然函数的公式

样本类型	似然函数公式
离散型样本	$L(\theta )={\prod }_{i=1}^{n}p\left(x_i;\theta \right)$（$p(x_i;\theta )$为离散型概率质量函数）
连续型样本	$L(\theta )={\prod }_{i=1}^{n}f\left(x_i;\theta \right)$（$f(x_i;\theta )$为连续型概率密度函数）

极大似然估计的目标：$L\left(x_1,x_2,\cdots ,x_n;\theta \right)={\max }_{\theta \in \Theta }L\left(x_1,x_2,\cdots ,x_n;\theta \right)$
其中$\Theta$是参数$\theta$的取值范围。

4. 极大似然估计的求解步骤

1. 构造似然函数：$L(\theta )$（根据样本类型选择上述离散或连续型公式）；

2. 对似然函数取自然对数：$\ln L(\theta )$（目的是将乘积运算转化为加法运算，简化求导）；
   

3. 求导并令导数为0：对$\ln L(\theta )$关于$\theta$求导，令$\frac{d\ln L}{d\theta }=0$（若$\theta$为多维参数，则求偏导$\frac{\partial \ln L}{\partial {\theta }_i}=0$）；

4. 求解参数：解上述方程，得到$\theta$的极大似然估计值$\hat{\theta }$。

5. 求解示例（以泊松分布为例）

假设随机变量$X$的分布律为$X=0,1,2,\cdots ,n$（此处实际为泊松分布，参数为$\lambda$），现有样本$x_1,x_2,\dots ,x_n$，求$\lambda$的极大似然估计值。

步骤1：构造似然函数

$L(\lambda )={\prod }_{i=1}^n\left(\frac{{\lambda }^{x_i}}{x_i!}{e}^{-\lambda }\right)=e^{-n\lambda }\frac{{\lambda }^{{\sum }_{i=1}^n{x}_i}}{{\prod }_{i=1}^n\left(x_i!\right)}$

步骤2：取自然对数

$\ln L(\lambda )=-n\lambda +\left({\sum }_{i=1}^n{x}_i\right)\ln \lambda -{\sum }_{i=1}^n\ln (x_i!)$
（注：原文档中“$\beta \ln L(\lambda )$”为笔误，修正为“$\ln L(\lambda )$”；取对数后$\frac{1}{{\prod }_{i=1}^n(x_i!)}$需转化为$-{\sum }_{i=1}^n\ln (x_i!)$，原文档遗漏“$\ln$”，此处修正以保证数学正确性）

步骤3：求导并令导数为0

对$\ln L(\lambda )$关于$\lambda$求导：
$\frac{d}{d\lambda }\ln L(\lambda )=-n+\frac{{\sum }_{i=1}^n{x}_i}{\lambda }=0$

步骤4：求解$\lambda$的估计值

整理上述方程：
$\frac{{\sum }_{i=1}^n{x}_i}{\lambda }=n⟹\hat{\lambda }=\frac{1}{n}{\sum }_{i=1}^n{x}_i=\bar{x}$
其中$\bar{x}$为样本均值，即泊松分布参数$\lambda$的极大似然估计值等于样本均值。

6. 极大似然函数公式重申

样本类型	似然函数公式
离散型样本	$L(\theta )={\prod }_{i=1}^{n}p\left(x_i;\theta \right)$
连续型样本	$L(\theta )={\prod }_{i=1}^{n}f\left(x_i;\theta \right)$

极大似然估计的目标：$L\left(x_1,x_2,\cdots ,x_n;\theta \right)={\max }_{\theta \in \Theta }L\left(x_1,x_2,\cdots ,x_n;\theta \right)$