Softmax函数：Sigmoid函数从二分类到多分类的推广

1. Sigmoid与Softmax的关系

Softmax函数可以看作是二分类函数Sigmoid在多分类问题上的推广。当处理二分类问题时，两者在数学表达上是等价的。

Sigmoid函数表达式：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$

Softmax函数表达式（K分类场景）：
$$\text{Softmax}(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}$$

2. 二分类场景下的等价性

当K=2时，Softmax可以简化为Sigmoid形式：
$$\text{Softmax}(z_1)=\frac{e^{z_1}}{e^{z_1}+e^{z_2}}=\frac{1}{1+e^{-(z_1-z_2)}}$$
此时相当于对特征差值$z_1-z_2$应用Sigmoid函数。

3. 核心差异对比

4. 多分类实现示例（Python）

import torch.nn as nn

# 定义三层神经网络
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc = nn.Sequential(
            nn.Linear(784, 256),
            nn.ReLU(),
            nn.Linear(256, 10)  # 输出层节点数=类别数
        )
    
    def forward(self, x):
        return self.fc(x)

# 使用交叉熵损失函数（内置Softmax）
criterion = nn.CrossEntropyLoss()

5. 应用场景选择建议

✅ 使用Softmax：手写数字识别（MNIST）、图像分类等互斥类别场景
✅ 使用Sigmoid：多标签分类
⚠️ 二分类时优先使用Sigmoid（计算更简单），但Softmax同样有效