决策边界简介

逻辑回归的决策边界是模型对样本进行分类的分界线，其形状和位置由模型参数决定。]

决策边界的定义

 决策边界是将输入空间划分为不同类别区域的分界线。

在逻辑回归中，当模型预测样本属于正类（1）的概率 时，样本被归为正类；反之则归为负类（0）。

因此，决策边界对应的位置。

线性决策边界

 逻辑回归的原始模型是线性的，形式为：

通过 sigmoid 函数转换为概率：当 时，，

即：

这是一个线性方程，对应 超平面（二维为直线，三维为平面，更高维为超平面）。

示例

二维情况 假设特征为 和 ，决策边界为：

其斜率为 ，截距为 。

非线性决策边界

 若原始特征无法线性区分样本，可通过 多项式特征 引入非线性关系。

例如，添加二次项 、交互项等，模型变为：

此时决策边界可能是 曲线或曲面。

示例

二维多项式决策边界 若模型为 ，

则决策边界为圆：

决策边界的可视化 

- 线性边界：用直线分割正负样本。

- 非线性边界：用曲线（如椭圆、多项式曲线）分割。 通过绘制等高线图或网格点预测结果，可直观展示决策边界。例如，在二维空间中，遍历所有可能的 和 ，计算预测概率并标记为正/负类区域。

参数对决策边界的影响

 - 权重 ：决定对应特征对边界的影响方向和强度。例如，若 ，增大 会增加正类概率，边界向减小的方向移动。

- 截距 ：整体平移边界。

决策边界的局限性

- 线性假设：原始逻辑回归无法处理高度非线性数据，需依赖特征工程。

- 过拟合风险：高阶多项式可能导致边界过于复杂，泛化能力下降。

总结 

决策边界是逻辑回归模型的核心，其形式由特征和参数共同决定。线性边界简单高效，非线性边界通过特征变换实现，但需注意模型复杂度控制。理解决策边界有助于直观解释模型行为，指导特征选择和调参。

逻辑回归通过线性模型+非线性激活函数实现分类功能 -

决策边界本质是线性组合的零等值面

- 多项式特征扩展使模型具备拟合复杂数据的能力

- 分类阈值的选择会影响决策边界的位置 该讲解结合几何可视化和代数推导，清晰展示了逻辑回归模型如何通过参数调整和特征工程生成不同类型的决策边界，为后续学习模型训练（代价函数、梯度下降）奠定了理论基础。