文章目录

梯度的数值逼近

在这里插入图片描述

大O表示法-表示逼近误差

用双边误差检验应该比单边误差检验更加合理，计算出的值更加接近导数的真实值

梯度检验(Grad check)

在这里插入图片描述
在这里插入图片描述

梯度检验的步骤：

  1. 首先将每一层的w,b进行连接和组合来组成一个巨大的向量，所以这时J的参数就只有一个大θ

  2. 然后用for遍历大θ对大θ中的每一个θ做梯度数值逼近计算，最终得到一个向量dθapprox （这里应该可以使用numpy进行向量化计算，不用for循环遍历）

  3. 然后用欧式距离衡量向量dθapprox与向量dθ的相似性，如果计算出欧式距离处于一个较小的值

    那么我们的梯度检验就获得了成功，如果没有，就说明在反向传播的过程中某一个导数的计算出现了问题

    这时就需要我们去debug

使用梯度检验的注意事项：

在这里插入图片描述

  1. 不要将其用到训练过程中 只是用来debug
  2. 检验出来反向传播梯度计算有问题后，就应该查看源代码定位问题
  3. 记住cost function的正则化项
  4. 不要和dropput(随机失活)方法一起使用
  5. 一般来说其会在经过一些训练后使用或者随机初始化后也可以用于检验一下
# 深度学习 # 神经网络 # 机器学习 # python # 人工智能
Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

机器学习与人工智能

python# 创建基类# 定义一对多关系# 定义多对一关系# 定义多对多关系（通过关联表）# 关联表（用于多对多关系）SQLAlchemy ORM提供了强大而灵活的数据库操作方式，通过本文的介绍，您应该能够：安装和配置SQLAlchemy定义数据模型和关系执行基本的CRUD操作构建复杂查询管理数据库事务遵循最佳实践SQLAlchemy还有更多高级特性，如混合属性、事件监听、自定义查询等，值得进一

avatar 讯飞AI开发者社区

587章:汽车制造的主要流程

设计团队使用CAD软件进行三维建模，确保车辆的外观、结构和性能满足要求。总装工艺 总装是将发动机、底盘、内饰和电子系统等组装到车身上的过程。智能制造 工业4.0技术应用于汽车制造，包括物联网、大数据分析和人工智能。智能工厂实现生产过程的实时监控和优化，提高生产效率和产品质量。路试与台架测试 成品车辆需经过多种路况测试和实验室台架测试，确保性能和安全达标。在线检测 生产线上安装多种传感器和视觉系统，

avatar 讯飞AI开发者社区

AI革新药物研发：基因组大数据新突破

基因组大数据分析已成为药物研发的核心环节，人工智能（AI）技术通过高效处理海量数据，显著加速了靶点发现、药物筛选和个性化治疗等流程。来源网站：pyklqwq.cn/article/25jNXMc/39830.html。来源网站：pyklqwq.cn/article/25KljJd/61632.html。来源网站：pyklqwq.cn/article/25AECkl/15960.html。来源网站：

avatar 讯飞AI开发者社区