深度学习之四卷积神经网络进阶（alexnet）

深度学习之四卷积神经网络进阶（alexnet）为什么要有不同的网络结构？不同的网络结构解决的问题不同。不同的网络结构使用的技巧不同。不同的网络结构应用的场景不同。每次的dropout都是随机的，所以结果相当于是很多子网络的组合，在机器学习中模型组合一般是能提升最后的模型效果。神经元之间的依赖关系被消除，就降低了过拟合的风险。过拟合是神经元记住了所有的数据，而一个神经元是记不住的，而是需要多个神经元

_凡一

293人浏览 · 2020-07-15 16:07:23

_凡一 · 2020-07-15 16:07:23 发布

深度学习之四

卷积神经网络进阶（alexnet）

为什么要有不同的网络结构？
不同的网络结构解决的问题不同。
不同的网络结构使用的技巧不同。
不同的网络结构应用的场景不同。
在这里插入图片描述

每次的dropout都是随机的，所以结果相当于是很多子网络的组合，在机器学习中模型组合一般是能提升最后的模型效果。
在这里插入图片描述
神经元之间的依赖关系被消除，就降低了过拟合的风险。过拟合是神经元记住了所有的数据，而一个神经元是记不住的，而是需要多个神经元去组合与配合。而dropout每次都去随机删掉一些神经元，使得神经元之间去组合记忆的环境就不存在了，所以神经元之间的依赖关系被消除，就降低了过拟合的风险。
在这里插入图片描述

技术共进，成长同行——讯飞AI开发者社区

更多推荐

论文笔记：AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models（AlphaEdit）

论文发表于人工智能顶会ICLR（基于定位和修改的模型编辑方法（针对和等）会破坏LLM中最初保存的知识，特别是在顺序编辑场景。为此，本文提出AlphaEdit：1、在将保留知识应用于参数之前，将扰动投影到保留知识的零空间上。2、从理论上证明，这种预测确保了在查询保留的知识时，编辑后的LLM的输出保持不变，从而减轻中断问题。3、对各种LLM（包括LLaMA3、GPT2XL和GPT-J）的广泛实验表明，