深度学习基础----梯度裁剪

背景：BP在产生的过程中：会产生梯度消失／梯度爆炸。　为了阻止这种情况发生优点与缺点：优点：简单粗暴缺点：很难找到满意的阈值代码：torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=20)参考：https://www.cnblogs.com/lindaxin/p/7998196.html...

无意识积累中

769人浏览 · 2020-10-16 22:08:22

无意识积累中 · 2020-10-16 22:08:22 发布

背景：

BP在产生的过程中：会产生梯度消失／梯度爆炸。　为了阻止这种情况发生

优点与缺点：

优点：简单粗暴
缺点：很难找到满意的阈值

代码：

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=20)

参考：https://www.cnblogs.com/lindaxin/p/7998196.html

技术共进，成长同行——讯飞AI开发者社区

更多推荐

论文笔记：AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models（AlphaEdit）

论文发表于人工智能顶会ICLR（基于定位和修改的模型编辑方法（针对和等）会破坏LLM中最初保存的知识，特别是在顺序编辑场景。为此，本文提出AlphaEdit：1、在将保留知识应用于参数之前，将扰动投影到保留知识的零空间上。2、从理论上证明，这种预测确保了在查询保留的知识时，编辑后的LLM的输出保持不变，从而减轻中断问题。3、对各种LLM（包括LLaMA3、GPT2XL和GPT-J）的广泛实验表明，