浅谈大模型预训练和微调

模型的训练一般情况下分为两个大的阶段：

  1. 预训练

    通过海量数据数据，训练一个通用大模型，此时大模型具备很多能力

  2. 微调

    但是通用大模型在某些方面的垂直能力可能还不具备，因此需要用到一些领域的数据或私有化数据对大模型进行改良，这个过程叫做微调

    模型微调本身也分为两个比较重要的阶段：

    • SFT（supervise fine tunning）
    • 对齐

简单理解大模型预训练和微调的过程
在这里插入图片描述

# 人工智能 # 自然语言处理 # transformer # 语言模型
Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

论文笔记：AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models（AlphaEdit）

论文发表于人工智能顶会ICLR（基于定位和修改的模型编辑方法（针对和等）会破坏LLM中最初保存的知识，特别是在顺序编辑场景。为此，本文提出AlphaEdit：1、在将保留知识应用于参数之前，将扰动投影到保留知识的零空间上。2、从理论上证明，这种预测确保了在查询保留的知识时，编辑后的LLM的输出保持不变，从而减轻中断问题。3、对各种LLM（包括LLaMA3、GPT2XL和GPT-J）的广泛实验表明，

avatar 讯飞AI开发者社区
cover

Gemini Robotics 1.5 谷歌通用人形机器人具身智能模型

avatar 讯飞AI开发者社区

论文解读：MASS-EDITING MEMORY IN A TRANSFORMER（MEMIT）

论文发表于人工智能顶会ICLR（在模型编辑方法中，主要局限于更新单个事实。因此，基于ROME，本文开发了MEMIT，在大模型GPT-J（6B）和GPT-NeoX（20B）上实现了数千的批量编辑。阅读本文请同时参考原始论文图表。

avatar 讯飞AI开发者社区