AI术语小白课(二):Token、Embedding、思维链——大语言模型背后的三个关键术语
我们从AI的起点讲起,认识了人工智能、机器学习、深度学习,以及现在最火的“大语言模型”(LLM)和Prompt(提示词)。
欢迎回来,这是《AI术语小白课》第2篇。上一期,我们从AI的起点讲起,认识了人工智能、机器学习、深度学习,以及现在最火的“大语言模型”(LLM)和Prompt(提示词)。
很多人后台留言说:“终于第一次看懂这些词了。”
那我们这期,就进一步分析 大语言模型是怎么理解语言、生成语言 的关键机制。
你会发现,AI其实靠的是三个非常朴素的机制:
Token(语言单位) → Embedding(理解方式) → 思维链(推理方式)
术语1:Token 是什么?它决定了你能说多少话
在使用ChatGPT等语言模型时,你可能注意到系统会说:
“本次请求最多支持 4096 个 token”
“你的回答超出 token 限制,请精简内容”
🤔 那什么是 Token 呢?
🔹 通俗解释:
Token 是 AI分词的单位,它不等于一个字,也不等于一个词,而是介于两者之间的“语言片段”。
比如:
-
“ChatGPT” → 是 1 个 Token
-
“人工智能” → 可能被拆成 2~3 个 Token
-
一句中文的平均 Token 数 ≈ 每个字就是一个 Token
-
一段英文的平均 Token 数 ≈ 每4个字母1个 Token
所以,当系统说“你有 4096 个 token 限额”,其实就是在告诉你:
“你这次输入+输出的总字数不能太长,不然我脑袋塞不下。”
为什么重要?
-
Token 是模型计算的基本单位 → 决定你一次输入/输出的长度
-
Token 多了会影响响应速度,甚至卡住
-
一些高级提示词技巧(如结构化Prompt)也要考虑 Token 限制
术语2:Embedding(向量嵌入)——AI是怎么“理解语言”的?
AI 不懂“人话”,那它怎么知道你说的是啥?
答案就是——Embedding(嵌入)
这是一种把“语言”变成“数字”的方法。
🔹 通俗解释:
Embedding 就是把一段文字,转换成一个“多维向量”(一串有含义的数字),放到一个“语义空间”中。
在这个空间里:
-
“猫” 和 “宠物” 的距离会很近
-
“飞机” 和 “香蕉” 的距离会很远
-
“他”和“她”的距离也很近,但模型可能区分不了性别含义
用人话翻译就是:
Embedding 就像是 AI 的“直觉”系统,让它能感受到哪些词在“意思上”比较像。
📍Embedding 的应用场景:
-
语义搜索:不只是匹配关键词,而是理解你“想找的内容”
-
AI知识库:将文章段落嵌入向量后,AI可智能检索“相关语义”
-
推荐系统:用户喜好的 Embedding 越接近,推荐越准确
这也是大语言模型之所以比普通“规则AI”聪明的关键:它有“理解意义”的能力。
术语3:Chain of Thought(思维链)——AI如何“推理”和“思考”?
有时候你会发现:
当你问 AI 一个逻辑题、数学题时,它一步到位经常答错;
但如果你告诉它“请一步步思考”,它反而能答对。
这就是著名的“思维链提示法”(Chain-of-Thought Prompting)
🔹 通俗解释:
思维链就是让 AI 按照人类的思考方式,一步步推理,而不是直接给答案。
比如:
问题:小明有3个苹果,吃了1个,还剩几个?
普通回答:2
思维链回答:
- 小明原本有3个苹果
- 他吃掉了1个
- 所以还剩下2个
看似简单,但这种“逐步展开”的回答方式,会显著提升大模型的准确率。
应用价值:
-
提升复杂任务的准确率:尤其是数学、逻辑、推理类问题
-
提高Prompt可控性:当你想要AI一步步说明理由时,可以加入“请逐步分析”这类提示
-
训练模型的“思考习惯”:未来更强大的模型,正是建立在“思维链条”上
📌 总结一句话复习
术语 |
一句话理解 |
---|---|
Token |
AI理解语言的“最小计算单位”,决定你能说多少 |
Embedding |
把语言变成有“意思”的数字,让AI能理解语义 |
思维链(CoT) |
让AI像人一样一步步思考,答题更准确 |
想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?
别再浪费时间啦!2025 年 AI 大模型全套学习资料
已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享
!
👇👇扫码免费领取全部内容👇👇
一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI
:
1. 100+本大模型方向电子书
2. 26 份行业研究报告:覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:
- 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
- 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
- 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
- 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT:听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:
- 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
- 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
- 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
- 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!
1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析
:
2. 102 道 AI 大模型真题:直击大模型核心考点
针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:
3. 97 道 LLMs 真题:聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:

三、路线必明:AI 大模型学习路线图,1 张图理清核心内容
刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图
」直接帮你划重点,不用再盲目摸索!
路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。
L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。
L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

四、资料领取:全套内容免费抱走,学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!
更多推荐
所有评论(0)