安装插件

npm i js-tiktoken

代码示例 

const { encodingForModel } = require("js-tiktoken");
let enc = encodingForModel('gpt-3.5-turbo');
let contentLength = enc.encode(content).length;
console.log(contentLength)

# javascript # 开发语言 # ecmascript
Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

cover

程序员必学！大模型五大核心技术(MCP/Agent/RAG/RPA/A2A)全解析（收藏版）

avatar 讯飞AI开发者社区
cover

38_多模态模型：CLIP的视觉-语言对齐_深度解析

avatar 讯飞AI开发者社区

自然语言处理（NLP）基础

苹果”可以指一种水果，也可能指Apple 公司；“我今天早上没吃饭”中的“没”是否表示“完全没有”需要结合上下文。NLP 的任务就是让计算机能够“读懂”这些文字和语音，抽取其中的语义信息，从而与人类进行自然交流。简单来说，NLP 是计算机科学、人工智能与语言学的交叉学科。自然语言处理（NLP）让计算机能够理解和生成自然语言，是人工智能最贴近人类日常生活的技术之一。随着深度学习和大模型的发展，NLP

avatar 讯飞AI开发者社区