openAi模型--Completions api参数

openAi API----Completions 接口说明该

瓦匠工人

914人浏览 · 2023-02-16 10:11:27

瓦匠工人 · 2023-02-16 10:11:27 发布

参数说明

参数	类型	是否必填	说明
model	string	Required	模型
prompt	string \| array	Optional	生成完成的提示，编码为字符串、字符串数组、令牌数组或令牌数组。请注意，<\|endoftext\|>是模型在训练过程中看到的文档分隔符，因此如果未指定提示，则模型将从新文档的开头生成。
suffix	string	Optional 默认 null	插入文本完成后出现的后缀。
max_tokens	integer	Optional 默认 16	完成时要生成的最大令牌数。提示的令牌计数加上max_tokens不能超过模型的上下文长度。大多数型号的上下文长度为2048个令牌（最新型号除外，支持4096个）。
temperature	number	Optional 默认1	使用什么样的采样温度，介于0和2之间。较高的值（如0.8）将使输出更加随机，而较低的值（例如0.2）将使其更加集中和确定。我们通常建议更改 temperature 或 top_p，但不能同时更改两者。
top_p	number	Optional 默认1	使用温度采样的另一种方法称为核采样，其中模型考虑具有top_p概率质量的令牌的结果。因此，0.1意味着只考虑包含最高10%概率质量的代币。我们通常建议改变 top_p 或 temperature，但不能同时改变两者
n	integer	Optional 默认1	每个提示要生成多少个完成。注意：由于此参数会生成许多完成，因此它可以快速消耗令牌配额。小心使用并确保您对max_tokens和stop进行了合理的设置。
stream	boolean	boolean 默认false	是否返回部分进度。如果设置，令牌将在可用时作为仅数据服务器发送的事件发送，流以data:[DONE]消息终止。
logprobs	integer	Optional 默认null	包括logprobs最可能的令牌上的日志概率，以及所选令牌。例如，如果logprobs为5，则API将返回5个最可能的令牌的列表。API将始终返回采样令牌的logprob，因此响应中可能有多达logprobs+1个元素。 logprobs的最大值为5。如果您需要更多信息，请通过我们的帮助中心与我们联系，并描述您的用例
echo	boolean	boolean 默认false	除了完成之外，回显提示
stop	string \| array	Optional 默认null	最多4个序列，API将停止生成更多令牌。返回的文本将不包含停止序列。
presence_penalty	number	Optional 默认0	数字介于-2.0和2.0之间。正值根据到目前为止是否出现在文本中来惩罚新标记，从而增加模型谈论新主题的可能性。
frequency_penalty	number	Optional 默认0	数字介于-2.0和2.0之间。正值根据文本中的现有频率惩罚新标记，从而降低模型逐字重复同一行的可能性。
best_of	integer	Optional 默认0	在服务器端生成best_of完成，并返回“最佳”（每个令牌的日志概率最高）。结果无法流式传输。与n一起使用时，best_of控制候选完成的数量，n指定要返回的数量–best_of必须大于n。注意：由于此参数会生成许多完成，因此它可以快速消耗令牌配额。小心使用并确保您对max_tokens和stop进行了合理的设置。
logit_bias	map	Optional 默认 null	修改完成时出现指定标记的可能性。接受一个json对象，该对象将令牌（由GPT令牌化器中的令牌ID指定）映射到-100到100之间的相关偏差值。您可以使用此令牌化工具（适用于GPT-2和GPT-3）将文本转换为令牌ID。在数学上，在采样之前，将偏差添加到模型生成的逻辑中。每个模型的确切效果会有所不同，但介于-1和1之间的值应该会降低或增加选择的可能性；像-100或100这样的值应该会导致相关令牌的禁止或独占选择。例如，可以传递｛“50256”：-100｝以防止生成<
user	string	Optional	代表最终用户的唯一标识符，可帮助OpenAI监控和检测滥用

附加说明

参数user
在您的请求中发送最终用户ID是帮助OpenAI监控和检测滥用的有用工具。这允许OpenAI在我们检测到您的应用程序中存在任何违反政策的情况下，为您的团队提供更可操作的反馈。
ID应该是唯一标识每个用户的字符串。我们建议对他们的用户名或电子邮件地址进行哈希，以避免向我们发送任何身份信息。如果向未登录的用户提供产品预览，则可以发送会话ID。
您可以通过用户参数在API请求中包含最终用户ID，如下所示：

response = openai.Completion.create(
  model="text-davinci-003",
  prompt="This is a test",
  max_tokens=5,
  user="user123456"
)

技术共进，成长同行——讯飞AI开发者社区

更多推荐

论文笔记：AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models（AlphaEdit）

论文发表于人工智能顶会ICLR（基于定位和修改的模型编辑方法（针对和等）会破坏LLM中最初保存的知识，特别是在顺序编辑场景。为此，本文提出AlphaEdit：1、在将保留知识应用于参数之前，将扰动投影到保留知识的零空间上。2、从理论上证明，这种预测确保了在查询保留的知识时，编辑后的LLM的输出保持不变，从而减轻中断问题。3、对各种LLM（包括LLaMA3、GPT2XL和GPT-J）的广泛实验表明，