OpenAI控制完成的长度

控制完成的长度

控制完成时间的主要方法是使用最大令牌设置。在 Playground 中，此设置是“响应长度”。这些请求最多可以使用 2,049 个令牌，在提示和完成之间共享。

让我们比较一下科幻书籍列表生成器和分类示例提示的响应长度。

科幻书单制作工具

分类

图书列表生成器具有相对较高的响应长度值 200，因为任务是生成最多 10 本书的列表。另一方面，分类示例的 Response Length 值仅为 6，因为任务是用几个词来确定公司的类别。给定“FedEx”作为输入，完成只是“Logistics, Transportation”。

除了设置 Response Length 值之外，您还可以使用其他一些策略来控制输出长度：

给出指示

提供指令以生成所需的输出长度，例如列表中特定数量的项目。这对 instruct 系列特别有效。回到科幻书籍列表生成器示例，您可以提供明确的指令来生成包含十本书的列表。然后指令将是“十本科幻小说的清单”而不是“科幻小说”。

添加特定长度的示例

该 API 非常擅长识别模式，并且会在生成文本时考虑给出的示例的长度。通过提供具有所需输出长度的示例或多个示例，您可以提供有关预期长度的所需上下文。在下面的提示中，我们修改了科幻书籍列表制作器，以创建任何给定类型的五本书的列表。我们提供了一个包含五个列表项的示例，此外还给出了创建包含五本书的列表的明确说明。

策略性停止序列

在上面的示例中，停止序列是“###”和“6.”。如果 API 尝试生成第六个列表项，它将遇到“6”。停止序列。以类似的方式，可以使用句号来生成单个句子。您可以在此处了解有关停止序列的更多信息。

注意：目前没有办法设置令牌的最小数量。

未经允许不得转载：表盘吧 » OpenAI控制完成的长度