【翻译】GPT最佳实践

原文章地址：https://platform.openai.com/docs/guides/gpt-best-practices/strategy-test-changes-systematically

本指南分享了从GPT中获得更好结果的战略和策略。这里描述的方法有时可以结合起来使用，以获得更大的效果。我们鼓励大家通过实验来找到最适合自己的方法。

这里演示的一些例子目前只适用于我们能力最强的模型，gpt-4。如果你还没有机会使用gpt-4，可以考虑加入等待名单。一般来说，如果你发现一个GPT模型在某项任务中失败了，而有一个能力更强的模型可用，通常值得用能力更强的模型再试一次。

获得更好结果的六种策略写清楚说明

GPT不能读懂你的想法。如果产出太长，要求简短的答复。如果产出太简单，就要求专家级的写作。如果你不喜欢这种格式，就展示你希望看到的格式。GPT越是不需要猜测你想要什么，你就越有可能得到它。

方法：

1. 在你的询问中包括细节，以获得更多相关的答案
2. 要求模型扮演一个角色
3. 使用分隔符来清楚地表明输入的不同部分
4. 具体说明完成一项任务所需的步骤
5. 提供例子
6. 指定所需的输出长度

提供参考文本

GPT可以自信地编造虚假的答案，特别是当被问及深奥的话题或引用和URL时。就像一张笔记可以帮助学生在考试中做得更好一样，为GPT提供参考文本可以帮助他们在回答问题时减少捏造。

方法：

1. 指导模型使用参考文本进行回答
2. 指导模型使用参考文本中的引文进行回答

将复杂的任务拆分为更简单的子任务

正如在软件工程中，将一个复杂的系统分解成一系列的模块化组件是一个很好的做法，提交给GPT的任务也是如此。复杂的任务往往比简单的任务有更高的错误率。此外，复杂的任务通常可以被重新定义为较简单的任务的工作流程，其中早期任务的输出被用来构建后面任务的输入。

方法：

1. 使用意图分类来确定与用户查询最相关的指令
2. 对于需要很长对话的对话应用，总结或过滤以前的对话
3. 对长的文件进行逐条总结，并递归地构建一个完整的总结

给GPT时间“思考”

如果让你用17乘以28，你可能不会马上知道，但还是可以通过时间计算出来。同样地，当GPT试图立即回答，而不是花时间来计算答案时，他们会犯更多的推理错误。在回答之前要求有一连串的推理，可以帮助GPT们更可靠地推理出正确的答案。

方法：

1. 指示模型在匆忙得出结论之前，先找出自己的解决方案
2. 使用内心独白或一连串的询问来隐藏模型的推理过程
3. 询问模型在之前的过程中是否遗漏了什么

使用外部工具

通过向GPT提供其他工具的输出来弥补GPT的弱点。例如，一个文本检索系统可以告诉GPT有关的文件。一个代码执行引擎可以帮助GPT进行数学运算和运行代码。如果一项任务可以由一个工具而不是GPT更可靠或更有效地完成，那么就把它卸载掉，以获得两者的优点。

方法：

1. 使用基于嵌入的搜索来实现高效的知识检索
2. 使用代码执行来进行更精确的计算或调用外部API

系统地测试变更

如果你能测量它，提高性能就更容易了。在某些情况下，对一个提示的修改会在一些孤立的例子上实现更好的性能，但在更有代表性的例子上会导致更差的整体性能。因此，为了确定一个变化对性能是积极的，可能需要定义一个全面的测试套件（也称为 “评估”）。

方法：

1. 参照黄金标准答案评估模型输出

方法

上面列出的每个策略都可以用具体的战术来实例化。这些战术是为了提供一些可以尝试的想法。它们决不是完全全面的，你应该自由地尝试这里没有代表的创造性想法。

策略：编写清晰的说明方法：在你的询问中包括细节，以获得更多相关的答案

为了得到高度相关的响应，请确保请求提供任何重要的细节或上下文。否则，你就得让模型来猜测你的意思了。

方法：要求模型扮演一个角色

系统消息可用于指定模型在回复中使用的角色。

方法：使用分隔符清楚地指示输入的不同部分

三引号、XML标记、节标题等分隔符可以帮助划分要区别对待的文本节。

对于像这样简单的任务，使用分隔符可能不会对输出质量产生影响。然而，任务越复杂，消除任务细节的歧义就越重要。不要让GPT努力去理解你对他们的要求。

方法：指定完成任务所需的步骤

某些任务最好指定为一系列步骤，明确地写出步骤可以使模型更容易地遵循它们。

方法：提供示例

提供适用于所有例子的一般指示，通常比通过例子演示任务的所有变化更有效，但在某些情况下，提供例子可能更容易。例如，如果你打算让模型复制一种难以明确描述的响应用户查询的特定风格。这就是所谓的 “几句话 “提示。

方法：指定所需的输出长度

您可以要求模型生成具有给定目标长度的输出。目标输出长度可以根据单词、句子、段落、项目符号等的数量来指定。然而，请注意，指示模型生成特定数量的单词并不具有高精度。该模型可以更可靠地生成具有特定数量的段落或项目符号的输出。

策略：提供参考文本方法：指导模型使用参考文本进行回答

如果我们可以为模型提供与当前查询相关的可信信息，那么我们可以指示模型使用所提供的信息来组成其答案。

鉴于GPT的上下文窗口有限，为了应用这种策略，我们需要某种方式来动态查找与所问问题相关的信息。Embeddings可以用来实现高效的知识检索。有关如何实现这一点的更多详细信息，请参阅策略“使用基于嵌入的搜索来实现高效的知识检索”。

方法：指导模型用参考文本中的引文进行回答

如果输入中已经用相关知识进行了补充，那么可以直接要求模型通过引用所提供文件中的段落来在其答案中添加引用。请注意，输出中的引用可以通过所提供文档中的字符串匹配以编程方式进行验证。

策略：将复杂的任务拆分为更简单的子任务方法：使用意图分类来确定与用户查询最相关的指令

对于需要大量独立指令集来处理不同情况的任务，首先对查询类型进行分类并使用该分类来确定需要哪些指令可能是有益的。这可以通过定义与处理给定类别中的任务相关的固定类别和硬编码指令来实现。这个过程也可以递归地应用于将任务分解为一系列阶段。这种方法的优点是，每个查询将仅包含执行任务的下一阶段所需的那些指令，与使用单个查询来执行整个任务相比，这些指令可以导致更低的错误率。这也可以降低成本，因为更大的提示运行成本更高（请参阅定价信息）。
例如，假设对于客户服务应用程序，查询可以有效地分类如下：

基于客户查询的分类，可以向GPT模型提供一组更具体的指令，以处理接下来的步骤。例如，假设客户需要“故障排除”方面的帮助。

请注意，该模型已被指示发出特殊的字符串，以指示对话的状态何时改变。这使我们能够把我们的系统变成一个状态机，状态决定了哪些指令被注入。通过跟踪状态，哪些指令在该状态下是相关的，以及允许从该状态下进行哪些状态转换，我们可以在用户体验周围设置护栏，这在结构化程度较低的方法中是难以实现的。

方法：对于需要很长对话的对话应用，总结或过滤以前的对话

由于GPT具有固定的上下文长度，用户和助手之间的对话（其中整个对话都包含在上下文窗口中）不能无限期地继续。
这个问题有各种各样的解决方法，其中之一就是总结之前的谈话。一旦输入的大小达到预定的阈值长度，这可以触发对会话的一部分进行总结的查询，并且先前会话的总结可以被包括作为系统消息的一部分。或者，可以在整个会话的后台异步总结先前的会话。
另一种解决方案是动态选择对话中与当前查询最相关的先前部分。请参阅策略“使用基于嵌入的搜索来实现高效的知识检索”。

方法：对长的文件进行逐条总结，并递归地构建一个完整的总结

由于GPT具有固定的上下文长度，因此不能在单个查询中使用GPT来汇总超过上下文长度减去生成的摘要长度的文本。
要总结一个很长的文档，例如一本书，我们可以使用一系列查询来总结文档的每个部分。章节摘要可以连接和汇总，从而生成摘要的摘要。这个过程可以递归地进行，直到整个文档被总结出来。如果有必要使用有关前几节的信息来理解后几节，那么另一个有用的技巧是在总结书中任何给定点之前的文本时，包括对该点内容的连续摘要。OpenAI使用GPT-3的变体在之前的研究中已经研究了这种总结书籍的程序的有效性。

策略：给GPT时间“思考”方法：指示模型在匆忙得出结论之前，先找出自己的解决方案

有时，当我们明确指示模型在得出结论之前从第一原理进行推理时，我们会得到更好的结果。例如，假设我们想要一个模型来评估一个学生对数学问题的解决方案。最明显的方法是简单地问模型，学生的解决方案是否正确。

但是学生的解决方案实际上是不正确的！我们可以通过提示模型首先生成自己的解决方案来让模型成功地注意到这一点。

方法：使用内心独白或一连串的询问来隐藏模型的推理过程

前面的策略表明，在回答特定问题之前，模型对问题进行详细推理有时很重要。对于某些应用程序，模型用于得出最终答案的推理过程不适合与用户共享。例如，在辅导应用程序中，我们可能希望鼓励学生自己找出答案，但模型对学生解决方案的推理过程可能会向学生揭示答案。
内心独白是一种可以用来缓解这种情况的策略。内心独白的想法是指示模型将原本要对用户隐藏的输出部分放入结构化格式中，使解析它们变得容易。然后，在向用户呈现输出之前，对输出进行解析，并且仅使输出的一部分可见。

或者，这可以通过一系列查询来实现，在这些查询中，除最后一个查询外，所有查询的输出都对最终用户隐藏。
首先，我们可以要求模型自己解决问题。由于这个初始查询不需要学生的解决方案，因此可以省略它。这提供了额外的优势，即模型的解决方案不会因学生尝试的解决方案而产生偏差。

接下来，我们可以让模型使用所有可用的信息来评估学生的解决方案是否正确。

最后，我们可以让模型使用自己的分析，以一个乐于助人的导师的身份构建一个回复。

方法：询问模型在之前的过程中是否遗漏了什么

假设我们正在使用一个模型来列出与某个特定问题相关的来源的摘录。在列出每个摘录之后，模型需要确定它是否应该开始写另一个摘录，或者是否应该停止。如果源文件很大，模型通常会过早停止，而无法列出所有相关的节选。在这种情况下，通常可以通过提示模型进行后续查询，以找到它在前几次查询中遗漏的任何节选内容，从而获得更好的性能。

使用外部工具方法：使用基于嵌入的搜索来实现高效的知识检索

如果作为输入的一部分提供，模型可以利用外部信息源。这可以帮助模型生成更知情和最新的响应。例如，如果用户询问关于特定电影的问题，则将关于电影的高质量信息（例如，演员、导演等）添加到模型的输入中可能是有用的。嵌入可以用于实现高效的知识检索，从而可以在运行时将相关信息动态添加到模型输入中。
文本嵌入是一种可以测量文本字符串之间相关性的向量。相似或相关的字符串将比不相关的字符串更紧密地连接在一起。这一事实，加上快速矢量搜索算法的存在，意味着嵌入可以用于实现高效的知识检索。特别地，文本语料库可以被分成块，并且每个块都可以被嵌入和存储。然后，可以嵌入给定的查询，并且可以执行向量搜索以从语料库中找到与查询最相关的嵌入的文本块（即，在嵌入空间中最接近的文本块）。
示例实现可以在OpenAI Cookbook中找到。请参阅策略“指导模型使用检索到的知识来回答查询”，以了解如何使用知识检索来最大限度地减少模型编造错误事实的可能性。

方法：使用代码执行来进行更精确的计算或调用外部API

不能依靠GPT自己准确地进行算术或长时间的计算。在需要的情况下，可以指示一个模型编写和运行代码，而不是自己进行计算。特别是，一个模型可以被指示把要运行的代码放到一个指定的格式中，如三重回溯。在产生输出后，代码可以被提取并运行。最后，如果有必要，代码执行引擎（即Python解释器）的输出可以提供给模型，作为下一次查询的输入。

代码执行的另一个好用例是调用外部API。如果指示模型正确使用API，它可以编写使用它的代码。可以通过向模型提供说明如何使用API的文档和/或代码示例来指示模型如何使用API。

警告：执行由模型生成的代码本质上是不安全的，在任何试图执行此操作的应用程序中都应该采取预防措施。特别是，需要一个沙盒代码执行环境来限制不受信任的代码可能造成的危害。

系统地测试变更

有时很难判断一个变化——例如，一条新指令或一个新设计——是让你的系统变得更好还是更糟。看看几个例子可能会暗示哪一个更好，但由于样本量较小，很难区分真正的改进还是随机的运气。也许更改有助于某些输入的性能，但会损害其他输入的性能。

评估程序（或“evals”）有助于优化系统设计。好的evals是：

• 代表真实世界的使用（或至少多样化）
• 包含许多测试用例以获得更大的统计能力（有关指南，请参阅下表）
• 易于自动化或重复

输出的评估可以由计算机、人工或混合进行。计算机可以使用客观标准（例如，具有单一正确答案的问题）以及一些主观或模糊标准来自动评估，其中模型输出由其他模型查询来评估。OpenAI Evals是一个开源软件框架，提供创建自动化评估的工具。
当存在一系列可能的输出时，基于模型的评估可能会很有用，这些输出被认为质量同样高（例如，对于答案很长的问题）。基于模型的评估可以实际评估的内容和需要人类评估的内容之间的界限是模糊的，并且随着模型变得更有能力，界限不断变化。我们鼓励进行实验，以了解基于模型的评估在多大程度上适用于您的用例。

方法：参照黄金标准答案评估模型输出

假设一个问题的正确答案应该参考一组特定的已知事实。然后，我们可以使用模型查询来计算答案中包含了多少所需事实。
例如，使用以下系统消息：

以下是一个同时满足这两点的示例输入：

以下是一个没有得到满足的示例输入：

这种基于模型的eval有很多可能的变体。考虑以下变化，它跟踪候选答案和金标准答案之间的重叠类型，并跟踪候选答案是否与金标准答案的任何部分相矛盾。

以下是一个输入不合格答案的示例，但与专家答案并不矛盾：

以下是一个与专家答案直接矛盾的输入示例：

以下是一个带有正确答案的示例输入，它还提供了比所需更多的细节：

其他资源

要获得更多灵感，请访问OpenAI Cookbook，其中包含示例代码，还链接到第三方资源，如：

• 提示库和工具
• 提示性指南
• 视频课程
• 关于改进推理的高级提示的论文