比「让咱们一步一步研究」这句咒语还管用提示工程正正在被鼎新

　　大说话模子可能通过元提示实行自愿提示工程，但因为缺乏足够的辅导以向导大说话模子中的杂乱推理本事，它们的潜力也许没有所有施展。

　　大型说话模子（LLM）曾经是很多天然说话执掌工作的壮大器材，只消能给出准确的提示。然而，因为模子的敏锐性，找到最优提示每每需求实行洪量手动考试和试错勉力。另表，一朝将初始提示安插到分娩情况中，也许会显现意思不到的边沿情状，需求更多轮的手动安排来进一步完整提示。

　　这些寻事催生了自愿提示工程的新兴咨议界限。正在这一界限内，一个明显的伎俩涉及使用 LLM 本身的本事。整体来说，这涉及行使指令对 LLM 实行元提示，比方「检验当条件示和一指点例，然后提出一个新的提示」。

　　固然这些伎俩博得了令人印象深远的本能工程，但随之而来的题目是：什么样的元提示实用于自愿提示工程？

　　为了回复这个题目，来自南加州大学、微软的咨议者将两个合头侦查联络起来：（1）提示工程自身即是需求深层推理的杂乱说话工作：这涉及亲密审查模子的过失、假设当条件示中缺乏或误导了什么、怎样将工作更明显的通报给 LLM。(2) 正在 LLM 中，通过促使模子「一步一步地研究」可能激励杂乱的推理本事，并通过辅导它们反思其输出可能进一步降低这种本事。

　　通过相联前面的两个侦查，咨议者实行提示工程，如许做的目标是构修一个元提示，从而辅导 LLM 更有用地实行提示工程 (见下图 2）。通过反思现有伎俩的限造性并调和杂乱推理提示的最新发达，他们引入了元提示组件，如慢慢推理模板和上下文范例，昭着辅导 LLM 正在提示工程经过中实行推理。

　　另表，因为提示工程可能看作是一个优化题目，通过从常见的优化观念中吸取灵感，如批执掌巨细、步长和动量，并将它们的口头表达引入到元提示中。而且两个数学推理数据集工程，MultiArith 和 GSM8K 上实行了这些组件和变体，并确定了一个显露最佳的组合，将其定名为 PE2。

　　值得注视的是，PE2 正在反底细工作上的显露最为有用。另表，该咨议还声了然 PE2 正在优化冗长、实际全国提示上拥有渊博的实用性。

　　正在审查 PE2 的提示编纂史乘时，咨议者呈现 PE2 永远供给蓄事理的提示编纂。它也许更正过失或不完好的提示，并通过增添特殊的细节使提示愈加充裕，从而促成最终本能的晋升 (表 4 所示)。

　　兴味的是，当 PE2 不领略正在八进造中实行加法运算时，它会从示例中拟定自身的算术正派：「倘若两个数字都幼于 50，则将 2 增添到总和中。倘若个中一个数字是 50 或更大，则将 22 增添到总和中。」假使这是一个不完备的简易办理计划，但它显示了 PE2 正在反底细情境中实行推理的出多本事。

　　假使博得了这些成果，咨议者也看法到了 PE2 的限造性和铩羽案例。PE2 也会受到 LLM 固有局限的影响和局限，比方疏忽给定的指令和发生过失的合理性 (下表 5 所示)。

　　提示工程的主意是正在行使给定的 LLM M_task 动作工作模子时（如下公式所示），正在给定命据集 D 上找达到到最佳本能的文本提示 p∗。更整体地说，假设所稀有据集都可能方式化为文本输入 - 输出对，即 D = {(x, y)}。一个用于优化提示的熬炼集 D_train，一个用于验证的 D_dev，以及一个用于最终评估的 D_test。遵循咨议者提出的符号表现，提示工程题目可能描画为：

　　个中，M_task (x; p) 是正在给定提示 p 的条款下模子天生的输出，而 f 是对每个示例的评估函数。比方，倘若评估目标是所有成婚，那么

　　正在给定一组初始提示的情状下，自愿提示工程师将无间提出新的、也许更好的提示。正在年光戳 t，提示工程师取得一个提示 p^(t)，并盼愿写一个新提示 p^(t+1)。正在新的提示天生经过中，可能遴选检验一指点例 B = {(x, y, y′ )}。这里 y ′ = M_task (x; p) 表现模子天生的输出，y 表现确切标签。行使 p^meta表现一个元提示，用于辅导 LLM 的 M_proposal 提出新的提示。是以，

　　构修一个更好的元提示 p^meta 以降低所提出的提示 p^(t+1) 的质地是本咨议的紧要眷注点。

　　就像提示正在最终工作本能中施展主要用意雷同，引入到公式 2 中的元提示 p^meta 正在新提出的提示质地以及自愿提示工程的整个质地中起着主要用意。

　　咨议者紧要潜心于对元提示 p^meta 实行提示工程，开荒了也许有帮于降低 LLM 提示工程质地的元提示组件，并对这些组件实行体例的融解咨议。

　　咨议者基于以下两个动机来安排这些组件的根基：（1）供给周密的辅导和配景音信：（2）融入常见的优化器观念。接下来，咨议者将更周密地描画这些元素并证明合系道理。下图 2 为可视化显示。

　　供给周密的指令和上下文。正在先前的咨议中，元提示要么指示倡议模子天生提示的释义，要么包括相合检验一指点例的最幼指令。是以通过为元提示增添特殊的指令和上下文也许是有益的。

　　(a) 提示工程教程工程。为了帮帮 LLM 更好地通晓提示工程的工作，咨议者正在元提示中供给一个提示工程的正在线教程。

　　(b) 两步工作描画。提示工程工作可能解析为两个次序，像 Pryzant et al. 所做的那样：正在第一步工程，模子应当检验如今的提示和一指点例。正在第二步，模子应当构修一个订正的提示。然而，正在 Pryzant et al. 的伎俩中，每一步都是即时证明的。与之相反的是，咨议者思索的是正在元提示中澄清这两个次序，并提前通报盼愿工程。

　　(c) 慢慢推理模板。为了荧惑模子贯注检验批次 B 中的每个示例并反思当条件示的限造性，咨议者向导提示倡议模子 M_proposal 回复一系列题目。比方：输出是否准确？提示是否准确描画了工作？是否有需要编纂提示？

　　(d) 上下文范例。正在实验中，提示插入总共输入序列的场所是精巧的。它可能正在输入文本之前描画工作，比方「将英语翻译成法语」。它也可能显现正在输入文本之后，比方「一步一步地研究」，以激励推理本事。为了看法到这些分其它上下文，咨议者昭着指定了提示与输入之间的彼此用意。比方：「Q: A ：一步一步地研究。」

　　融入常见的优化器观念。正在前面方程 1 中描画的提示工程题目本色上是一个优化题目，而方程 2 中的提示倡议可能被视为实行一次优化次序。是以，咨议者思索以下正在基于梯度的优化中常用的观念，并开荒他们元提示中行使的对应词。

　　(e) 批执掌巨细。批执掌巨细是正在每个提示倡议次序 (方程 2) 中行使的 (铩羽) 示例数目。作家正在理会中考试了批执掌巨细为 {1, 2, 4, 8}。

　　(f) 步长。正在基于梯度的优化中，步长确定模子权重更新的幅度。正在提示工程中，其对应物也许是可能修削的单词（token）数目。作家直接指定「你可能更改原始提示中的最多 s 个单词」，个中 s ∈ {5, 10, 15, None}。

　　(g) 优化史乘和动量。动量 (Qian, 1999) 是一种通过依旧过去梯度的转移均匀来加快优化并避免振荡的本事。为了开荒动量的说话对应个人，本文包括了全数过去的提示（年光戳为 0, 1, ..., t − 1）、它们正在 dev 集上的显露以及提示编纂的摘要。

　　订正的基准与更新的 LLMs。正在表 2 的前两个人中，作家侦查到行使 TEXT-DAVINCI-003 可能明显降低本能，剖明它更也许正在 Zero-shot CoT 中办理数学推理题目。另表，两个提示之间的差异缩幼了（MultiArith：3.3% → 1.0%，GSM8K：2.3% → 0.6%），剖明 TEXT-DAVINCI-003 对提示释义的敏锐性减幼。鉴于此，依赖纯粹释义的伎俩如 Iterative APE，也许无法有用地晋升最终结果。更无误和有针对性的提示编纂是降低本能的需要条款。

　　正在前面图 1 中，作家总结了 PE2 正在指令归结基准、反底细评估和分娩提示上取得的本能晋升，显示了 PE2 正在种种说话工作上博得了壮大的本能。值得注视的是，当行使归结初始化时，PE2 正在 12 个反底细工作中的 11 个上优于 APO (图 6 所示)，声了然 PE2 也许推理抵触和反底细情境。比「让咱们一步一步研究」这句咒语还管用提示工程正正在被鼎新