last_modified: 2026-01-11

生成AIによる自動生成記事に関する免責事項: 本記事は、提供された学術論文 arXiv:2303.17651v2 [cs.CL] (SELF-REFINE: Iterative Refinement with Self-Feedback) の内容に基づき、大規模言語モデルによって作成された解説記事です。正確な内容は参考文献を必ず参照してください。

1. 序論：One-pass Generationの限界と反復的精緻化の必要性#

大規模言語モデル（LLM）は、流暢なテキスト生成において顕著な能力を示しているが、複雑な要件を伴うタスクにおいては、最初の試行（One-pass Generation）で最適な出力を生成できない場合が多々存在する 。人間が文章作成やプログラミングを行う際、初稿を作成した後に推敲やリファクタリングを行うように、モデルの出力もまた、反復的な修正プロセスを経ることで品質が向上する余地がある 。

従来、このような精緻化（Refinement）プロセスを実現するためには、ドメイン固有のデータで訓練された別の修正モデルを用意するか 、あるいは人間によるフィードバックを用いた強化学習（RLHF）など、外部からの報酬シグナルを必要とする手法が一般的であった 。しかし、これらのアプローチは高品質な訓練データや人間によるアノテーションコストを要するという課題を抱えている。

Madaan et al. (2023) が提案した SELF-REFINE は、これらの外部リソースへの依存を排除し、LLM自身が「生成者（Generator）」、「批評家（Critic）」、「修正者（Refiner）」の役割を兼ねることで、自己完結的な反復修正を実現するフレームワークである 。本稿では、SELF-REFINEの理論的構成、数理モデル、および7つの多様なタスクにおける実験的評価について詳述する。

2. 理論的背景と歴史的文脈#

2.1 関連研究における位置づけ#

言語生成における出力の事後修正は、長い研究の歴史を持つ。SELF-REFINEの新規性を明確にするため、既存のアプローチと比較を行う。

1. 教師あり修正モデル (Supervised Refiners): PEER (Schick et al., 2022) や Self-Correction (Welleck et al., 2022) などは、修正タスク専用にモデルをファインチューニングするアプローチである 。これらは高い性能を発揮する一方で、タスクごとの訓練データセット構築とモデル訓練コストが必要となる。

2. 強化学習ベースのアプローチ (RL-based approaches): RLHF (Stiennon et al., 2020) や CodeRL (Le et al., 2022) は、報酬モデルを用いてポリシーを最適化する 。これらはモデルのパラメータ更新を伴うため、計算コストが高く、また「なぜその修正が必要か」という言語的なフィードバックをモデル自身が解釈するプロセスとは異なる。

3. Prompt-based Refiners: Re3 (Yang et al., 2022) や Reflexion (Shinn et al., 2023) は、LLMのIn-context Learning能力を活用する点でSELF-REFINEに近い 。しかし、Re3は物語生成に特化しており、Reflexionはプランニングにおける外部環境からのフィードバック（ReActパラダイム）に重点を置いている 。

SELF-REFINEの特筆すべき点は、**「単一のLLM」を用い、「追加学習なし（Training-free）」で、「自然言語によるフィードバック（NL Feedback）」**を生成・利用する点にある 。これは、LLMが自身の出力を客観的に評価し、その評価に基づいて修正案を導出するという、メタ認知的なプロセスを工学的に実装したものと解釈できる。

3. 数理的定式化とアルゴリズム#

SELF-REFINEは、初期生成、フィードバック生成、および精緻化の3つのステップからなる反復プロセスとして定式化される。ここでは、論文中の定義に基づき、各ステップを数理的に記述する。

3.1 変数定義#

• $x$: 入力（プロンプトや問題設定）
• $\mathcal{M}$: 大規模言語モデル（例：GPT-4, GPT-3.5）
• $y_t$: 時点 $t$ における生成出力
• $fb_t$: 時点 $t$ における出力 $y_t$ に対するフィードバック
• $p_{gen}, p_{fb}, p_{refine}$: 各ステップに対応するFew-shotプロンプト

3.2 アルゴリズムの構成要素#

SELF-REFINEのプロセスは以下の連立式によって表現される。

Step 1: 初期生成 (Initial Generation)#

まず、モデル $\mathcal{M}$ は入力 $x$ と生成用プロンプト $p_{gen}$ に基づき、初期出力 $y_0$ を生成する。

ここで、$||$ は文字列の連結を表す 。$p_{gen}$ には、タスクの入出力例 $\langle x^{(k)}, y^{(k)} \rangle$ が含まれる。

Step 2: フィードバック生成 (Feedback Generation)#

次に、モデル $\mathcal{M}$ は自身の出力 $y_t$ に対して、改善点や問題点を指摘するフィードバック $fb_t$ を生成する。

この際、$p_{fb}$ は「入力」「出力」「それに対するフィードバック」の3組 $\langle x^{(k)}, y^{(k)}, fb^{(k)} \rangle$ のFew-shot例を含む 。重要なのは、このフィードバックが単なるスコア（スカラ値）ではなく、具体的（Specific）かつ実行可能（Actionable）な自然言語である点である 。

Step 3: 精緻化 (Refinement)#

最後に、モデル $\mathcal{M}$ は、直前の出力 $y_t$ とフィードバック $fb_t$ を考慮して、修正された出力 $y_{t+1}$ を生成する。

論文中の式(4)およびアルゴリズム記述では、過去の履歴（$y_0, fb_0, \dots$）をすべてプロンプトに含めることで、モデルが過去の試行錯誤から学習し、同じ過ちを繰り返さないように設計されている 。

3.3 停止条件#

この反復プロセス（Step 2 $\to$ Step 3）は、停止条件 $stop(fb_t, t)$ が満たされるまで続けられる。停止条件としては、最大反復回数（論文では主に $t=4$ まで実験）や、フィードバック内で生成される品質スコアが閾値を超えた場合などが採用される 。

4. 実験的評価と成果#

Madaan et al. は、SELF-REFINEの汎用性と有効性を検証するため、コード生成、数学的推論、対話生成などを含む7つの多様なタスクで評価を行った。

4.1 タスク概要とデータセット#

評価に用いられた主なタスクは以下の通りである 。

1. Code Optimization: PIEデータセットを使用し、コードの効率化（実行速度の向上）を目指す。
2. Code Readability: CodeNetデータセットを使用し、変な変数名の修正やコメントの追加など、可読性を向上させる。
3. Math Reasoning: GSM8Kを使用し、数学的な文章題を解く。
4. Dialogue Response: FEDデータセットを使用し、対話の文脈に沿った適切な応答を生成する。
5. Sentiment Reversal: レビューの感情（ポジティブ/ネガティブ）を逆転させるスタイル変換。
6. Acronym Generation: 論文のタイトル等から適切な頭字語（アクロニム）を生成する（本論文で構築された新規タスク）。
7. Constrained Generation: CommonGen-Hard（本論文で拡張）を使用し、指定された20-30個のキーワードをすべて含んだ自然な文章を作成する。

4.2 定量的結果#

実験の結果、SELF-REFINEは、GPT-3.5, ChatGPT, GPT-4といったベースモデルの性能を、全タスクにおいて一貫して向上させた。以下に主要な結果を抜粋する。

ベースラインに対する改善率 (Table 1より)#

• Dialogue Response (GPT-4): ベースモデルの勝率25.4%に対し、SELF-REFINE適用後は**74.6%**へと劇的に向上した（約+50%の改善）。
• Code Optimization (GPT-4): 最適化成功率が27.3%から**36.0%**へ向上。
• Constrained Generation (GPT-3.5): 制約充足率等が28.0%から37.0%へ向上。特にChatGPTにおいては44.0%から**67.0%**へと大幅な改善が見られた。
• Math Reasoning (GSM8K): 改善幅は他のタスクに比べて控えめであった（GPT-4で92.9% $\to$ 93.1%）。これは、モデルが自身の推論の誤りを正確に検知（Feedback）すること自体が困難であるためと分析されている 。ただし、外部からの正誤判定（Oracle Feedback）を与えた場合、GPT-3.5で+4.8%の向上が確認された 。

4.3 反復回数と性能の関係#

反復回数 $t$ を増やすことによる性能変化（Figure 4）において、以下の傾向が観測された 。

• 初期の反復（$t=0 \to 1$）で最も大きな性能向上が得られる。
• 多くのタスクでは反復回数とともに性能は単調増加するが、改善幅は漸減（Diminishing returns）する。
• Acronym Generationのような多面的な評価（発音のしやすさ、綴り、意味など）を要するタスクでは、特定の反復で一部の指標が悪化する非単調な挙動も一部見られたが、総合スコアを用いた選択により最終的な品質は担保される 。

5. 詳細分析と考察#

5.1 フィードバックの質と重要性#

SELF-REFINEの核となるのは「フィードバックの具体性」である。論文では、以下の3条件で比較実験を行っている 。

1. SELF-REFINE Feedback: 具体的かつ実行可能な指示（例：「このコードは$O(N^2)$だから遅い。累積和を使って$O(N)$にすべき」）。
2. Generic Feedback: 一般的な指示（例：「コードの効率を改善して」）。
3. No Feedback: フィードバックを与えず、単に「修正版を書いて」と促す。

結果として、Code Optimizationにおいて、SELF-REFINE (27.5%) > Generic (26.0%) > No Feedback (24.8%) という序列が確認された 。特にSentiment Reversalタスクでは、具体的なフィードバックがない場合（No Feedback）、モデルはタスクの目的（感情の反転）を見失い、スコアが0%になるケースもあった 。これは、LLM自身による言語化された思考プロセス（Chain of Thought的な効果）が、修正の方向性を維持するために不可欠であることを示唆している。

5.2 モデルサイズと能力の依存性#

SELF-REFINEは、モデルが「自身の出力を批評する能力」と「指示に従って修正する能力」の両方を持っていることを前提としている。 実験において、より小規模なモデルであるVicuna-13bに適用した際、同モデルはフィードバックを適切なフォーマットで生成することに失敗したり、修正指示を無視して同じ出力を繰り返したりする傾向が見られた 。これに対し、GPT-4のような高性能モデルは、SELF-REFINEによる利得が最も大きく、潜在能力を最大限に引き出せることが示された。これは、SELF-REFINEがInstruction Following（指示追従）能力やIn-context Learning能力に強く依存していることを裏付けている 。

5.3 複数候補生成（k-sampling）との比較#

「単に何度も生成して良いものを選ぶだけ（Generate-and-Rank）で良いのではないか？」という疑問に対し、著者は $k=4$ 個のサンプルを生成した場合と、SELF-REFINEによる修正を行った場合を比較した（Figure 6）。 結果、SELF-REFINEによって生成された単一の出力は、単純に生成された複数の候補すべてよりも人間による評価が高かった 。これは、無作為な試行錯誤よりも、意図的な修正プロセスの方が高品質な解に到達しやすいことを示している。

5.4 エラー分析#

定性的なエラー分析（Table 11, 12）によると、SELF-REFINEが失敗する主な要因は以下の通りである 。

• 不正確なフィードバック: フィードバック自体が誤っている、あるいは問題の所在を誤認している（全失敗例の約25%）。
• 修正の失敗: フィードバックは正しいが、修正段階でそれを反映できない、あるいは新たなバグを埋め込んでしまう（約20%）。

しかし興味深いことに、フィードバックが多少不正確であっても、修正フェーズでモデルが自律的に正しい修正を行うケースも33%確認された 。これはモデルの頑健性を示唆するものである。

6. 実装コードの例（Python/Markdown）#

論文の付録や記述に基づき、SELF-REFINEのプロセスを模した擬似コードを示す。実際の実装ではOpenAI API等を使用する。

import openai

def self_refine(input_text, task_type, max_iterations=4):
    """
    SELF-REFINEの概念的実装
    """
    
    # 1. Initial Generation
    # p_genはタスクごとのFew-shotプロンプト
    prompt_gen = construct_gen_prompt(task_type, input_text)
    current_output = call_llm(prompt_gen)
    
    history = [] # 履歴の保持
    
    for t in range(max_iterations):
        # 2. Feedback Generation
        # p_fbはフィードバック生成用のFew-shotプロンプト
        prompt_fb = construct_fb_prompt(task_type, input_text, current_output)
        feedback = call_llm(prompt_fb)
        
        # 停止条件の判定（フィードバック内のスコアやキーワードで判定）
        if should_stop(feedback):
            break
            
        # 履歴の更新
        history.append({'output': current_output, 'feedback': feedback})
        
        # 3. Refinement
        # p_refineは修正用のFew-shotプロンプト（過去の履歴を含める）
        prompt_refine = construct_refine_prompt(task_type, input_text, history)
        refined_output = call_llm(prompt_refine)
        
        current_output = refined_output
        
    return current_output

def construct_refine_prompt(task_type, input_text, history):
    """
    履歴を含めた修正用プロンプトの構築（論文式(4)に対応）
    """
    prompt = f"Task: {task_type}\nInput: {input_text}\n"
    for i, item in enumerate(history):
        prompt += f"Attempt {i+1}: {item['output']}\n"
        prompt += f"Feedback {i+1}: {item['feedback']}\n"
    prompt += "Refined Output:"
    return prompt

補遺：線形代数と高校数学の視点で捉えるSELF-REFINE#

本セクションでは、SELF-REFINEのアルゴリズム的挙動を、解析学的な記述（積分や測度）ではなく、高校数学で扱う「関数・数列」および線形代数の「ベクトル」の概念を用いて再構成する。これにより、本手法のメカニズムをより直感的かつ厳密に記述する。

1. 言語モデルの関数による定式化#

大規模言語モデル（LLM）$\mathcal{M}$ は、数学的には高次元ベクトル空間上の写像（関数）として定義できる。

• 入力ベクトル $\mathbf{x}$: プロンプトや質問文などのテキスト情報は、トークン化と埋め込み（Embedding）を経て、高次元のベクトル $\mathbf{x} \in \mathbb{R}^d$ に変換される。
• 写像 $f$: モデル $\mathcal{M}$ は、入力ベクトル $\mathbf{x}$ を受け取り、出力テキストに対応するベクトル $\mathbf{y}$ を生成する関数 $f: \mathbb{R}^d \to \mathbb{R}^{d'}$ とみなせる。

2. 「結合（Concatenation）」のベクトル演算的解釈#

論文中の数式で頻出する文字列結合演算子 $||$ は、線形代数におけるベクトルの「結合（Concatenation）」あるいは「次元拡張（Augmentation）」として解釈できる。

ベクトル $\mathbf{a} \in \mathbb{R}^n$ と $\mathbf{b} \in \mathbb{R}^m$ が与えられたとき、結合されたベクトル $\mathbf{c}$ は $\mathbb{R}^{n+m}$ の元となる。

SELF-REFINEにおいては、過去の出力やフィードバックを履歴として保持する操作が、このベクトル次元の拡張に相当する。反復が進むにつれて、関数 $f$ への入力ベクトルは高次元化し、より多くの文脈情報を含むようになる。

3. アルゴリズムの数理：連立漸化式による記述#

SELF-REFINEの反復プロセスは、回答の品質を向上させるための「数列」を生成する操作であり、これは高校数学における 連立漸化式 として定式化できる。

Step 1: 初期条件（Initial Generation）#

定数ベクトル（プロンプト）$\mathbf{p}_{gen}$ と入力 $\mathbf{x}$ を用いて、数列の初項 $\mathbf{y}_0$ を生成する。

Step 2: 動的システムの更新（Iterative Refinement）#

時点 $t$ における回答 $\mathbf{y}_t$ から、次の時点 $t+1$ の回答 $\mathbf{y}_{t+1}$ を導出するプロセスは、以下の2段階の写像の合成となる。

1. 評価写像（Feedback Generation）: 現在の回答 $\mathbf{y}_t$ を入力とし、その品質評価および修正指針を含むフィードバックベクトル $\mathbf{fb}_t$ を出力する。

   $$\mathbf{fb}_t = f(\mathbf{p}_{fb} \oplus \mathbf{x} \oplus \mathbf{y}_t)$$

2. 更新写像（Refinement）: これまでの全履歴（$\mathbf{y}_0, \mathbf{fb}_0, \dots, \mathbf{y}_t, \mathbf{fb}_t$）を入力として、改良された回答 $\mathbf{y}_{t+1}$ を生成する。

   $$\mathbf{y}_{t+1} = f(\mathbf{p}_{refine} \oplus \mathbf{x} \oplus \mathbf{y}_0 \oplus \mathbf{fb}_0 \oplus \dots \oplus \mathbf{y}_t \oplus \mathbf{fb}_t)$$

4. まとめ：収束する数列としての解釈#

以上より、SELF-REFINEは、静的な関数適用（One-pass）ではなく、以下のような動的システム（Dynamic System）として記述される。

（※ここで $g, h$ は、プロンプトや履歴項を内部に含んだ $f$ の派生関数である）

本研究の実証結果（Figure 4など）は、反復回数 $t$ の増加に伴い、評価関数 $S(\mathbf{y}_t)$ （回答の品質スコア）が単調増加し、ある上界に収束することを示唆している。これは、方程式の解を反復的に探索するニュートン法や、勾配法による最適化プロセスと数理的に同型の構造を、言語生成という離散的な空間上で実現したものであるといえる。

補遺2：確率的生成と評価関数の最大化としての詳細解説#

前節ではLLMを単なる関数 $f$ として扱いましたが、本節ではその中身である「確率的生成プロセス」と、SELF-REFINEが実質的に解いている「最適化問題（目的関数）」について、より詳細に定式化します。

1. LLMの中身：条件付き確率の最大化#

高校数学の「確率」を用いて、LLMの挙動をより厳密に記述します。 LLMは、入力 $x$ に対して、最も「ありそうな（尤もらしい）」回答 $y$ を計算しています。これは 条件付き確率 $P(y|x)$ の最大化 です。

（ここで $w$ はあり得る全ての単語列の候補）

しかし、SELF-REFINEが取り組む問題は、単に「確率が高い単語列」を作ることではなく、「ユーザーの意図や制約（品質）を満たす単語列」 を作ることです。初期生成 $y_0$ は確率的には高い値ですが、品質的には不十分な場合があります。

2. 目的関数の正体：品質スコア $S(y)$#

SELF-REFINEにおける「目的関数」は、フィードバックステップで暗黙的に、あるいは明示的に計算される 品質スコア（Quality Score） $S(y)$ です。

論文中のタスク「Acronym Generation（頭字語生成）」を例にとると、このスコア関数 $S(y)$ は具体的に以下のような 重み付き和 で構成されています（論文 Table 18 等参照）。

ここで $c_k(y)$ は各評価項目の点数（例：5段階評価）です。

1. 発音のしやすさ $c_1(y)$
2. 綴りのしやすさ $c_2(y)$
3. タイトルとの関連性 $c_3(y)$
4. ポジティブな印象 $c_4(y)$
5. 知名度 $c_5(y)$

SELF-REFINEの目的は、この合計スコア $S(y)$ を最大化するような $y$ を見つけることです。 つまり、数理的な目的は以下の最大化問題に帰着されます。

3. アルゴリズムの再解釈：言語による「勾配上昇法」#

ニューラルネットワークの学習では、目的関数の値を増やすために「微分（勾配）」を使ってパラメータを少しずつ動かします（勾配上昇法）。 SELF-REFINEでは、「自然言語によるフィードバック」がこの「勾配（修正方向）」の役割 を果たしています。

これをベクトルと近似式で表現してみましょう。

ステップ A: 現状の評価（勾配の計算）#

フィードバック $fb_t$ は、現在の回答 $y_t$ と、理想的な回答 $y_{ideal}$ との「差分（ギャップ）」を言語化したものです。線形代数のベクトルで考えると、フィードバックは 方向ベクトル $\mathbf{d}_t$ に相当します。

数式的には、これはスコア関数 $S(y)$ を高くするための方向（勾配 $\nabla S$）を近似的に求めていることになります。

ステップ B: 回答の更新（パラメータ更新）#

次の回答 $y_{t+1}$ は、元の回答 $y_t$ に、この方向ベクトル $\mathbf{d}_t$ （フィードバック）を加味して修正したものです。

（$\alpha$ は修正の度合いを表す係数のようなもの）

4. まとめ：不等式による改善の保証#

SELF-REFINEが機能しているとき、数列 $\{y_t\}$ は以下の不等式を満たすように推移します。

つまり、SELF-REFINEとは、明示的な数式（微分）を使わずに、言語モデル自身の言語能力を使って「品質スコア関数 $S(y)$」の勾配（改善案）を推測し、山登りのようにスコアを最大化していくアルゴリズム であると説明できます。