【詳細④】評価と運用:プロンプトは「書いて終わり」ではない

先に「成功の基準」を決める

 Anthropicのプロンプト入門ガイドは、始める前に、次の点を求めています。

  • 何をもって成功とするかをはっきり決めること
  • その基準に照らして、実際に試して確かめる方法があること
  • 最初の指示文の下書きがあること

 また、うまくいかないことのすべてが、指示文の工夫で解決できるわけではない、とも述べています [A2]。

 Anthropicの公式ブログも、基本(明確さ・具体性・背景の説明)をしっかり押さえたうえで、高度な工夫を重ねること、最初の指示文でうまくいくことはまれなので、繰り返し直すことを挙げています [A3]。

AIが変われば、効く書き方も変わる

 OpenAIは、AIの種類が違えば結果が変わり、同じシリーズの中でも、細かい版(スナップショット)が違えば結果が変わりうるとしています。
 そのため、業務で使うシステムでは、使う版を固定し、指示文の効き目を測るテストと評価の仕組みを作ることを強く勧めています [O1]。

 Anthropic側でも、モデルごとの違いが具体的に書かれています [A1]。

  • Claude Opus 5:標準の返答が従来より長く、処理の深さを調整しても、返答の長さは確実には変わらない。短くしたければ、はっきり指示する
  • Claude Fable 5.1:作業の途中で、ユーザー向けの経過報告が少なくなる傾向がある。報告が欲しければ、はっきり頼む
  • Claude 4.6以降(およびClaude Mythos Preview):AIの返答の書き出しを、こちらで先に指定しておく方法(prefill)は使えなくなり、使おうとするとエラーになる

注記:上の内容は、この記事を書いた時点(2026年10月)で公式ドキュメントにある記述です。
   モデルの更新で変わるため、実際に使う前に、最新のページをご確認ください。

古い指示文は、「引き算」で直す

 以前のモデル向けに、「もっと徹底して」「道具を積極的に使え」と強めに書いた指示文は、新しいモデルでは、やりすぎになることがあります。
 公式は、そうした強めの記述を弱めるよう勧めています [A1]。指示文は、足し算だけでなく、AIの更新に合わせて引き算する対象でもあるのです。

指示文を、プログラムの一部として管理する

 OpenAIは、業務で使う指示文を、保存しておく専用の入れ物ではなく、アプリのプログラムの中で管理することを勧めています。そうすれば、変更の記録を残したり、他の人が確認したり、テストにかけたりできるからです。
 変える前に、代表的なテスト用のデータと、確認の手順を用意することも挙げられています [O1]。

注記:OpenAIの「保存しておく専用の入れ物」(プロンプトオブジェクト)は、公式ドキュメント上で
   廃止の予定とされ、関連するAPIの停止日は2026年11月30日と案内されています [O1]。
   この点は変更される可能性があるため、使っている方は、
   公式の廃止予定のページをご確認ください。

道具も使う

 AnthropicのConsole(開発者向けの管理画面)には、やりたい内容に合った指示文のひな型を作る「プロンプトジェネレーター」と、すでにある指示文を改善する「プロンプトインプルーバー」があります。
 インプルーバーは、目印による整理や、考える手順の追加などを行います [A4]。ゼロから書くより、叩き台を作らせて、自分で確かめるほうが速いこともあります。

参照元

[A1] Anthropic, Prompting best practices — https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices

[A2] Anthropic, Prompt engineering overview — https://docs.claude.com/en/docs/build-with-claude/prompt-engineering/overview

[A3] Anthropic, Best practices for prompt engineering — https://claude.com/blog/best-practices-for-prompt-engineering

[A4] Anthropic, Console prompting tools — https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/prompting-tools

[O1] OpenAI, Prompt engineering — https://developers.openai.com/api/docs/guides/prompt-engineering

総集編へ戻る

コメント

タイトルとURLをコピーしました