正直に言うと、半年前の私はプロンプトを「雰囲気で」書いていた。毎回なんとなく試して、なんとなく使えるものを採用する——それの繰り返し。
ある日、同じ案件を受けていたフリーランス仲間が「プロンプトを体系的にテストしてる」と言っていて、初めて自分のやり方がいかに非効率か気づいた。彼女のプロンプトライブラリを見せてもらったとき、正直ちょっと焦った。
そこから試したのが、プロンプトのA/Bテストだ。マーケティングの世界では当たり前の手法なのに、AIに応用している人はまだ少ない。これを習慣にするだけで、再現性のある「自分だけの最強プロンプト」が作れるようになる。
A/Bテストとは、2つのバリエーションを比較して、より優れた方を特定する手法だ。Webマーケティングではボタンの色や文言を変えてクリック率を比較するために使われる。それをプロンプトに応用する。
たとえば、ブログの導入文を書かせるとき、こんな2パターンを比べるとする。
「Bの方が良さそう」と直感でわかる。でも、どの要素が効いているのかを把握していないと、次のプロンプトで同じ改善を再現できない。
私が確信したのは、2023年10月に受けたライティング案件でのこと。同じテーマで5本の記事を書く仕事だったが、1本目と5本目でプロンプトの品質が全然違っていた。なぜ改善されたのかを説明できなかった。「なんとなく上手くなった」では、再現性がゼロだと痛感した。
「出力の品質を上げたい」は目標として曖昧すぎる。何をもって「良い出力」とするかを数値化しないと、テストが主観の殴り合いになる。
私が最初に失敗したのはここだ。「なんとなく良い方」で判断していたら、3回目に「あれ、どっちが良かったっけ」となった。評価基準は必ず先に決める。
A/Bテストの鉄則は、一度に変更する要素を1つに絞ることだ。複数変えると、何が効いたかわからなくなる。
プロンプトで変えられる主な変数はこのあたり。
ChatGPTもClaudeも、同じプロンプトで毎回微妙に違う出力をする。1回の結果だけで判断するのは危険だ。最低3回、できれば5回回して平均を見る。
あと、テスト中はモデルを絶対に固定すること。GPT-4oで始めたテストをGPT-4o miniで続けたら比較が無意味になる。私は一度これをやらかして、1週間分のデータをボツにした。
「読者の共感度」を評価するなら、こんな基準を事前に作っておく。
複数回の出力の平均スコアでパターンを比較する。感覚ではなく数字で判断できるのが気持ちいい。
これが一番大事なステップだと思っている。「役割指定あり：平均4.2点、なし：平均2.8点」というデータが積み重なると、自分だけのプロンプト最適化の法則集が完成する。
この資産は、AI副業において本当に大きな差になる。同じ案件を受けても、プロンプトの精度が違えばアウトプットの質も速度も変わってくる。
最初はこれで十分だ。列に「プロンプトパターン」「実行回数」「出力内容」「スコア」「平均点」を作るだけで、立派なテスト管理表になる。
私も最初の2ヶ月はスプレッドシートだけでやっていた。チームで共有もできるし、コストゼロで始められる。まず動くことが大事なので、初心者には迷わずこれをすすめる。
プロンプトの数が50を超えてきたあたりで、スプレッドシートの限界を感じた。Notionに移行したのは副業を始めて3ヶ月目のこと。
データベース機能でタグ分類（ライティング用・コーディング用・SNS用など）ができて、フィルタリングで必要なプロンプトをすぐ呼び出せる。プロンプト資産が増えてきた人向けのツールだ。
API経由でAIを使い始めたときに導入した。OpenAI APIと連携して、プロンプトのバージョン管理・出力ログ・コスト分析まで一元管理できる。
スプレッドシートやNotionでは手動でやっていたことが自動化されるのが最高だ。本格的にAPI活用をしているエンジニアやAI副業者向けのツール。無料トライアルがあるので、API使いなら一度触ってみてほしい。
| ツール | 料金 | 向いている人 | 強み |
|---|---|---|---|
| Googleスプレッドシート | 無料 | 初心者・始めたばかりの人 | コストゼロ、共有が簡単 |
| Notion | 無料〜$16/月 | プロンプトが増えてきた中級者 | タグ管理・フィルタリングが強力 |
| PromptLayer | $20/月〜 | API活用者・本格AI副業者 | ログ自動記録・コスト分析 |
迷ったらまずGoogleスプレッドシートで始めること。ツール選びに時間をかけるより、1回でもテストを回す方がずっと価値がある。
→ PromptLayerの料金プランを公式サイトで確認する
去年の11月、SEOブログ案件でタイトル生成のプロンプトを最適化したときの記録を公開する。使ったのはChatGPT（GPT-4o）、各パターン5回実行、評価指標は「クリックしたくなる度（5段階）」だ。
パターンA（ベースライン）：
「AIを使った副業についてのブログ記事タイトルを10個考えてください」
パターンB（役割＋ターゲット＋出力条件を追加）：
「あなたはSEOの専門家です。月5万円の副業収入を目指す30代会社員をターゲットに、AIを活用した副業をテーマにしたブログ記事タイトルを10個考えてください。数字を入れ、読者の悩みを解決することを強調してください」
| パターン | 平均スコア | 特徴 |
|---|---|---|
| パターンA | 2.6点 | 汎用的なタイトルが多く、差別化が弱い |
| パターンB | 4.4点 | 具体的な数字・悩み解決フレーズが含まれ、クリックしたくなる |
スコア差は1.8点。これはかなり大きい。「役割指定＋ターゲット詳細化＋出力条件の明示」という組み合わせが、タイトル生成において特に効果的だとわかった。
次のテストでは「数字の入れ方（具体的な金額 vs パーセンテージ）」という変数を1
