ChatGPTのAPIだけ見ていたら、実は3割ズレていた話｜LLM Scraperで"実機の回答"を測るという新常識

最近、LLMO（AI検索最適化）を仕事にしている人の間で、少しずつ話題になり始めているサービスがあります。名前は「LLM Scraper」。DataForSEOというSEOデータの老舗が出しているAPIです。

この記事は、LLMO界隈で発信されている

「LLM Scraper」っていうのがある。
日本でこれの話してる人、ほぼ見たことない。けどLLMOの計測やってる人間からすると、かなりのゲームチェンジャーだと思う。

SEOデータ卸の老舗DataForSEOが出してるAPIで、何ができるかというと、…

— 鈴木よしまさ＠SEOコンサルタント (@Yoshima_manga) July 17, 2026

で紹介されていた検証データをきっかけに、そこで語られていた内容を、非エンジニアやマーケティング担当者にも伝わる形でまとめ直したものです。日本語で紹介している記事は、正直まだほとんど見かけません。ですが、「AIに自社がどう紹介されているか」を数字で追いかけたい人にとっては、けっこう大きな話だと感じています。この記事では、技術者ではない人にも伝わるように、「なぜこのツールが重要なのか」を噛み砕いて整理していきます。

---

結論を先に：APIだけ見て「AIに載っている」と判断するのは危ない

いきなり結論からいきます。この記事でいちばん伝えたいのは、次の1点です。

ChatGPT APIの回答と、
私たちがブラウザで見るChatGPTの回答は、
必ずしも同じではない。

「そんなの当たり前じゃないの？」と思う方もいるかもしれません。ですが、LLMOを計測している現場では、この当たり前が意外と見落とされています。API経由で取った回答をそのまま「ChatGPTの回答」として扱い、レポートに落とし込んでいるケースはかなり多いのです。

そして、その差はどれくらいあるのか。ある検証データによると、ある独自検証では、ブランド言及率について、APIと実機の類似度が0.700だったと報告されています。この数字については、後ほどもう少し詳しく触れます。

---

そもそも「LLMO」って何？

先に、言葉の整理だけ済ませておきます。LLMOはLarge Language Model Optimizationの略で、日本語に直すと「大規模言語モデル最適化」です。ざっくり言えば、ChatGPTやGeminiなどのAI検索の中で、自社サイトやブランドがどう紹介されるかを最適化する取り組みのことです。

従来のSEOと並べると、違いが見えやすくなります。

領域	見ているもの	ゴールのイメージ
SEO	Googleの検索結果の順位	検索1ページ目に載る
LLMO	AIの回答文の中身	AIの回答に名前・URLが登場する

SEOでは「Googleで何位か」を見ていました。LLMOでは「ChatGPTの回答文に自社が出てきたか」を見ます。そして、その計測の"正しさ"が、今まさに問われはじめている、というのが本題です。

---

APIと実機、なぜ回答がズレるのか

多くのLLMO計測ツールは、ChatGPTのAPIを叩いて回答を取得し、その中に自社ブランドが登場しているかを数えています。これは技術的にはいちばん実装しやすい方法です。ただし、ここに落とし穴があります。

私たちがブラウザ（chatgpt.com）で使っているChatGPTは、実はAPIとは違う複数の仕組みが組み合わさって動いています。

• 裏側でWeb検索を実行して、最新情報を引っ張ってくる

• 引用元URLをまとめて画面下に表示する

• Googleビジネスプロフィールと連携した地図カードを出す

• そのときのユーザーの地域・言語などのコンテキストを反映する

一方でWeb検索機能などを付けていない通常のモデルAPIでは、ブラウザ版と同じ検索・引用・地域情報が再現されるとは限りません。同じプロンプトを投げても、実機とAPIで登場するブランドや引用URLが変わってくるのは、こうした仕組みの差が理由です。

---

ここで登場するのが「LLM Scraper」

LLM Scraperは、DataForSEOが提供している「AI Optimization」シリーズのAPIのひとつです。やっていることは、じつはとてもシンプルです。

本物のChatGPTの画面にプロンプトを投げて、
そこに表示された回答を、そのまま構造化データで返す。

もう少し具体的に言うと、こんな流れです。

1. APIに「聞きたい質問」を送る

2. DataForSEO側でChatGPT Searchにクエリを送り、そこで返された結果を構造化データとして取得する

3. 画面に表示された回答・引用URL・地図カードなどを取得する

4. それらを整理したJSONを返してくれる

ポイントは、「自分でスクレイピング基盤を作らずに、実機の回答をプログラムから取れる」ところです。自社でChatGPTを自動操作しようとすると、環境維持やアカウント運用に相当な手間がかかります。その面倒な部分を、丸ごと引き受けてくれるサービス、と考えるとイメージしやすいと思います。

---

実機との一致率：0.974という数字

ここが、この記事でいちばんインパクトのある部分です。ある検証で、次のような比較が行われました。

• プロンプト：5種類

• 手動で実機ChatGPTに10回ずつ質問（＝50回答）

• ChatGPT APIに10回ずつ質問（＝50回答）

• LLM Scraperで10回ずつ質問（＝50回答）

• 合計150回答について、ブランド言及率を比較

結果は、次のようなものだったそうです。

比較対象	類似度（1.0が完全一致）
実機 vs LLM Scraper	0.974
実機 vs API	0.700

ブランド言及率を比較したところ、実機とLLM Scraperの類似度は0.974でした。一方でAPIは70%。約3割は、実機と違うブランドや違う言及量になっていたということです。

さらに象徴的だったのが、次のようなケースです。

APIでは10回中10回登場しているブランドが、
実機の画面には1回も出てこない。

もしこのブランドがあなたの競合だったら、と想像してみてください。API計測のレポートを見て「〇〇社に完敗している」と焦って対策を打つかもしれません。ですが、実際のユーザーは、その〇〇社の名前をChatGPTで一度も見ていない可能性がある、というわけです。

もちろん、この数字は特定の検証環境で出たものなので、どんなプロンプトでも同じ差が出るとは言い切れません。それでも、「API＝実機」と単純に扱うのは危ない、ということを示す結果だと言えます。

---

取れるデータが、想像以上に濃い

LLM Scraperがすごいのは、「実機と近い回答が取れる」だけではありません。1回の呼び出しで返ってくる情報の"密度"が、かなり濃いのです。具体的には、次のような情報がまとめて返ってきます。

①回答本文

ChatGPTがそのとき画面に表示した回答文そのものです。ここに自社ブランドが登場しているかどうかが、LLMO計測のいちばん基本になります。

②引用元URL

ChatGPTが回答の下に並べる「引用元」のリストです。自社サイトのURLが引用元として選ばれているのか、それとも競合や別メディアなのか、まで追いかけられます。

③AIが裏で打った検索クエリ

これはかなり面白いポイントです。ChatGPTは回答を作るために、裏側で何度か検索を実行しています。LLM Scraperでは、そのときAIが打ったクエリ（いわゆるfan-out queries）も取得できることがあります。

• 「best lp agency japan」

• 「LP制作会社 比較」

• 「web design company tokyo」

こうしたAI側の"検索のクセ"がわかると、「じゃあ、こういう言葉でも引用されやすい記事を書こう」という記事戦略まで組み立てやすくなります。

④地図カード・ローカル情報

「東京 Web制作会社 おすすめ」のような検索では、ChatGPTが地図カードのようなブロックを表示することがあります。ここに載っているブランド名や評価も、LLM Scraperで取得できます。MEO（マップ最適化）とAI検索の接点を追いかけたい人にとっては、かなり実用的なデータです。

⑤使用されていたモデル

そのときChatGPTが実際に使っていたモデル名も返ってきます。「ログアウト状態の実機は今こういうモデルだった」といったところまで追えるので、モデル更新の影響も検証しやすくなります。

---

値段：1回あたり約0.6円

気になるコストの話です。DataForSEOの料金ページを見ると、LLM Scraperのライブモードは1リクエストあたり0.004ドルほどとされています。1ドル150円換算で、1回およそ0.6円です。

ざっくりイメージすると、こういう規模感になります。

使い方	ざっくりコスト
プロンプト100本を1回ずつ	約60円
プロンプト100本を毎日1回、1ヶ月	約1,800円
プロンプト500本を毎日、1ヶ月	約9,000円

ChatGPT APIのweb_search機能を使う場合の追加手数料（約0.01ドル/回）と比べても、むしろ安いくらいです。「毎日、決まったプロンプトを流して、自社と競合の露出をトラッキングする」ような使い方でも、コストが暴発しにくい価格帯だといえます。

---

自社サイトで活用するなら

例えば自社サイトで活用するなら、毎日決まったプロンプトを実行し、「AIに何回引用されたか」「競合と比較して露出が増えているか」を継続的に記録できます。SEOで検索順位を追うように、LLMOではAIでの引用状況を追いかけるイメージです。

---

ただし、過信はしないでおきたい

ここまで良い面を中心に書いてきましたが、冷静な話もしておきます。LLM Scraperが返す実機画面も、あくまで「そのタイミングで、そのユーザー状態で」の1回分です。ChatGPTの回答はブレます。同じ質問を10回投げても、微妙に違う内容が返ってくることがあります。

だからこそ、次のような設計が大事になります。

• 同じプロンプトを複数回投げて、平均・傾向で見る

• 1日単位・週単位で集計して、日々のブレを吸収する

• 数字の絶対値より、"時系列での変化"を優先して見る

• APIも実機もLLM Scraperも、それぞれの限界を知って使い分ける

「実機に近いから正解」と思考停止するのではなく、「実機に近い"参考値"を、安く大量に取れる仕組み」として付き合うくらいがちょうどよさそうです。

---

SEOの順位から、AIの回答へ

ここまでの話を、大きな流れとしてまとめておきます。

時代	見ていた数字	使っていたツール
これまでのSEO	Google検索の順位	順位計測ツール
過渡期のLLMO	ChatGPT APIの回答	自作スクリプト・API直叩き
これからのLLMO	ChatGPT実機の回答	LLM Scraperのような実機取得API

順位を追いかけていた時代のツールが、そのままAIの回答トラッキングに置き換わっていく。そういう転換の入口に、いま立っている気がします。「順位ではなく、AIが実際に何と答えたか」を計測する仕組みを持てるかどうかが、これからのLLMOの分かれ目になりそうです。

---

まとめ

この記事の要点を、最後にもう一度整理します。

• ChatGPTのAPI回答と実機回答は、必ずしも同じではない

• ある検証では、API計測は実機と約3割ズレた

• LLM Scraper（DataForSEO）を使うと、ある検証では、ブランド言及率が実機と0.974の類似度を示した

• 回答文・引用URL・裏の検索クエリ・地図カード・使用モデルまで取れる

• 1リクエストあたり約0.6円で、日次トラッキングも現実的な価格帯

• ただし、AIの回答はブレるので、平均・傾向で見る運用設計が前提になる

「AIに紹介されるサイトになりたい」と考える会社は、いまどんどん増えています。ですが、その計測をAPIだけでやってしまうと、実際のユーザー体験とは違う地図を見ながら走ってしまう可能性があります。LLM Scraperのような"実機の回答を取れる仕組み"は、その地図の精度をぐっと上げてくれる選択肢のひとつです。

参考にした情報源はこちらです。検証データ・数字の出所は、Yoshima氏のX投稿を参照しました。

• 元となったX投稿（Yoshima氏） — x.com/Yoshima_manga/status/2077961180501393687

• AI Optimization LLM Scraper（料金ページ） — dataforseo.com/pricing/ai-optimization/llm-scraper

• DataForSEO 公式サイト — dataforseo.com

• DataForSEO API v.3 ドキュメント — docs.dataforseo.com

• LLM Scraper API とは — dataforseo.com/help-center