llms.txt：提案、約束、そして計測された現実
llms.txt は提案された取り決めです。/llms.txt で配信される markdown のファイルで、サイトの最も有用なコンテンツの厳選された地図を言語モデルに与えます。標準ではなく、主要なエンジンで採用したところもありません。それでも、llms.txt の生成を AI での可視性のレバーとして売る小さな産業が生まれています。そこでこのページでは、その主張を提案そのもの、ベンダーのドキュメント、サーバーのログに照らして検証します。
提案の出どころ
この提案は 2024 年 9 月に Jeremy Howard が llmstxt.org で公開しました。その理屈は実際的です。言語モデルのコンテキストウィンドウはウェブサイト全体に比べて小さく、HTML のページはナビゲーション、スクリプト、マークアップを抱えていてその領域を浪費します。厳選された markdown の索引があれば、モデルやエージェントは実質的な素材を直接見つけられます。
仕様は短いものです。ルートのパスに markdown のファイルを置き、唯一の必須要素としてサイト名を示す H1 を置き、続けて引用形式の要約、任意の文章のセクション、H2 で区切られた短い注記付きのリンクの一覧を並べます。「Optional」と題したセクションは、コンテキストが逼迫したときに省略できるリンクを示します。提案はさらに、重要なページのクリーンな markdown の複製を、同じ URL に .md を付けた場所で配信することも勧めています。どれも作るのが難しいものではありませんし、問題はそこにはありません。問題は消費する側にあります。
使っていると言っているのは誰か
取得のために llms.txt を尊重すると文書化している主要なエンジンはありません。Google はAI 機能のガイダンスで、llms.txt は Google 検索に無視されると直接述べています。この文書の残りはGoogle が AI 検索の最適化について実際に述べていることで順を追って説明しています。
OpenAI、Anthropic、Perplexity はいずれも自社のクローラーについて詳細なドキュメントを公開しており、トークンごとの内容は AI クローラーと各トークンが制御するもので扱っています。そのどのドキュメントにも llms.txt への言及はありません。これらのベンダーのいずれからも、本番の回答システムがこのファイルを読むと約束する表明は出ていません。対応状況はまちまちでも黎明期でもありません。執筆時点では、存在しないのです。
ログが示すもの
ドキュメントは実態より遅れることがあるので、より強い根拠はサーバーのログです。エンジンがこのファイルを使うなら、取得するはずです。二つの計測は、そうしていないと述べています。
90 日間のクローラーのログの実験は、62,100 件の AI ボットのリクエストを記録しました。そのうち llms.txt のファイルを取得したのは 84 件、およそ 0.1 パーセントでした。
137,000 サイトの調査は 1 か月の期間を計測し、ドメインの 28 パーセントが有効な llms.txt のファイルを公開していること、そしてそのファイルの 97 パーセントは AI クローラーであれ何であれ一度も取得されていないことを明らかにしました。同じデータは裏側も示しています。このファイルを持たないドメインでは、AI ボットからそれを求めるリクエストはゼロでした。探しに来ないのです。
取得されないファイルが、エンジンのあなたに関する発言に影響を与えられるはずがありません。llms.txt が将来どうなるにせよ、今日それが AI での可視性を高めるという主張には、計測による裏付けがありません。
llms.txt は robots.txt ではない
この二つのファイルは同じ助言の中で一緒くたにされがちですが、仕事は別です。robots.txt はアクセス制御の取り決めであり、AI のベンダーはそのためのユーザーエージェントのトークンを文書化し、日常的にリクエストし、各トークンが何を定めるかを述べています。llms.txt はコンテンツ発見の提案で、その同じベンダーが採用していません。llms.txt のファイルに書かれた内容が、アクセスについて何かを許可したり、制限したり、示したりすることはありません。どの AI システムがあなたのサイトを取得してよいかの判断は、robots.txt でトークンごとに行います。AI クローラーで扱っているとおりです。この二つのファイルを混同すると、両方向で誤った判断につながります。
妥当な立場
llms.txt のファイルを公開するのに数分かかり、その後は何もかかりません。Google は、このファイルは役にも立たず害にもならないと述べています。もし採用が実現すれば、公開済みのファイルはすでに置かれていますし、取得の頻度が変わった日は自分のサーバーのログが教えてくれます。その意味で、持っておくことは無害な備えです。
対価を払うとなると話は別です。エンジンが読まないファイルは最適化になり得ませんし、llms.txt の生成、監査、監視に使う金は、効果があると文書化された地味な仕事に使われない金です。その仕事とは、インデックスできるページ、答えになるコンテンツ、検証できる主張です。Vupie は自社サイトと顧客サイトのために llms.txt を生成していますが、それに効果があるとは主張していません。それが根拠の支持する立場です。