llms.txt: ข้อเสนอ คำสัญญา และความจริงที่วัดได้

llms.txt เป็นข้อตกลงที่ถูกเสนอขึ้น คือไฟล์ markdown ที่เสิร์ฟไว้ที่ /llms.txt เพื่อให้แผนที่เนื้อหาที่มีประโยชน์ที่สุดของเว็บไซต์แก่โมเดลภาษา มันไม่ใช่มาตรฐาน และยังไม่มีเอนจินรายใหญ่รายใดรับเอามันไปใช้ นั่นไม่ได้หยุดอุตสาหกรรมเล็ก ๆ จากการขายการสร้าง llms.txt ในฐานะคันโยกของการมองเห็นใน AI หน้านี้จึงตรวจสอบข้ออ้างนั้นกับตัวข้อเสนอเอง กับเอกสารของผู้ให้บริการ และกับล็อกของเซิร์ฟเวอร์

ข้อเสนอนี้มาจากไหน

ข้อเสนอนี้ถูกเผยแพร่โดย Jeremy Howard ในเดือนกันยายน 2024 ที่ llmstxt.org เหตุผลของมันเป็นเรื่องปฏิบัติ หน้าต่างบริบทของโมเดลภาษามีขนาดเล็กเมื่อเทียบกับทั้งเว็บไซต์ และหน้า HTML บรรจุเมนู สคริปต์ และมาร์กอัปที่กินพื้นที่นั้นไปเปล่า ๆ ดัชนี markdown ที่คัดสรรมาแล้วจะช่วยให้โมเดลหรือเอเจนต์หาเนื้อหาที่เป็นสาระได้โดยตรง

ข้อกำหนดนี้สั้น มันขอไฟล์ markdown ที่พาธราก โดยมี H1 ระบุชื่อเว็บไซต์ซึ่งเป็นองค์ประกอบเดียวที่จำเป็น ตามด้วยบทสรุปแบบ blockquote ส่วนข้อความเพิ่มเติมตามใจ และรายการลิงก์ที่คั่นด้วย H2 พร้อมหมายเหตุสั้น ๆ ส่วนที่ชื่อ "Optional" ใช้ระบุลิงก์ที่ข้ามได้เมื่อบริบทมีจำกัด ข้อเสนอนี้ยังแนะนำให้เสิร์ฟสำเนา markdown ที่สะอาดของหน้าสำคัญไว้ที่ URL เดียวกันโดยเติม .md ต่อท้าย ไม่มีอะไรในนี้ที่ทำยาก และไม่มีอะไรในนี้ที่เป็นปัญหา ปัญหาอยู่ที่ฝั่งผู้บริโภคไฟล์

ใครบอกว่าตัวเองใช้มัน

ไม่มีเอนจินรายใหญ่รายใดระบุว่ายอมรับ llms.txt สำหรับการดึงข้อมูล Google ระบุตรง ๆ ในแนวทางฟีเจอร์ AIว่า llms.txt ถูก Google Search เมิน ส่วนที่เหลือของเอกสารนั้นอธิบายไว้ในGoogle พูดอะไรจริง ๆ เกี่ยวกับการทำ optimization สำหรับการค้นหาด้วย AI

OpenAI, Anthropic และ Perplexity ต่างเผยแพร่เอกสารละเอียดสำหรับ crawler ของตน ซึ่งอธิบายโทเคนต่อโทเคนไว้ในAI crawler และสิ่งที่แต่ละโทเคนควบคุม แต่ไม่มีเอกสารใดเอ่ยถึง llms.txt เลย ไม่มีคำแถลงจากผู้ให้บริการรายใดที่ผูกมัดว่าระบบตอบคำถามที่ใช้งานจริงจะอ่านไฟล์นี้ เรื่องการรองรับไม่ได้ก้ำกึ่งหรือกำลังก่อตัว ณ เวลาที่เขียนนี้ มันไม่มีอยู่เลย

ล็อกบอกอะไร

เอกสารอาจตามหลังการปฏิบัติจริง หลักฐานที่หนักแน่นกว่าจึงเป็นล็อกของเซิร์ฟเวอร์ ถ้าเอนจินใช้ไฟล์นี้ พวกมันก็ต้องมาดึงมัน มีการวัดสองชุดที่บอกว่าพวกมันไม่ได้ดึง

การทดลองกับล็อก crawler เป็นเวลา 90 วันบันทึกคำขอจากบอท AI ได้ 62,100 ครั้ง ในจำนวนนั้นมี 84 ครั้งที่ดึงไฟล์ llms.txt หรือราว 0.1 เปอร์เซ็นต์

การศึกษาเว็บไซต์ 137,000 แห่งวัดในช่วงหนึ่งเดือนและพบว่า 28 เปอร์เซ็นต์ของโดเมนเผยแพร่ไฟล์ llms.txt ที่ถูกต้อง และ 97 เปอร์เซ็นต์ของไฟล์เหล่านั้นไม่เคยถูกดึงโดยอะไรเลย ไม่ว่าจะเป็น AI crawler หรืออย่างอื่น ข้อมูลชุดเดียวกันยังแสดงอีกด้านของเหรียญ คือบนโดเมนที่ไม่มีไฟล์นี้ บอท AI ไม่ได้ขอมันเลยแม้แต่ครั้งเดียว พวกมันไม่ได้ไปตามหา

ไฟล์ที่ไม่ถูกดึงย่อมมีอิทธิพลต่อสิ่งที่เอนจินพูดถึงคุณไม่ได้ ไม่ว่า llms.txt จะกลายเป็นอะไรในอนาคต ข้ออ้างว่ามันช่วยเพิ่มการมองเห็นใน AI ในวันนี้ไม่มีหลักฐานที่วัดได้รองรับ

llms.txt ไม่ใช่ robots.txt

ไฟล์สองไฟล์นี้มักถูกมัดรวมอยู่ในคำแนะนำเดียวกัน แต่มันทำงานคนละอย่าง robots.txt เป็นข้อตกลงเรื่องการควบคุมการเข้าถึง ผู้ให้บริการ AI อธิบายโทเคน user agent ของตนสำหรับมัน ร้องขอไฟล์นี้เป็นประจำ และระบุว่าแต่ละโทเคนกำกับอะไร ส่วน llms.txt เป็นข้อเสนอเรื่องการค้นพบเนื้อหาที่ผู้ให้บริการกลุ่มเดียวกันนั้นไม่ได้รับไปใช้ ไม่มีอะไรที่เขียนในไฟล์ llms.txt ที่ให้สิทธิ์ จำกัด หรือส่งสัญญาณใด ๆ เกี่ยวกับการเข้าถึง การตัดสินใจว่าระบบ AI ใดดึงข้อมูลเว็บไซต์ของคุณได้นั้นทำใน robots.txt โทเคนต่อโทเคน ตามที่อธิบายไว้ในAI crawler การสับสนระหว่างสองไฟล์นี้นำไปสู่การตัดสินใจที่ผิดทั้งสองทาง

จุดยืนที่สมเหตุสมผล

การเผยแพร่ไฟล์ llms.txt ใช้เวลาไม่กี่นาทีและหลังจากนั้นก็ไม่มีต้นทุนอีก Google บอกว่าไฟล์นี้ไม่ได้ช่วยและไม่ได้ทำร้าย ถ้าวันหนึ่งมีการรับไปใช้จริง ไฟล์ที่เผยแพร่ไว้แล้วก็พร้อมอยู่ตรงนั้น และล็อกเซิร์ฟเวอร์ของคุณเองจะแสดงวันที่อัตราการดึงเปลี่ยนไป บนพื้นฐานนั้น การมีไว้เป็นการเผื่อที่ไม่มีพิษภัย

การจ่ายเงินซื้อมันเป็นอีกเรื่อง ไฟล์ที่เอนจินไม่อ่านย่อมเป็น optimization ไม่ได้ และเงินที่ใช้ไปกับการสร้าง ตรวจสอบ หรือเฝ้าดู llms.txt คือเงินที่ไม่ได้ใช้กับงานไม่หวือหวาที่มีเอกสารรองรับว่าสำคัญ ได้แก่ หน้าที่จัดทำดัชนีได้ เนื้อหาที่ตอบคำถามได้ และข้อความที่ตรวจสอบได้ Vupie สร้าง llms.txt ให้เว็บไซต์ของตัวเองและของลูกค้า และไม่ได้อ้างประโยชน์ใดจากมัน ซึ่งเป็นจุดยืนที่หลักฐานรองรับ