วัดการมองเห็นในการค้นหาด้วย AI อย่างซื่อตรง
เครื่องมือจำนวนมากขึ้นเรื่อย ๆ รับปากว่าจะติดตามตำแหน่งของแบรนด์คุณในคำตอบของ AI ให้ได้ โดยมักเป็นคะแนนรายวันจากพรอมต์เพียงชุดเดียว ข้อมูลเรื่องความแปรปรวนบอกว่าตัวเลขนั้นคือสัญญาณรบกวน หน้านี้ครอบคลุมว่าความแปรปรวนหน้าตาเป็นอย่างไรจริง ๆ การวัดผลที่ปกป้องได้ต้องมีอะไรบ้าง และอะไรที่ไม่มีเครื่องมือใดอ้างได้อย่างชอบธรรม
ทำไมการตรวจสอบครั้งเดียวจึงเป็นแค่สัญญาณรบกวน
เครื่องมือ AI เชิงสร้างสรรค์ (generative engine) คือระบบที่ทำงานด้วยการสุ่มตัวอย่าง คำถามเดียวกันไม่ได้คืนคำตอบเดียวกันสองครั้ง ในการทดสอบ การรัน ChatGPT สามรอบด้วยคำถามเดียวกัน เหลือแหล่งข้อมูลที่ถูกอ้างอิงคงที่ครบทั้งสามรอบเพียงราว 2.2 เปอร์เซ็นต์ ถามคำถามเดิมสามครั้งแล้วรายการอ้างอิงเกือบทั้งหมดก็เปลี่ยนไป การตรวจสอบรายวันที่สร้างบนพรอมต์ชุดเดียวจึงไม่ได้วัดการมองเห็นของคุณ แต่กำลังวัดลูกเต๋า
การวิเคราะห์ความแปรปรวนในคำตอบของ LLM เกี่ยวกับแบรนด์ แสดงให้เห็นว่าความเคลื่อนไหวมาจากไหนจริง ๆ:
| ปัจจัย | สัดส่วนของความแปรปรวนในคำตอบ |
|---|---|
| การถามซ้ำด้วยถ้อยคำเดิม | 34.8 เปอร์เซ็นต์ |
| ภาษาของคำค้นหา | 26.5 ถึง 32.0 เปอร์เซ็นต์ |
| ตัวตนของแบรนด์ | 1.5 เปอร์เซ็นต์ |
อ่านตารางนั้นให้ละเอียด วิธีตั้งคำถามและภาษาที่ใช้ถามครองผลลัพธ์เอาไว้ ส่วนว่ากำลังถามถึงแบรนด์ไหนนั้นอธิบายได้แค่ 1.5 เปอร์เซ็นต์ เครื่องมือที่ตรวจสอบด้วยถ้อยคำเดียว ในภาษาเดียว บนโมเดลเดียว วันละครั้ง กำลังสุ่มตัวอย่างเกือบทุกอย่างยกเว้นสิ่งที่คุณสนใจ เมื่อคะแนนของเมื่อวานต่างจากวันนี้ นั่นคือพฤติกรรมที่คาดหมายได้ของระบบที่ทำงานด้วยการสุ่มตัวอย่าง ไม่ใช่สัญญาณว่ามีอะไรในเนื้อหาของคุณเปลี่ยนไป
การวัดผลที่ปกป้องได้หน้าตาเป็นอย่างไร
ทั้งหมดนี้ไม่ได้ทำให้การมองเห็นใน AI วัดไม่ได้ มันแค่ทำให้กลายเป็นโจทย์ทางสถิติ และข้อกำหนดก็เป็นเรื่องธรรมดา:
- ชุดพรอมต์ที่ตรึงไว้ และรันครอบคลุมหลายถ้อยคำ หลายวิธีตั้งคำถามสำหรับแต่ละคำถาม คงที่ระหว่างรอบการวัดผล เพื่อเฉลี่ยความแปรปรวนจากถ้อยคำออกไป แทนที่จะเข้าใจผิดว่าเป็นความเปลี่ยนแปลง
- หลายภาษา ภาษาของคำค้นหาอธิบายความแปรปรวนได้ 26.5 ถึง 32.0 เปอร์เซ็นต์ ถ้าลูกค้าของคุณถามมากกว่าหนึ่งภาษา การวัดผลในภาษาเดียวย่อมพลาดภาพส่วนใหญ่ไป
- หลายโมเดล แต่ละเครื่องมืออ้างอิงต่างกัน และการขยับบนเครื่องมือหนึ่งไม่ได้บอกอะไรเกี่ยวกับเครื่องมืออื่นเลย
- รันซ้ำหลายรอบพร้อมช่วงความเชื่อมั่น รายงานเป็นช่วง ไม่ใช่จุดเดียว ตัวเลขการมองเห็นที่ไม่มีช่วงกำกับก็คือการสุ่มหยิบที่ถูกนำเสนอราวกับเป็นข้อเท็จจริง
- จังหวะรายเดือน ความเคลื่อนไหวรายวันถูกครองด้วยสัญญาณรบกวนจากการสุ่มตัวอย่าง การรวมผลการรันตลอดหนึ่งเดือนแล้วเทียบเดือนต่อเดือนคือหน้าต่างที่สั้นที่สุดที่แยกความเปลี่ยนแปลงจริงออกจากสัญญาณรบกวนได้
ใช้รายงานของ Google เองตรงที่มันมีอยู่
สำหรับฟีเจอร์ AI ของ Google โดยเฉพาะ Search Console มีรายงานประสิทธิภาพสำหรับ AI เชิงสร้างสรรค์ ข้อมูลนั้นมาจากระบบของ Google เอง ไม่ใช่จากพรอมต์ที่สุ่มตัวอย่าง ซึ่งทำให้มันเป็นตัวเลขการมองเห็นใน AI ตัวเดียวที่คุณรับไว้ตามหน้าตาของมันได้ ส่วนเครื่องมือที่ไม่มีรายงานจากเจ้าของระบบเอง การวัดผลด้วยการสุ่มตัวอย่างพร้อมช่วงความเชื่อมั่นคือเพดานที่ซื่อตรงที่สุด และควรกำกับไว้ว่าเป็นค่าประมาณ
อะไรที่ไม่มีเครื่องมือใดอ้างได้
Google ระบุว่าไม่มีเครื่องมือของบุคคลที่สามรายใดเข้าถึงภายในระบบของบริษัทได้ เครื่องมือภายนอกทุกตัว ไม่ว่าแดชบอร์ดจะสื่อเป็นนัยอย่างไร ล้วนกำลังรันพรอมต์จากข้างนอกแล้วสุ่มตัวอย่างผลลัพธ์ เหมือนกับที่คุณทำเองได้เป๊ะ ๆ วิธีนี้ชอบธรรมเมื่อถูกนำเสนอว่าเป็นการสุ่มตัวอย่างพร้อมแถบความคลาดเคลื่อน แต่ไม่ชอบธรรมเมื่อถูกนำเสนอว่าเป็นการอ่านสถานะภายใน ให้ถือว่าสิ่งเหล่านี้คือสัญญาณอันตราย:
- เส้นแนวโน้มรายวันที่สร้างจากการรันพรอมต์ครั้งเดียว
- คะแนนที่ละเอียดแม่นยำโดยไม่มีช่วงความเชื่อมั่นกำกับ
- อันดับที่วัดในภาษาเดียวสำหรับตลาดที่ใช้หลายภาษา
- ข้ออ้างใด ๆ ว่ามีสิทธิ์เข้าถึงข้อมูลภายในของเครื่องมือเป็นกรณีพิเศษ
การวัดผลอย่างซื่อตรงช้ากว่าและตื่นเต้นน้อยกว่าคะแนนรายวัน และมันเป็นแบบเดียวที่รองรับการตัดสินใจได้ สำหรับสิ่งที่ Google เองแนะนำให้ปรับแต่ง ดูได้ที่ Google พูดอะไรจริง ๆ เรื่องการปรับแต่งสำหรับการค้นหาด้วย AI