Anthropic: ตาม AI โดยไม่รู้ตัว เมื่อผู้เชี่ยวชาญเลือกตาม agent 86% แล้วคิดว่าตัดสินใจเอง

เวลาพูดเรื่องความเสี่ยงของการใช้ agent เรามักนึกถึงตอนที่มัน "ผิด" ครับ โค้ดพัง ตัวเลขเพี้ยน อ้างของที่ไม่มีจริง ซึ่งอย่างน้อยก็เป็นความผิดที่มีโอกาสจับได้

แต่มีงานอีกแบบที่ไม่มีคำตอบถูกผิดชัด ๆ เช่น จะวัดความสำเร็จด้วย metric ไหน จะนับลูกค้ากลุ่มไหนเข้ามาในการวิเคราะห์ จะตัด scope ตรงไหน งานแบบนี้เลือกทางไหนก็ดูมีเหตุผลได้ทั้งนั้น และเป็นงานหลักของ PM, PO และนักวิเคราะห์

ปลายเดือนตุลาคมมีหัวข้อขึ้น trending ใน X ว่า Anthropic พบว่าผู้เชี่ยวชาญทำตาม AI ราว 86% โดยไม่รู้ตัว ผมเลยตามไปอ่านต้นฉบับว่าตัวเลขนี้มาจากไหน และหมายความว่าอะไรกันแน่

โพสต์นี้อยู่ในซีรีส์ Critical Thinking ต่อจากDatabricks: Agent ขาดระบบที่เชื่อถือได้ ครับ และเป็นเหมือนภาคหลักฐานของเรื่องที่ผมเคยเขียนไว้ในCognitive Surrender

แหล่งต้นทาง: อะไรที่ผมยืนยันได้ และอะไรที่ยืนยันไม่ได้

ยืนยันไม่ได้

• หน้า trending ของ X ผมเปิดอ่านไม่ได้ เลยไม่รู้ว่าสรุปในหน้านั้นเขียนว่าอะไร และจะไม่อ้างถึงเนื้อหาในนั้น
• เปเปอร์ฉบับเต็ม (PDF) ผมดึงเนื้อหาออกมาอ่านไม่สำเร็จ รายละเอียดทั้งหมดในโพสต์นี้จึงมาจากบทความสรุปงานวิจัยบนเว็บของ Anthropic เอง ไม่ใช่จากตัวเปเปอร์
• ยังไม่มีทีมอื่นทำซ้ำงานนี้ และเป็นงานที่ Anthropic ศึกษาผลิตภัณฑ์ของตัวเอง

ยืนยันได้

ต้นเรื่องคือบทความ "How AI agents shape experts' judgment calls" ของ Anthropic ลงวันที่ 27 ตุลาคม 2026 โดย Amaç Herdağdelen, Hailey Joren และ Alex Tamkin ตัวเลขหลักตรงกับที่ Al Jazeera และ heise รายงาน

ตัวเลข 86% มีจริงครับ ประโยคในต้นฉบับคือ

Across the four analytical choices, analysts went with their agent's lean 86% of the time.

แต่จะเข้าใจตัวเลขนี้ได้ต้องรู้ก่อนว่าเขาทดลองยังไง

เขาทดลองยังไง

Anthropic รับนักวิเคราะห์มืออาชีพมา 61 คน ทุกคนผ่านแบบทดสอบความรู้เรื่อง causal inference และใช้ Python หรือ R เป็นประจำ มี 11 คนเลือกไม่ใช้ agent จึงเหลือ 50 คนที่อยู่ในผลหลัก

โจทย์คือให้คำแนะนำกับสหกรณ์การเกษตรสมมติแห่งหนึ่ง ว่าควรขยายโครงการที่ปรึกษาให้สมาชิกหรือยกเลิก โดยทำงานใน VS Code กับ Claude Code (Claude Opus 4.8) ใช้เวลากลางราว 65 นาที

ระหว่างทางมีจุดที่ต้องใช้ดุลยพินิจสี่จุด คือจะวัดผลด้วยตัวชี้วัดไหน จะเปรียบเทียบด้วยวิธีไหน จะนับฟาร์มกลุ่มไหน และจะถ่วงน้ำหนักยังไง แล้วจบด้วยคำแนะนำสุดท้าย

จุดสำคัญอยู่ตรงนี้ครับ ในแต่ละจุด agent ถูกตั้งผ่าน system prompt ที่ผู้เข้าร่วมมองไม่เห็น ให้เอนเอียงไปทางตัวเลือกใดตัวเลือกหนึ่ง และทิศที่เอนเอียง กำหนดด้วยการโยนเหรียญ ไม่ได้มาจากการวิเคราะห์ agent ถูกสั่งให้เสนอเหตุผลที่ดีที่สุดเท่าที่ข้อมูลรองรับ ให้เปลี่ยนใจได้ถ้าหลักฐานค้านชัดเจน และห้ามบิดเบือนผลลัพธ์ ผู้เข้าร่วมไม่ได้รับแจ้งเรื่องนี้

ดังนั้นถ้า agent ไม่มีผลต่อการตัดสินใจเลย นักวิเคราะห์ควรเลือกตรงกับ agent ราวครึ่งหนึ่ง

ตัวเลขที่ผมจดไว้

ตัวเลข	วัดอะไร
86%	สัดส่วนที่นักวิเคราะห์เลือกตรงกับทิศที่ agent เอนเอียง รวมสี่จุดตัดสินใจ (รายจุดอยู่ระหว่าง 81–92%) เทียบกับราว 50% ถ้าไม่มีผล
60% เทียบกับ 6%	ในกรณีที่นักวิเคราะห์บอกความเห็นตัวเองก่อน เปลี่ยนใจ 60% เมื่อ agent เห็นต่าง และ 6% เมื่อ agent เห็นตรงกัน (มีแค่ 38 กรณี ผู้เขียนบอกเองว่าค่านี้ไม่แม่น)
77% เทียบกับ 15%	ตอนอธิบายเหตุผลหลังทำงาน 77% ใช้เหตุผลของ agent ซ้ำอย่างน้อยหนึ่งคำตอบ บางครั้งแทบคำต่อคำ แต่มีแค่ 15% ที่ให้เครดิต agent
52%	สัดส่วนที่ประเมินว่าคำแนะนำสุดท้ายเป็นของตัวเองมากกว่าของ agent (จากผู้ตอบ 48 คน)
54% เทียบกับ 36%	สัดส่วนที่แนะนำให้ขยายโครงการ เมื่อ agent เอนเอียงไปทางขยาย เทียบกับเมื่อเอนเอียงไปอีกทาง

มีอีกสามข้อที่ผมว่าสำคัญพอ ๆ กับ 86% ครับ

ประสบการณ์ไม่ได้ช่วย ผู้วิจัยลองดูคุณลักษณะสิบอย่าง รวมถึงอายุงาน ระดับความเชี่ยวชาญที่ประเมินตัวเอง และการศึกษา แล้วสรุปว่าประสบการณ์กับความเชี่ยวชาญไม่ได้ทำนายว่าใครจะตาม agent

ความมั่นใจไม่ได้บอกอะไร คนที่เลือกตาม agent ครบทั้งสี่จุดมั่นใจในคำตอบเฉลี่ย 71 จาก 100 ส่วนคนที่เหลือ 73 แทบไม่ต่างกัน

ไม่มีใครสงสัย ผู้ตอบ 6 จาก 48 คนเดาถูกว่างานวิจัยนี้ศึกษาอิทธิพลของ AI แต่ไม่มีใครสงสัยว่าความเห็นของ agent ถูกจัดฉากไว้

อะไรที่งานวิจัยนี้ไม่ได้พูด

พาดหัวแบบ "ผู้เชี่ยวชาญเชื่อ AI 86%" ชวนให้เข้าใจเกินไปหลายเรื่องครับ ผมขอแยกไว้

• 86% เป็นเรื่องจุดตัดสินใจระหว่างทาง ไม่ใช่คำตอบสุดท้าย ผลต่อคำแนะนำสุดท้ายอ่อนกว่ามาก คือ 54% เทียบกับ 36% ผู้เขียนอธิบายว่าคำแนะนำส่วนใหญ่ขึ้นกับว่าผลประมาณการผ่านเกณฑ์ที่สหกรณ์ตั้งไว้หรือเปล่า
• agent ถูกตั้งให้เอนเอียงแรงกว่าปกติโดยเจตนา ผู้เขียนบอกเองว่าทำเพื่อวัดผล การใช้งานจริงอาจต่างจากนี้ แต่ก็ไม่ได้แปลว่า agent ปกติเป็นกลางนะครับ เมื่อไม่ตั้งให้เอนเอียง โมเดลเลือกชุดคำตอบเดียวกันทั้งห้าข้อใน 112 จาก 123 รอบ
• ไม่ได้บอกว่าตาม agent แล้วผลงานแย่ลง ตัวเลือกทุกทางในการทดลองเป็นทางที่ปกป้องได้ และในกลุ่ม 11 คนที่ไม่ใช้ agent มี 6 คนที่ทำผิดเชิงวิธีการร้ายแรง เทียบกับ 3 จาก 50 คนในกลุ่มที่ใช้ แต่ผู้เขียนเตือนว่าสองกลุ่มนี้เทียบกันตรง ๆ ไม่ได้ เพราะคนเลือกกลุ่มเอง และกลุ่มที่ไม่ใช้ agent ประสบการณ์น้อยกว่า
• ขอบเขตแคบ ผู้เขียนเขียนไว้ตรง ๆ ว่า "We studied one task, in one field, with one model." งานยาวราวหนึ่งชั่วโมง ในหัวข้อที่นักวิเคราะห์ไม่คุ้น และไม่มีโอกาสไปถามผู้มีส่วนได้เสียเหมือนงานจริง
• ไม่ได้ทดลองกับ PM หรือ PO ผู้เข้าร่วมเป็นนักวิเคราะห์ข้อมูลทั้งหมด ส่วนที่ผมโยงไปถึงงาน product ข้างล่างเป็นการตีความของผมเอง

ส่วนคำว่า "โดยไม่รู้ตัว" ต้นฉบับใช้จริงครับ ในประโยคที่ขึ้นต้นว่า "If experts defer to agents without realizing it" แต่หลักฐานที่รองรับคือตัวเลขทางอ้อมข้างบน คือให้เครดิตน้อย ประเมินว่าเป็นความคิดตัวเอง และไม่มีใครสงสัย ไม่ได้มีการวัด "ความไม่รู้ตัว" ตรง ๆ และผู้เข้าร่วมก็ไม่ได้กลับไปดู transcript ตอนตอบคำถาม

และผู้เขียนย้ำเองว่า "This isn't an argument for using AI less."

ทำไมเรื่องนี้ชนกับงานของ PM, PO และนักวิเคราะห์

ประโยคที่ผมว่าสำคัญที่สุดในบทความคือ

Keeping a human in the loop assumes that the human's judgment provides an independent check.

เราชอบพูดว่า "มีคนตรวจอยู่" เป็นคำตอบของทุกความเสี่ยงเรื่อง agent ครับ ผมเองก็เขียนไว้หลายครั้ง รวมถึงในโพสต์เรื่องการ verify แต่การตรวจแบบที่เราคุ้นคือการหาข้อผิดพลาด ซึ่งใช้ได้เมื่อมีคำตอบที่ถูก

งานที่เป็น judgment call ไม่มีสีแดงให้เห็นครับ ไม่ว่า agent จะเสนอทางไหน เหตุผลก็ฟังขึ้น เอกสารก็ดูดี ถ้าคนตรวจรับความเห็นของ agent มาเป็นของตัวเองตั้งแต่ต้น การมีคนอยู่ในวงจรก็ไม่ได้เพิ่มมุมมองที่สอง มีแค่ลายเซ็นเพิ่มมาหนึ่งชื่อ

ลองนึกถึงจุดแบบนี้ในงานของเราดู (ตัวอย่างสมมตินะครับ ไม่ใช่เหตุการณ์จริง)

• PO ให้ agent ร่าง acceptance criteria agent ต้องตัดสินใจแทนไปแล้วว่าเคสไหนอยู่ใน scope และ edge case ไหนไม่ต้องรองรับ PO อ่านแล้วเห็นว่าสมเหตุสมผล ก็กดผ่าน
• PM ให้ agent สรุป feedback ลูกค้าแล้วจัดลำดับความสำคัญ agent เลือกไปแล้วว่าจะจัดกลุ่มยังไง และให้น้ำหนักเสียงของลูกค้ากลุ่มไหนมากกว่า
• นักวิเคราะห์ให้ agent ดูว่าฟีเจอร์ใหม่ได้ผลไหม agent เลือก metric ช่วงเวลา และกลุ่มเปรียบเทียบ ซึ่งคือสี่จุดเดียวกับในการทดลองแทบทุกข้อ

ทุกข้อไม่มีอะไร "ผิด" ให้จับ แต่ถ้ามีคนถามว่าทำไมเลือกแบบนี้ คำตอบที่ออกมาอาจเป็นเหตุผลของ agent ที่เราจำได้ ไม่ใช่เหตุผลที่เราคิดเอง แบบเดียวกับ 77% ในงานวิจัย

มีอีกมุมที่ผมว่าเกี่ยวกับทีมโดยตรงครับ ข้อนี้ผมเห็นจากสรุปข่าวที่อ้างถึงงานวิจัย ยังไม่ได้เทียบกับประโยคในต้นฉบับ คือถ้าคนหลายคนใช้โมเดลเดียวกัน และโมเดลมีความเห็นค่อนข้างคงที่ การที่หลายคนเห็นตรงกันก็อาจไม่ใช่การยืนยันที่เป็นอิสระต่อกันอีกต่อไป การที่ dev, PO และ QA "เห็นตรงกันหมด" อาจแปลว่าทั้งสามคนถาม agent ตัวเดียวกัน

สิ่งที่ผมจะปรับ

ผู้เขียนเสนอทางออกไว้สองระดับครับ ฝั่งเครื่องมือ agent อาจเสนอเหตุผลของทุกตัวเลือก หรือถามความเห็นของคนก่อน แต่เขาก็ยอมรับว่าถ้าทำทุกจุดผู้ใช้จะรับไม่ไหว และการเลือกว่าจุดไหนสำคัญพอจะถามก็เป็น judgment call อีกชั้นหนึ่ง ฝั่งองค์กร เขาเขียนว่า

Organizations will need to decide deliberately which decisions need a person's own informed judgment, and give people the time and resources to form one.

ผมแปลงเป็นสิ่งที่ทำได้ในทีมขนาดเล็กได้สามเรื่อง ทั้งหมดนี้เป็นข้อเสนอของผมเอง งานวิจัยไม่ได้ทดสอบว่าวิธีเหล่านี้ลดการตาม agent ได้จริงไหม

เขียนความเห็นของตัวเองก่อนถาม ไม่ต้องยาว สองสามบรรทัดว่าคิดว่าควรเลือกทางไหนและเพราะอะไร ข้อมูล 60% เทียบกับ 6% บอกว่าการมีความเห็นก่อนไม่ได้กันการเปลี่ยนใจ แต่อย่างน้อยเราจะเห็นว่าตัวเองเปลี่ยนใจ และถามต่อได้ว่าเปลี่ยนเพราะหลักฐานหรือเพราะ agent พูดคล่อง

สั่งให้ agent แยกจุดตัดสินใจออกมา แทนที่จะรับงานที่เสร็จแล้ว ให้มันบอกว่าระหว่างทางมีจุดไหนที่เลือกได้มากกว่าหนึ่งทาง แต่ละทางมีเหตุผลอะไร และมันเลือกทางไหนไป แนวเดียวกับที่ผมใช้ในการให้ agent ซักถาม requirement คือให้มันถามเรา ไม่ใช่ตอบแทนเรา

ตกลงกันว่าการตัดสินใจไหนเป็นของคน ไม่ใช่ทุกเรื่องที่ต้องคิดเองครับ ชื่อตัวแปรหรือรูปแบบตารางปล่อยให้ agent เลือกได้ แต่ scope, ลำดับความสำคัญ, นิยามของ "เสร็จ" และ metric ที่ใช้ตัดสินว่าฟีเจอร์รอด เป็นเรื่องที่ผมอยากให้เจ้าของงานตอบได้ด้วยคำของตัวเอง

Checklist กันการตาม agent โดยไม่รู้ตัว

ก่อนถาม agent

• งานนี้มีคำตอบที่ถูกชัดเจน หรือเป็น judgment call ที่เลือกได้หลายทาง
• ถ้าเป็น judgment call เขียนความเห็นเบื้องต้นของตัวเองไว้แล้ว พร้อมเหตุผลสั้น ๆ
• รู้ว่าการตัดสินใจนี้ใครเป็นเจ้าของ และใครต้องอธิบายกับลูกค้า

ระหว่างทำงานกับ agent

• ให้ agent ระบุจุดที่มันตัดสินใจแทน และตัวเลือกที่มันไม่ได้เลือก
• ขอเหตุผลที่ดีที่สุดของฝั่งตรงข้ามกับที่มันเสนอ อย่างน้อยในจุดที่สำคัญ
• เมื่อเปลี่ยนใจจากความเห็นแรก จดไว้ว่าหลักฐานข้อไหนทำให้เปลี่ยน

ก่อนส่งงานหรือกดอนุมัติ

• อธิบายเหตุผลของแต่ละจุดสำคัญได้โดยไม่เปิดดูคำตอบของ agent
• ระบุในเอกสารว่าข้อเสนอไหนมาจาก agent และข้อไหนเป็นการตัดสินใจของคน
• ถ้าเป็นเรื่องใหญ่ มีคนอีกคนที่ให้ความเห็นก่อนเห็นคำตอบของ agent

ระดับทีม

• มีรายการการตัดสินใจที่ตกลงกันว่าต้องเป็นของคน
• ให้เวลากับการตัดสินใจกลุ่มนั้นจริง ๆ ไม่ใช่คาดหวังความเร็วระดับเดียวกับงานที่ agent ทำแทนได้
• เมื่อทุกคนเห็นตรงกันเร็วผิดปกติ ถามว่าแต่ละคนได้ความเห็นมาจากไหน

ข้อ "อธิบายได้โดยไม่เปิดดูคำตอบของ agent" คือข้อที่ผมจะใช้กับตัวเองก่อนครับ มันเป็นการทดสอบแบบเดียวกับที่ผมเสนอไว้เรื่องหนี้ความเข้าใจ แค่ย้ายจากโค้ดมาเป็นการตัดสินใจ

ท้ายที่สุด

ผมไม่คิดว่าควรอ่านงานนี้ว่า "อย่าเชื่อ AI" ครับ กลุ่มที่ใช้ agent ในการทดลองทำผิดเชิงวิธีการน้อยกว่า (แม้จะเทียบกันตรง ๆ ไม่ได้) และผู้เขียนก็บอกชัดว่าไม่ได้ชวนให้ใช้ AI น้อยลง ทั้งยังเป็นการทดลองเดียว งานเดียว โมเดลเดียว ที่ตั้งใจเร่งความเอนเอียงของ agent ให้แรงกว่าปกติ ตัวเลข 86% จึงไม่ควรถูกยกไปใช้กับทุกสถานการณ์

สิ่งที่ผมเก็บไว้คือข้อที่ตัวเลขไม่ได้บอกตรง ๆ คือเราใช้ความรู้สึกของตัวเองเป็นตัววัดไม่ได้ครับ คนที่เลือกตาม agent ทุกจุดมั่นใจพอ ๆ กับคนอื่น และเกินครึ่งรู้สึกว่าคำแนะนำเป็นของตัวเอง ความรู้สึกว่า "ผมคิดเองนะ" ไม่ได้พิสูจน์อะไร

คำถามที่ผมจะถามตัวเองก่อนกดอนุมัติงานที่ agent ช่วยทำจึงเปลี่ยนจาก "มันผิดตรงไหนไหม" เป็น "จุดไหนที่ผมเลือกเอง และถ้า agent เสนออีกทางหนึ่ง ผมจะยังเลือกแบบนี้อยู่ไหม" ถ้าตอบไม่ได้ ก็ยังไม่ใช่การตัดสินใจของผมครับ