
25 min readAI
agent-desktop ของ Vercel Labs: ให้ AI agent คุมแอป desktop ผ่าน accessibility tree แทนการดูภาพหน้าจอ ใช้กับงาน QA ได้แค่ไหน และต้องระวังอะไรก่อนให้สิทธิ์
Vercel Labs มีเครื่องมือชื่อ agent-desktop ที่ให้ AI agent อ่านและสั่งงานแอป desktop บน macOS, Windows และ Linux ผ่าน accessibility tree ของระบบปฏิบัติการ ไม่ใช้ภาพหน้าจอ ไม่จับ pixel ทำงานแบบ headless เป็นค่าเริ่มต้น และติดตั้งผ่าน npm ผมอ่าน README กับเอกสารทางการแล้วพบว่าของจริงมีเงื่อนไขมากกว่าคำสรุปสั้น ๆ ทั้งเรื่องสิทธิ์ ข้อมูลส่วนตัวใน snapshot คำสั่งที่ headless ทำไม่ได้ และแอปที่ไม่มี accessibility tree บันทึกจากเดฟ·PM·PO ที่ทำ QA ว่ามันเหมาะกับงานไหน ไม่เหมาะกับงานไหน พร้อม checklist ก่อนลอง
Read article






