งานวิจัย — ศึกษาเอเจนต์ AI ขณะทำงานจริง ไม่ใช่ในเบนช์มาร์ก

งานจริง บันทึกครบถ้วน

ทุกการรันของเอเจนต์พร้อมโมเดล เวลา ต้นทุน และผลลัพธ์ ทุกการรีวิวพร้อมคำตัดสินและสิ่งที่พบ ทุกการตัดสินใจของมนุษย์พร้อมเหตุผลและเวลา ไม่ต้องดึงหรือทำความสะอาดข้อมูล บันทึกคือข้อมูล

ผลของกฎต่องาน

เปลี่ยนกฎหนึ่งข้อ — ใครเป็นผู้รีวิว เอเจนต์ทำงานเองได้แค่ไหน เมื่อใดที่มนุษย์ต้องอนุมัติ — แล้ววัดผลต่อคุณภาพ (งานที่ผู้รีวิวส่งกลับ จำนวนรอบต่อการเปลี่ยนแปลง) และความเร็ว (เวลาจากงานจนถึงการเปลี่ยนแปลงที่ยอมรับ เวลาว่าง) ทุกการเปลี่ยนกฎมีวันที่ จึงศึกษาได้แบบก่อนและหลัง

เปรียบเทียบโมเดลในเงื่อนไขเดียวกัน

ผู้ให้บริการ AI หลายรายทำงานเดียวกัน แต่ละรายถูกตรวจโดยผู้รีวิวจากบริษัทอื่น และทุกความเห็นที่ไม่ตรงกันถูกบันทึกไว้

ทำซ้ำได้โดยการออกแบบ

การตัดสินใจมีลายเซ็น บันทึกมีแต่การเพิ่มต่อ และทุกการวัดมีคำสั่งที่ใช้วัดกำกับไว้

ปริมาณงานกับผู้อนุมัติคนเดียว

ในสองวัน สองรีโพสิทอรี: 819 คอมมิต และ 140 การเปลี่ยนแปลงที่ผู้อนุมัติยอมรับ ทุกรายการผ่านการรีวิวก่อนยอมรับ

ผู้รีวิวคนที่สองสำคัญ

ในการรีวิวความปลอดภัยของโค้ดที่เอเจนต์เขียนเอง ผู้รีวิวสองรายจากบริษัท AI ต่างกันเห็นไม่ตรงกันในสองจากสามส่วนแรก: รายหนึ่งให้ผ่าน อีกรายปฏิเสธและพิสูจน์ปัญหาด้วยเทสต์ที่ล้มเหลว ปัญหาทั้งสองได้รับการแก้ไขในวันเดียวกัน

คอขวดคือการอนุมัติ ไม่ใช่เอเจนต์

งานเดินเต็มกำลังเมื่อผู้อนุมัติอยู่หน้าคอมพิวเตอร์ และแทบหยุดในตอนกลางคืน เอเจนต์และเครื่องว่างงานรอลายเซ็นของมนุษย์ ผลนี้นำไปสู่โหมดที่ผู้อนุมัติลงนามอนุมัติงานเป็นชุดก่อนออกไป แล้วเอเจนต์ทำงานต่อเอง โดยทุกขั้นตอนที่ย้อนกลับไม่ได้ยังรอมนุษย์ เรากำลังวัดผลของโหมดนี้

หกวันกับเอเจนต์ 14 ถึง 20 เดือนสำหรับคน

การวิเคราะห์ความพยายามของการสร้างทั้งหมด: งานของเอเจนต์ 139 ชั่วโมง เทียบกับค่าประมาณ 14 ถึง 20 เดือนสำหรับทีมประมาณสิบคน พร้อมคุณภาพโค้ดที่วัดเทียบกับเกณฑ์ที่ตีพิมพ์ อ่านรายงาน →

เครื่องมือ: Saphan Studio Team ใช้ฟรีเพื่อการวิจัยและการสอน

สำหรับการวิจัยและการสอนที่ไม่ใช่เชิงพาณิชย์ในมหาวิทยาลัยและสถาบันวิจัย ใช้เอนจินการประสานงานและการกำกับดูแลเดียวกับที่ทีมวิศวกรรมของเราใช้ทำงาน พร้อมโหมดการทดลอง: คุณกำหนดกฎหลายรูปแบบ และทุกการรันจะถูกติดป้ายตามรูปแบบที่ใช้ ทีมของเราช่วยคุณในการศึกษาครั้งแรก

ข้อมูล: การทำงานจริงของเอเจนต์หลายเดือนในรูปแบบชุดข้อมูล

การรัน การรีวิว การตัดสินใจของมนุษย์ การปฏิเสธ และการเปลี่ยนแปลงกฎทุกครั้งพร้อมวันที่ จากเอเจนต์ของผู้ให้บริการหลายรายที่ทำงานเคียงข้างกัน (Claude, Codex, Cursor, Qwen, GLM, Nemotron และอื่น ๆ) ส่งออกแบบไม่ระบุตัวตน: ไม่มีชื่อเครื่อง คีย์ หรือข้อมูลส่วนบุคคล

โปรแกรมวิจัย ส่วนที่หนึ่ง: ทำให้เอเจนต์ทำงานได้ดีขึ้น

แบบการศึกษาที่เราร่างขึ้นจากบันทึกของเราเอง แต่ละแบบระบุคำถาม ข้อมูลที่ใช้ตอบคำถาม และสิ่งที่ต้องเปลี่ยนเพื่อวัดผลได้อย่างถูกต้อง:

• การรีวิวข้ามผู้ให้บริการ: ผู้รีวิวจากผู้ให้บริการที่ต่างจากผู้เขียนพบปัญหามากกว่าจริงหรือไม่ หรือเพียงเข้มงวดกว่า?
• เริ่มใหม่หรือทำต่อ: การแก้ไขแต่ละรอบควรเริ่มด้วยเอเจนต์ใหม่ หรือทำต่อจากบทสนทนาเดิม?
• โมเดลชั้นนำหรือโมเดลที่ถูกกว่า: โมเดลที่ถูกกว่าทำงานเดียวกันได้ที่ไหน ภายใต้กฎและการรีวิวเดียวกัน?
• กฎในฐานะการทดลอง: เปลี่ยนกฎหนึ่งข้อ เช่น ใครเป็นผู้รีวิว หรือผู้ประสานงานทำงานเองได้แค่ไหน แล้ววัดคุณภาพและความเร็ว
• เอเจนต์หน้าประตูที่ปิด: เมื่อการกระทำถูกปฏิเสธ เอเจนต์หยุด ถาม หาทางอื่น หรือใช้เส้นทางที่ได้รับการกำกับดูแล?
• คำสั่งหรือการตรวจสอบ: บทเรียนใดคงอยู่ได้ในรูปแนวทางที่เขียนไว้ และบทเรียนใดคงอยู่ได้เมื่อมีการตรวจสอบบังคับใช้เท่านั้น?

โปรแกรมวิจัย ส่วนที่สอง: มนุษย์และเอเจนต์ทำงานร่วมกัน

ด้านที่แทบยังไม่มีใครศึกษา ไม่ใช่ว่าโมเดลแก้โจทย์ได้หรือไม่ แต่เป็นว่าคนหนึ่งคนกับกลุ่มเอเจนต์ทำงานร่วมกันได้ดีขึ้นอย่างไร โดยวัดจากบันทึกเดียวกัน:

• การเสริมความรู้: เจ้าของสั่งงานและตัดสินใจได้ดีขึ้นหรือไม่ ยิ่งกลุ่มเอเจนต์ทำงานกับเขานานขึ้นและเตรียมบริบทให้ทุกการตัดสินใจ?
• ขีดความสามารถของเจ้าของ: คนหนึ่งคนกำกับงานคู่ขนานได้กี่สายโดยยังตัดสินใจได้ดี เพดานอยู่ที่ใด และอะไรช่วยยกเพดานนั้น?
• การเรียนรู้กฎ: ต้องมีการตัดสินใจที่ลงนามกี่ครั้งกว่าเอเจนต์จะรับกฎใหม่ และทำไมบางกฎได้ผลหลังลงนามครั้งเดียว ขณะที่บางกฎต้องเตือนซ้ำ?
• ประกายความคิด: ข้อสังเกตจากการทำงานที่ถูกจับไว้ทันทีที่เกิดขึ้น แล้วกลายเป็นกฎ งานวิจัย หรือเนื้อหาสาธารณะ หรือถูกละทิ้ง ประกายใดที่ช่วยให้กลุ่มเอเจนต์ทำงานดีขึ้นจริง?
• การจับงานที่ไม่คืบหน้า: เมื่อกลุ่มเอเจนต์ล้มเหลวซ้ำในแบบเดิม การแสดงให้คนเห็นเปลี่ยนการตัดสินใจของเขาหรือไม่ และเร็วแค่ไหน?
• การแทรกแซงในฐานะข้อมูล: ทุกครั้งที่เจ้าของเข้ามาแทรกจะถูกบันทึกไว้ ช่วงเวลาเหล่านั้นบอกอะไรว่าระบบยังต้องการคนตรงไหน?

สิทธิบัตรของเรา ภายใต้ NDA

Saphan Studio อยู่ระหว่างการยื่นขอสิทธิบัตรในสหรัฐอเมริกาและยุโรป สำหรับการศึกษาร่วมกัน เราสามารถแบ่งปันเอกสารคำขอภายใต้ NDA เพื่อให้งานของคุณต่อยอดจากกลไกจริง แทนการคาดเดา

สิ่งเดียวที่เราขอ

แบ่งปันสิ่งที่คุณได้เรียนรู้ ตีพิมพ์และบอกเรา เพื่อให้ทีมถัดไปที่ทำงานกับเอเจนต์ทำงานได้ดีขึ้น