ประเด็นสำคัญ
- ประสิทธิภาพด้านโทเคน: การใช้งานลดลงจาก 884,000 เหลือเพียง 1,160 โทเคนต่อคำสั่ง พร้อมความแม่นยำที่เพิ่มขึ้น 50% ในงานที่มีความซับซ้อนสูง
- เทคโนโลยี: เฟรมเวิร์ก SkillWeaver อาศัยหลักการ Skill-Aware Decomposition (SAD) สร้างขึ้นบนโมเดล Qwen2.5 ขนาด 7 พันล้านพารามิเตอร์
- ข้อจำกัดในการทำงาน: ตัววางแผนไม่สามารถจัดการข้อผิดพลาดขณะทำงานได้ หากมีการเรียก API ล้มเหลวกลางกระบวนการ ระบบทั้งสายจะหยุดชะงักทันที
ปัญหาสัญญาณรบกวนของข้อมูล
เมื่อโมเดลภาษาต้องบริหารจัดการเครื่องมือภายนอกนับพันรายการ วิธีการแบบดั้งเดิมไม่สามารถตอบโจทย์ได้อีกต่อไป การอัดฟังก์ชันทั้งหมดที่มีลงในคำสั่งเดียวก่อให้เกิดภาระที่หนักเกินรับไหว จากการทดสอบในห้องปฏิบัติการพบว่ามีการใช้โทเคนสูงถึง 884,000 หน่วย เพียงเพื่อให้ระบบ AI สามารถ "มองเห็น" ตัวเลือกทั้งหมดที่มีอยู่ นี่คือคอขวดสำคัญที่ SkillWeaver ตั้งเป้าจะขจัดออกไปอย่างสิ้นเชิง ด้วยการปรับเปลี่ยนแนวทางจากแบบตายตัวไปสู่แบบพลวัต
หลักการของการแตกย่อยงาน
หัวใจสำคัญของระบบนี้คือ Skill-Aware Decomposition แทนที่จะโหลดข้อมูลทั้งหมดเข้ามาพร้อมกัน อัลกอริทึมจะแบ่งคำขอของผู้ใช้ออกเป็นโครงสร้างกราฟการทำงานแบบจุดต่อจุด สำหรับแต่ละเป้าหมายย่อย ระบบจะดึงเฉพาะเครื่องมือที่เกี่ยวข้องจริงเท่านั้น โดยตัดสัญญาณรบกวนที่ไม่จำเป็นออกไป ผลการทดสอบซึ่งดำเนินการบนชุดข้อมูลเฉพาะที่ประกอบด้วยคำขอแบบหลายขั้นตอน 300 รายการ โดยดึงข้อมูลจากเครื่องมือจริง 2,209 รายการในระบบนิเวศ MCP แสดงผลลัพธ์ที่ชัดเจน: การใช้โทเคนลดลงเหลือเพียง 1,160 หน่วย พร้อมความแม่นยำที่เพิ่มขึ้นถึง 50% ข้อมูลทางเทคนิคที่น่าสนใจคือ โมเดลขนาดใหญ่หากปราศจากแนวทางเชิงโครงสร้างอย่าง SAD มักจะแตกงานออกเป็นขั้นตอนเล็กจิ๋วที่ไม่จำเป็น ซึ่งส่งผลให้ประสิทธิภาพโดยรวมแย่ลงแทนที่จะดีขึ้น
ซอร์สโค้ดปิด แต่เทมเพลตเปิดกว้าง
โครงการนี้พัฒนาขึ้นในห้องปฏิบัติการที่เซี่ยงไฮ้ และยังไม่มีการเปิดเผยซอร์สโค้ดฉบับสมบูรณ์ต่อสาธารณะ อย่างไรก็ตาม เทมเพลตของคำสั่งที่ใช้งานนั้นเปิดเผยต่อสาธารณะแล้ว และสามารถทำซ้ำได้ผ่านไลบรารีมาตรฐานอย่าง LangChain หรือผ่านสคริปต์ Python ที่ปรับแต่งเอง ทว่ายังคงมีช่องว่างเชิงโครงสร้างที่สำคัญอยู่ นั่นคือการจัดการข้อผิดพลาดขณะทำงานจริงยังไม่ปรากฏอยู่ในตัววางแผน หากการเรียก API ล้มเหลวระหว่างขั้นตอนกลางของกระบวนการ สายการทำงานเชิงตรรกะทั้งหมดจะหยุดชะงักโดยไม่มีกลไกกู้คืนอัตโนมัติรองรับ
