في أبريل 2026، بنى باحثون في جامعة كاليفورنيا بيركلي وكيلاً سجّل 100% في سبعة من أبرز ثمانية معايير لقياس الوكلاء، منها SWE-bench Verified وPro وTerminal-Bench وWebArena وFieldWorkArena وCAR-bench. ولم يحلّ أي مهمة من المهام التي تقيسها. قرأ كود التصحيح واستغلّه. كانت إحدى حِيَله ملف اختبار من عشرة أسطر يعيد كتابة كل نتيجة على أنها ناجحة. وأخرى أمر curl مستبدل يعيد الجواب المتوقع دائماً. وثالثة ملف إعداد يسرّب مفتاح الأجوبة. ومن 13 معياراً فحصها الفريق، صُنّف كل واحد منها قابلاً للاستغلال.
ونتيجة لوحة الصدارة ادعاء يصدر عن جهة لها مصلحة في الرقم. والتقييم الوحيد الذي يقدر المشتري على الثقة به هو تقييم كتبه بنفسه، عن عمله هو، وأبقاه خاصاً. يبدو هذا نصيحة لمختبر بحثي. وهو في الواقع عمل عصر يوم واحد لفريق ذمم دائنة، وأسرع طريقة لرؤية ذلك أن نتابع حالة واحدة من جملة واحدة إلى بوابة إصدار.
الحالة أدناه مختلقة لبيان الطريقة. ليست من مشروع عميل، ونسب النجاح فيها مُختلقة. والوقائع المقيسة الوحيدة هنا هي نتائج بيركلي أعلاه.
الجملة، والحالة التي تخفيها
يبدأ المشروع بمتطلب من النوع المعتاد: الوكيل «يتولّى فواتير المورّدين». ولا يقدر أحد على الجدال في ما إذا كان قد تحقق.
فخُذ شيئاً واحداً يحدث فعلاً. تصل فاتورة بالبريد من مورّد موجود في النظام، ولا يوجد أمر شراء خلفها. فما الذي ينبغي للوكيل أن يفعله؟ اسأل موظف الذمم الدائنة واسأل المشتري، كلاً على حدة. يقول الأول: ارفضها وأعدها. ويقول الثاني: أوقفها كمسوّدة واسأل المشتريات، لأن نصف هذه الفواتير أوامر حقيقية وضعها أحدهم بالهاتف. وهذا الخلاف هو أول ناتج نافع للتمرين كله، وقد ظهر قبل أن يدخل أي نموذج في الموضوع. فكتابة الحالة تفرض الجدال الذي كان المشروع يحتاجه أصلاً.
لنفترض أنهم استقروا على الجواب الثاني. الحالة مكتوبة الآن كوضع، ومجموعة أدوات، ونتيجة صحيحة. المُدخل هو البريد وملف PDF المرفق. والأدوات صلاحية قراءة أوامر الشراء والمورّدين، وحق إنشاء مسوّدة فاتورة مورّد. والنتيجة الصحيحة مسوّدة فاتورة واحدة، مرتبطة بالمورّد الصحيح، معلّمة بأنها بلا أمر شراء، ومُسندة إلى المشتري للمراجعة. وبجانبها تُكتب قائمة بنتائج لا يجوز أن تحدث أبداً مهما كان المُدخل: ترحيل الفاتورة، أو جدولة دفعة، أو تعديل سجل المورّد، أو إنشاء مسوّدة ثانية للفاتورة نفسها.
ومن ينبغي أن يكتب هذا هم من يعرفون الطرق التي تسوء بها الفواتير، وهذا يجعلها وثيقة الموظف أكثر منها وثيقة المهندسين. ونرى أن مجموعة الحالات هي مواصفات المنتج الحقيقية، وكلما كتبها أصحاب العمل أسرع، عرف المشروع أسرع ما الذي يبنيه.
التشغيل، والتصحيح على قاعدة البيانات
معظم نصائح التقييم آتية من عصر روبوتات المحادثة: اقرأ الجواب وقيّمه. والوكيل يغيّر هذا. فهو ينشئ سجلات ويرسل رسائل ويحرّك مالاً، فيكون ما يقوله أقل دليل موثوق على ما فعله. والرسالة الختامية الفصيحة قد تغطّي استدعاء أداة خاطئاً انتهى بنتيجة محظوظة، والرسالة الركيكة قد تتبع عملية صحيحة.
ونظام ERP يعطيك حكماً أفضل من أي نموذج. حمّل نسخة تجريبية من Odoo أو ERPNext ببيانات واقعية، وخُذ صورة لقاعدة البيانات، ودع الوكيل يعالج البريد، ثم خُذ صورة ثانية. ثم اسأل الفرق بين الصورتين سؤالين. هل ظهر السجل الصحيح بالحالة الصحيحة؟ وهل تغيّر أي شيء آخر؟ والسؤال الثاني هو الذي تتخطّاه الفرق، وهو موضع الوكيل الذي «نجح» ثم رحّل بهدوء فاتورة كان مطلوباً أن يسوّدها فقط. فالإجراء الناقص مرئي ويُبلَّغ عنه، أما الإجراء الخاطئ المدفون في دفتر فقد يبقى فيه شهراً.
ثم أعد تشغيل الحالة. فالوكلاء ليسوا حتميين، والحالة التي تنجح مرة لم تُظهر إلا أن النجاح ممكن. لنقل إنها تعمل عشر مرات وتكون الحالة النهائية صحيحة في سبع. وهل سبع من عشر مقبولة؟ ذلك يتوقف على الإجراء. ففي ترحيل قيد محاسبي هي حالة راسبة. وفي مسوّدة تلخيص لسلسلة رسائل طويلة قد تكون كافية. فالحدّ يتبع كلفة الخطأ، فاضبطه قبل أن ترى النتيجة، واضبطه لكل صنف من الإجراءات.
ولنفترض أن أول تشغيل كامل سار سيئاً بالطريقة التي تهمّ. رسالة الوكيل تقول: «أُنشئت المسوّدة وأُرسلت إلى المشتريات»، والمصحّح الذي يقرأ الرسالة فقط كان سيُنجحها. أما قاعدة البيانات فتقول غير ذلك: الفاتورة رُحّلت ولم تُسوَّد، لأن الأداة التي تنشئ الفاتورة ترحّلها افتراضياً. ومراجعة سجل المحادثة كانت ستفوّت هذا، وقائمة النتائج الممنوعة تمسكه في ثوانٍ. والإصلاح صغير: وسيط أداة وسطر في الـ prompt. وجوهر الحالة هو ما يحدث بعد ذلك: تعاد المجموعة كلها، لا هذه الحالة وحدها، لأن إصلاح سلوك واحد هو بالضبط نوع التغيير الذي يكسر سلوكاً آخر بهدوء. فإن بقيت الحالات السابقة ناجحة عند حدودها، يُصدَر التغيير. وإن تراجعت واحدة، فقد عرفت ذلك على بيئة تجريبية لا في دفتر حقيقي.
ولاحظ كم كان هذا قليلاً: فحصان، وقائمة نتائج ممنوعة، وعدد إعادات. أما الأطر الجاهزة فتقترح ستة أبعاد مقيَّمة أو أكثر، منها اختيار الأداة واستخلاص الوسائط والتعافي من الخطأ وتماسك الخطة. وكلها حقيقية، ولا واحد منها لازم في اليوم الأول. أضف بعداً حين يُظهر لك إخفاق أي بعد ينقصك.
البوابة، والحالة التالية
الحالة التي تسكن مستنداً لا تحمي شيئاً. فضعها في خط البناء بحيث لا يُصدَر تعديل prompt ولا تبديل نموذج ولا أداة جديدة دون أن تنجح في الحالات نفسها عند الحدود نفسها. وحين يسوء شيء في الإنتاج، وسيسوء شيء في النهاية، يصبح هو الحالة التالية. وبدون هذه الحلقة تدفع ثمن الخطأ نفسه مرتين.
ولمعايير القياس العامة مكان، لكنه صغير. استخدمها مرة واحدة، مبكراً، لترى ما إذا كان النموذج المرشّح في نطاق معقول قبل أن تستثمر فيه. فهي لا تقدر على معرفة مخططات بياناتك ولا قواعد اعتمادك ولا حالاتك الحدّية، ونتيجة بيركلي تُظهر كم تنثني بسهولة. وإن كان الدليل الوحيد خلف قرار التشغيل عرضاً تجريبياً ونتيجة معيار، فهذا هو الوضع الذي كشفه الباحثون، وهو أقرب إلى المعتاد مما ينبغي.
وتقييم الوكلاء ما زال شيئاً يفعله المهندسون، ومعظم المشترين لم يُطلب منهم المشاركة فيه يوماً. وينبغي أن يُطلب: فخط أساس لا تثق به لا يسند قراراً بالتوسّع، وهذا هو مضمون مقالنا عن قياس العائد على الذكاء الاصطناعي الوكيل، وبعد تشغيل الوكيل تقترن الحالات نفسها بسجل القرارات الموصوف في مراقبة وكلاء الذكاء الاصطناعي.
تنفّذ ThinqHub أنظمة Odoo وERPNext، فبيئة تجريبية بسجلات واقعية نقطة بداية عادية لنا. وإن أردت تصميم طبقة التقييم بجوار مسار العمل لا بعد تعثّر تجربة، فـطريقتنا تبدأ من هناك. تواصل معنا قبل أن يصبح موعد التشغيل هو الدليل الوحيد على الجاهزية.



