الاسترجاع المعزز بالتوليد وحده لا يكفي: ما الذي يحتاجه الذكاء الاصطناعي في الإنتاج فعلًا

يمكن بناء مساعد قائم على الاسترجاع المعزز بالتوليد في عطلة نهاية أسبوع: جزّئ المستندات، وولّد تمثيلاتها المتجهية، واسترجع أفضل المقاطع، ثم سلّمها إلى نموذج مع توجيه معقول. سيبدو مبهرًا في العرض التجريبي، وسيخفق أيضًا في الإنتاج بطرق لا يستطيع العرض أن يكشفها.

أين تنهار نسخة عطلة نهاية الأسبوع

• يعيد الاسترجاع مقاطع تبدو وجيهة لكنها خاطئة، فيؤلّف النموذج منها بإخلاص إجابة واثقة.
• لا يلاحظ أحد تدهور الجودة، لأنه لا يوجد قياس مستمر، بل مجرد انطباع آخر شخص جرّب النظام.
• تتغير قاعدة المعرفة فتنحرف الإجابات في صمت، دون اختبار انحدار يلتقط ذلك.
• يسأل مستخدم عن أمر خارج النطاق فيتلقى إجابة مختلَقة بدلًا من امتناع صريح.
• يتبيّن بعد ستة أشهر أن إجابة ما كانت خاطئة، ولا يستطيع أحد إعادة بناء السبب الذي دفع النظام إلى إنتاجها.

الطبقات الأربع التي ترفعه إلى مستوى الإنتاج

مجموعة بيانات ذهبية يكتبها أصحاب العمل

من مئتين إلى ثلاثمائة زوج من الأسئلة والأجوبة، يكتبها من يتولون اليوم الإجابة عن هذه الأسئلة، مع الإجابة الصحيحة والمصدر الذي ينبغي الاستشهاد به. هذا هو الأثر الأعلى قيمة في أي برنامج ذكاء اصطناعي مؤسسي، وهو تقريبًا دائمًا ما يرغب العملاء في تخطّيه.

فمن دونه يبقى سؤال «هل المساعد جيد؟» مسألة رأي. ومعه يصبح رقمًا يُحتسب ضمن التكامل المستمر عند كل تغيير في التوجيهات، وكل ترقية للنموذج، وكل تحديث للمحتوى.

امتناع معايَر

يجب أن يكون المساعد الإنتاجي قادرًا على قول إنه لا يعرف. وذلك يستلزم إشارة ثقة في الاسترجاع، وعتبة معايَرة على مجموعة البيانات الذهبية، ومسار إحالة يلتقط السؤال حتى تُسدّ الفجوة لاحقًا.

عقود أدوات محددة الأنواع

في اللحظة التي يفعل فيها الوكيل شيئًا بدلًا من أن يقول شيئًا، يصبح استدعاء الأدوات بصيغة حرة أمرًا غير مقبول. فالأدوات تحتاج إلى مخططات محددة الأنواع، ونطاق صلاحيات لكل مستخدم، ومفاتيح تضمن عدم تكرار التنفيذ، وسجل تدقيق كامل لكل استدعاء ونتيجته.

const raiseServiceTicket = defineTool({
  name: 'raise_service_ticket',
  description: 'Create a support ticket for the authenticated customer.',
  parameters: z.object({
    category: z.enum(['billing', 'technical', 'complaint']),
    summary: z.string().max(200),
    severity: z.enum(['low', 'medium', 'high']),
  }),
  // Scoped to the caller: an agent can never act for another customer.
  execute: async (input, { customerId, idempotencyKey }) =>
    ticketing.create({ ...input, customerId, idempotencyKey }),
});

سجلات القرارات

ينبغي لكل تفاعل أن يحفظ المقاطع المسترجَعة، وإصدار التوجيه، والنموذج وإصداره، والأدوات التي استُدعيت، والمخرج النهائي. التخزين زهيد الكلفة، أما العجز عن تفسير قرار أمام جهة تنظيمية بعد ثمانية عشر شهرًا فليس كذلك.

الكلفة الحقيقية

في ارتباطاتنا، لا يمثّل منطق الاسترجاع والتوليد سوى خمسة عشر بالمئة تقريبًا من الجهد. أما منظومات التقييم، وحواجز الحماية، وعقود الأدوات، وقابلية الملاحظة، وحزمة الحوكمة، فتستحوذ على الباقي. والاكتفاء بميزانية تغطي تلك الخمسة عشر بالمئة هو السبب الأكثر شيوعًا في عدم وصول تجارب الذكاء الاصطناعي المؤسسية إلى الإنتاج.