خلف بريق الذكاء الاصطناعي معركة على السلطة ورأس المال بين صناع التقنية ومن يدفعون ثمن قراراتها، فماذا يحدث حين تنفلت الآلة من يد صانعها، وتتولى الخوارزميات رسم طرقها الخفية؟
حذف وكيل ذكاء اصطناعي بيانات خدمة تعمل على منصة "رايلواي"، التي تستضيف التطبيقات وبياناتها.
وبحسب إفادة نشرتها الشركة، عثر الوكيل على مفتاح وصول محفوظ على جهاز المستخدم، واستخدمه عبر أدواته لإرسال أمر بحذف وحدة التخزين التي تضم بيانات الخدمة.
كان المفتاح رمزًا تقبله المنصة لإثبات حق البرنامج في استخدام الحساب، لكنه كان يمنحه صلاحيات واسعة تشمل الحساب كله، فقبلت المنصة طلب الحذف ونفذته. وكانت إمكانية التراجع عن الحذف تتوقف على الوسيلة المستخدمة لتنفيذه. فالحذف عبر لوحة
تحكم رايلواي يتيح مهلة للتراجع، بينما استخدم الوكيل واجهة برمجية قديمة كانت تنفذ الحذف فورًا. وتقول الشركة إنها استعادت البيانات وعدلت تلك الواجهة لتتيح التراجع عن الحذف خلال ٤٨ ساعة.
توضح هذه التفاصيل كيف تمكن الوكيل من حذف البيانات، لكنها لا تفسر سبب اختياره هذا الإجراء.
فقبول المنصة طلب الحذف لا يعني أن صاحب الحساب أراد حذف بياناته. لكن لتحديد موضع الإخفاق في توجيه الوكيل، نحتاج إلى معرفة التعليمات التي تلقاها، وما إذا كانت هناك شروط تلزمه بطلب موافقة المستخدم قبل
تظهر الاختبارات أن النموذج كثير الخطأ في مهمة معينة، فيستطيع الباحث تقدير احتمال وقوع الخطأ دون تفسير
التنفيذ. هذه الحادثة توضح أهمية التمييز بين الإخفاقات المختلفة التي تُجمع تحت عبارة "الخروج عن السيطرة". فقد يتصرف النظام على نحو لم يتوقعه مطوروه، أو يصعب تفسير سلوكه، أو يخالف تعليماتهم، أو يواصل العمل رغم محاولة إيقافه. وقد يلتزم بقواعد الشركة بينما يعجز المستخدمون أو المتأثرون بقراراته عن تغيير تلك القواعد.
ويتطلب فهم الخطر تحديد القدرة التي أخفقت، والجهة التي تملك وسائل التدخل لمعالجة الإخفاق.
ويرتبط بذلك أيضًا الصراع على تحديد غايات التقنية، ومن يملك حق تقرير
المخاطر التي يتحملها الناس بسبب استخدامها.
التنبؤ بالسلوك وفهم أسبابه
عندما نصف تصرف الوكيل بأنه مفاجئ ينبغي أن نفهم من فوجئ به فعلاً؛ فقد يتفاجأ المستخدم بفعل يعرف المطور أن النظام قادر عليه، وقد يعرف مشغل الخدمة أن خطأً ما ممكن دون أن يستطيع توقع موعد وقوعه.
وفي المهام المحدودة، قد يكفي حصر الأفعال التي يستطيع الوكيل تنفيذها واختبار بقائها ضمن الحدود المطلوبة، دون الحاجة إلى توقع كل كلمة يكتبها النموذج. ويتغير مستوى التنبؤ المطلوب بحسب العواقب المحتملة، فالمفاجأة في
صياغة إجابة تختلف عن المفاجأة في حذف بيانات تعتمد عليها خدمة تعمل، حتى إن كان النموذج ينتج الفعلين بعمليات حسابية من النوع نفسه.
وتختلف القدرة على التنبؤ بسلوك النظام عن القدرة على تفسير أسبابه. فقد تظهر الاختبارات أن النموذج كثير الخطأ في مهمة معينة، فيستطيع الباحث تقدير احتمال وقوع الخطأ دون فهم للعمليات الداخلية التي أدت إليه.
وقد يفسر خطأً وقع بالفعل دون أن يستطيع توقع تكراره.
وتساعد الاختبارات المتكررة على تقدير
ربما يلتزم نظام الذكاء الاصطناعي بتعليمات المستخدم، بينما يعجز المستخدم للعديد من الأسباب عن توجيهه
احتمالات السلوك في ظروف محددة، بينما يتطلب تحديد السبب تغيير عنصر من النظام أو من بيئة عمله، ثم مقارنة النتائج لمعرفة أثر ذلك العنصر.
عندما يشرح نموذج الذكاء الاصطناعي سبب إجابته أو تصرفه، قد يقدم تفسيرًا يبدو منطقيًّا، لكن هذا لا يضمن أن يكون تفسيره صحيحًا.
فالنموذج يولد الشرح كما يولِّد أي نص آخر، وقد لا يصف بدقة ما حدث داخله وأدى إلى اتخاذ القرار. فمثلاً، إذا حذف وكيل ملفًا ثم قال إنه فعل ذلك بالخطأ، فهذا الاعتراف لا يكشف ما الذي جعله يختار أمر الحذف من البداية.
لهذا يحاول الباحثون فهم ما يحدث داخل نماذج الذكاء الاصطناعي دون الاكتفاء بالتفسيرات التي تقدمها عن نفسها.
ففي بحث نشر عام ٢٠٢٥، حاول باحثون في شركة أنثروبيك، المطورة لمساعد كلود، تتبع بعض العمليات الحسابية التي تجري داخل النموذج، ثم تغيير بعضها لمعرفة كيف يؤثر ذلك في النتائج. لكن الباحثين أقروا بأن هذه الطريقة لا تكشف سوى جزء مما يحدث داخله. وتتناول دراسة أخرى مسألة مرتبطة بذلك، إذ تبحث ما إذا كانت الخطوات التي يكتبها النموذج لشرح طريقة وصوله إلى إجابة معينة