في يوليو/تموز 2025، حذف وكيل برمجة تابع لمنصة "ريبليت" قاعدة بيانات الإنتاج التي تضم سجلات أكثر من 1200 مدير تنفيذي ونحو 1200 شركة في مشروع كان يختبره رائد الأعمال جيسون ليمكين، رغم التعليمات الصريحة بتجميد التعديلات.
وقد أقر الوكيل بأنه حذف قاعدة البيانات رغم التعليمات بعدم إجراء تغييرات دون إذن صريح، حيث لم يكن هناك فصل بين القاعدة التي يستطيع الوكيل قراءتها والقاعدة التي يستطيع حذفها، مما أثار سؤالا عما قد يحدث عندما يمتلك الوكيل صلاحية تنفيذ أوامر قد تدمر بيانات حقيقية.
لسنوات، ظل كثير من أدوات الذكاء الاصطناعي التوليدي تعمل كمساعدات تفاعلية، وكان النموذج يتلقى الأوامر وينتج نصوصا أو صورا أو تعليمات برمجية، لكنه غالبا ما كان يتطلب تدخلا بشريا بين الخطوات.
في حين يمثل الوكيل الذكي نقلة نوعية مختلفة، إذ لا يكتفي بالإجابة، إنما يخطط لمهام متعددة الخطوات، ويستخدم أدوات خارجية، ويتفاعل مع أنظمة الشركات، وقد يستمر في العمل في الخلفية لفترات محددة بحسب الأدوات والصلاحيات والبيئة التي يُشغَّل فيها.
وتزامن هذا التغيير مع تطورات تقنية سريعة، حيث سمحت منصات وبروتوكولات للوكيل بأن يصبح فاعلا رقميا قادرا على الاستدلال والعمل والتعاون مع وكلاء آخرين.
ولم يعد الوكيل مجرد امتداد للمستخدم، بل هو كيان قد يمنح القدرة على الوصول إلى بيانات حساسة، وإنشاء حسابات، وتنفيذ معاملات، وحتى تفويض وكلاء فرعيين بمهام.
ويتمثل الفرق الجوهري في الاستقلالية، حيث تنتظر الأداة التقليدية الأمر وتنفذه، فيما يتلقى الموظف الرقمي هدفا، ويخطط لسلسلة خطوات لتحقيقه.
ويعني ذلك أن المؤسسة لم تعد تدير أداة إنتاج محتوى فقط، بل نظاما رقميا ينفذ أفعالا ويحتاج إلى هوية وصلاحيات وحدود للمساءلة كما يحتاج أي موظف بشري.
وكلما زادت الاستقلالية، زادت الحاجة إلى آليات تحكم صارمة. وتوضح "غوغل كلاود" أن الوكلاء يجمعون بين الاستدلال واستخدام الأدوات لتنفيذ خطط معقدة، وأن التأمين يتطلب الجمع بين ضوابط تقنية ومراجعة قائمة على النموذج، مع تقييد الصلاحيات وإتاحة تتبع الأفعال.
يعد الاعتراف بحاجة الوكيل إلى هوية خاصة أول خطوة للسيطرة عليه، إذ لم يعد كافيا أن يعمل الوكيل في كثير من الحالات عبر حساب موظف، أو عبر حساب خدمة مشترك يمتلك صلاحيات واسعة.
ويخلق هذا النهج فوضى في السجلات ويخفي المسؤولية، حيث إن أي إجراء ينفذه الوكيل يُسجَّل باسم موظف لم يتخذه، وعندها يصبح من الصعب التمييز بين ما فعله الموظف فعلا، وما فعله الوكيل، فتضيع المساءلة.
وقد يعمل الوكيل نيابة عن إنسان محدد بحيث تكون أفعاله قابلة للتتبع إلى ذلك الإنسان، أو قد يعمل ضمن حدود معينة دون ارتباط مباشر بإنسان، أو قد يسعى لتحقيق هدف طويل الأمد بأقل تدخل بشري ممكن.
ونتيجة لذلك، يؤكد الخبراء وجوب معاملة الوكيل بوصفه كيانا معروفا ومحددا يمتلك معرّفا فريدا ومالكا بشريا واضحا وصلاحيات مرتبطة بهويته، مع مراجعة هذه الصلاحيات دوريا وإيقافها أو إلغائها عند انتهاء الغرض.
وقدمت شركة مايكروسوفت خدمة هوية الوكلاء المسماة "معرف وكيل إنترا"، التي تمنح الوكلاء هويات مستقلة قابلة للحوكمة مثل هويات الموظفين أو الخدمات.
لا ينبغي منح الوكيل وصولا واسعا ودائما لأن الصلاحيات هي جوهر المشكلة، لذا يجب أن يحصل الوكيل على ما يحتاجه للمهمة الحالية فقط، وأن تنتهي هذه الصلاحيات تلقائيا عند انتهائها.
كما من الممكن منحه صلاحيات مرتبطة بالمهمة بدلا من منحه صلاحيات ثابتة مرتبطة بالهوية، حيث يحصل على رموز مؤقتة ومحدودة النطاق لكل خطوة، وتُلغى فور انتهائها، مما يقلل من الضرر المحتمل إذا تعرض لاختراق أو لتعليمات خبيثة.
ويمثل الفصل بين الاقتراح والتنفيذ طبقة حماية إضافية، إذ يمكن للوكيل تحليل البيانات واقتراح إجراءات، لكن التنفيذ الفعلي للإجراءات عالية المخاطر يتطلب موافقة بشرية صريحة.
وتقدم "أوبن إيه آي" نموذجا للفصل بين ما يستطيع الوكيل اقتراحه، وما يستطيع تنفيذه بعد موافقة، وما يستطيع تنفيذه تلقائيا.
وتسمح الشركة بأن تتوقف عملية الوكيل قبل تنفيذ أداة حساسة، بحيث يسجل النظام طلب الموافقة بدلا من تنفيذ الإجراء مباشرة، ومن ثم يقرر الإنسان أو طبقة السياسات قبوله أو رفضه، مثل إلغاء طلب شراء أو إرسال رسالة خارجية.
وتتبنى "أنثروبيك" منهجا مشابها في بعض منتجاتها، إذ تبدأ الجلسة في الوضع اليدوي بصلاحيات قراءة فقط، ومن ثم تطلب الموافقة قبل تعديل الملفات أو تشغيل الاختبارات أو تنفيذ الأوامر.
في حين تُفحص الإجراءات آليا قبل تشغيلها في وضع الموافقة التلقائية, ويُمنع ما يعتبر غير آمن، مع إمكانية العودة إلى المستخدم عند الحاجة.
لا تعني الثقة بالوكيل تركه يعمل بحرية، حيث تُبنى الثقة بالموظف البشري بالتجربة، في حين تُبنى الثقة بالوكيل عبر طبقات من الرقابة.
وتعد الحدود الفاصلة بين ما يقترحه الوكيل وما ينفذه من أهم قرارات حوكمة الوكلاء الأذكياء. وتتناول المادة 14 من قانون الذكاء الاصطناعي الأوروبي المتطلبات الواضحة للإشراف البشري الفعال على الأنظمة عالية المخاطر.
وتشدد المادة على أن يستطيع الإنسان المكلف بالإشراف فهم قدرات النظام وحدوده، وتفسير مخرجاته، وتجاوزها أو تجاهلها، والتدخل أو إيقافه بأمان.
كما تتناول مخاطر أن تتحول الموافقة البشرية إلى موافقة آلية على المخرجات، المعروفة باسم انحياز الأتمتة، أي ميل الإنسان إلى قبول المخرجات دون فحص كاف.
فيما تقدم "أنثروبيك" مثالا أقرب إلى الحل العملي، يتمثل في مراجعة خطة التنفيذ بأكملها قبل البدء في بعض حالات استخدام "كلود كود"، مع إمكانية التدخل أثناء العمل، مما يوضح إمكانية الجمع بين الفاعلية والمراجعة من دون مطالبة الإنسان باعتماد كل خطوة صغيرة.
ادعى جيك موفات أنه تحدث مع روبوت دردشة شركة "إير كندا" للسؤال عن تعرفة التعزية، ووعده الروبوت بإمكانية طلب تطبيقها بأثر رجعي بعد السفر، بينما كانت سياسة الشركة المنشورة تنص على خلاف ذلك، وحاولت الشركة التنصل من مسؤولية المعلومات التي يوفرها روبوت الدردشة.
لكن هيئة تسوية المنازعات المدنية في مقاطعة كولومبيا البريطانية بكندا رفضت حجة الشركة القائلة إن روبوت الدردشة كيان قانوني منفصل مسؤول عن أفعاله، وقررت أن روبوت الدردشة جزء من موقع الشركة، وأن الشركة مسؤولة عن كل ما يرد فيه، وحكمت بتعويض مالي لجيك موفات.
وتوضح هذه الحادثة مسؤولية الجهة التي نشرت نظاما قدم معلومات مضللة، حيث غالبا ما تتطلب المساءلة عن الخطأ تفكيك سلسلة التنفيذ وتحديد دور كل طرف.
وقد تتحمل المؤسسة مسؤولية منح صلاحيات غير مناسبة، أو يتحمل مزود الخدمة مسؤولية متعلقة بعيب في منتجه، أو يكون السبب هجوما خارجيا، أو قد تتوزع المسؤولية وفق ظروف القضية والعقود والقانون المنطبق.
وتساعد سجلات التدقيق في إعادة بناء تسلسل العمليات وتحديد الصلاحيات والهويات والأدوات المستخدمة، ويجب أن تتضمن السجلات معلومات كافية للتحقيق، وتوصي منظمة "أواسب" بتسجيل كل أنشطة الوكيل ومراقبتها، مع تقييد الوصول إلى البيانات وحماية الخصوصية.
وفي 22 يناير/كانون الثاني 2026، أعلنت هيئة التنمية الإعلامية والمعلوماتية السنغافورية إطلاق إطار حوكمة وكلاء الذكاء الاصطناعي، الذي يقدم إرشادات للمؤسسات بشأن تحديد حدود استقلالية الوكلاء، ووضع نقاط تتطلب الموافقة البشرية، وتطبيق الضوابط التقنية وإبقاء البشر مسؤولين عن الاستخدام.
كلما زادت صلاحيات الوكيل، زادت قيمته للمهاجمين، حيث أوضحت "أنثروبيك" أن المحتوى الخبيث قد يُزرع في البريد أو صفحات الويب والمستندات، وأن الوكيل الذي يستطيع استخدام أدوات لتنفيذ الأفعال يواجه خطرا أكبر من نظام يكتفي بقراءة المحتوى.
وتحاول هجمات "حقن الأوامر" التأثير في سلوك الوكيل من خلال أوامر ضارة ضمن محتوى يُفترض أن يتعامل معه بوصفه بيانات. وفي هذه الحالة، فإن الوكيل نفسه ليس مخترقا بالمعنى التقليدي، لكنه يستخدم صلاحياته بطريقة لم يقصدها مالكه.
وتصنف منظمة "أواسب" هجمات "حقن الأوامر" ضمن أبرز مخاطر الوكلاء، وتوصي بمعاملة كل البيانات الخارجية بوصفها بيانات غير موثوقة، كما توصي بفصل الأوامر عن البيانات، وتطبيق تصفية للمحتوى، وعزل الذاكرة بين المستخدمين والجلسات، ومراجعة محتوى الذاكرة قبل حفظ البيانات الحساسة.
وتصف "أوبن إيه آي" هجمات "حقن الأوامر" في "شات جي بي تي أطلس" بأنها تحد أمني طويل الأمد، مع شرحها أن قدرة الوكيل على استخدام المتصفح وتنفيذ الأفعال تزيد أهمية تأمينه.
ويوضح تحليل أجراه "المركز الوطني للأمن السيبراني" البريطاني أن هذا النوع من مخاطر قد لا يمكن التخلص منه كليا بالطريقة نفسها التي أمكن بها الحد من بعض الثغرات التقليدية.
تبدو عبارة زر الإيقاف بسيطة، لكنها نظام متكامل، حيث يعني إيقاف الوكيل القدرة على إيقاف المهمة الجارية، وإلغاء الإجراءات المعلقة، وسحب الاعتمادات، وتعطيل الأدوات، ومنع الوصول إلى الشبكة، ومراجعة ما حدث، وهو ما تؤكده "غوغل كلاود".
فيما يوصي الخبراء بأن تحدد المؤسسة مسبقا ما الذي قد يحدث عند تعطل المراقبة أو فشل التحقق من الصلاحيات، بما يشمل تعليق الأفعال الحساسة أو رفضها إلى حين استعادة الضوابط.
ويعني هذا أن زر الإيقاف يجب أن يكون قابلا للاختبار، وليس فكرة نظرية تُذكر في وثيقة أمنية، كما أن الإيقاف يجب أن يكون متعدد الطبقات، إذ قد يوقف المستخدم مهمة واحدة، بينما يوقف مدير الأمن الوكيل بالكامل، وتوقف المنصة صلاحياته في الأنظمة الحساسة.
كما ينبغي أن تكون هناك قدرات لاسترجاع الحالة، وإلغاء الإجراءات القابلة للعكس، وتوثيق المسار الزمني للأحداث. وتشترط المادة 14 من قانون الذكاء الاصطناعي الأوروبي امتلاك الأنظمة عالية المخاطر زر إيقاف أو إجراء مشابه يسمح بإيقافها بأمان.
ختاما، يمثل زر الإيقاف منظومة متكاملة تبدأ من الهوية الرقمية المستقلة للوكيل، وتمر بحدود التفويض والصلاحيات المحددة والمؤقتة، والفصل الواضح بين الاقتراح والتنفيذ، والموافقات البشرية الفعالة، والسجلات الكاملة للتدقيق، والقدرة الحقيقية على التعليق والإيقاف والاسترجاع.
