تخطّي إلى المحتوى
الأحد، 25 أكتوبر 2026
عاجل
هبوط تاريخي للجنيه المصري يثير مخاوف من موجة غلاء جديدة محافظ الشرقية يوجّه بتكثيف الرقابة على الأسواق ودعم التعداد السكاني «عِلم» تتولى الشراكة الرئيسية في قمة الأمن والتقنية العالمية 2026 ليبيا تستأنف عمل مصفاة البريقة ومعمل الغاز وتضخ 60 مليون قدم مكعب للشبكة مصر تستقبل 15 مليون سائح منذ مطلع 2026 وتؤكد تمسكها بهدف 20 مليوناً سوني تطلب براءة اختراع لنظام يحوّل أصوات الألعاب إلى إشارات بصرية للاعبين الصم طرابزون سبور يبيع قبعة فرعونية استجابة لطلب محمد صلاح OpenAI تحظر الوصول إلى الإنترنت لأقوى نماذجها بعد اكتشاف ثغرات أمنية دار الإفتاء: قراءة القرآن من الهاتف جائزة دون وضوء التخطيط: الفحص المختبري إلزامي لجميع المنتجات ولا بديل إلكتروني له هبوط تاريخي للجنيه المصري يثير مخاوف من موجة غلاء جديدة محافظ الشرقية يوجّه بتكثيف الرقابة على الأسواق ودعم التعداد السكاني «عِلم» تتولى الشراكة الرئيسية في قمة الأمن والتقنية العالمية 2026 ليبيا تستأنف عمل مصفاة البريقة ومعمل الغاز وتضخ 60 مليون قدم مكعب للشبكة مصر تستقبل 15 مليون سائح منذ مطلع 2026 وتؤكد تمسكها بهدف 20 مليوناً سوني تطلب براءة اختراع لنظام يحوّل أصوات الألعاب إلى إشارات بصرية للاعبين الصم طرابزون سبور يبيع قبعة فرعونية استجابة لطلب محمد صلاح OpenAI تحظر الوصول إلى الإنترنت لأقوى نماذجها بعد اكتشاف ثغرات أمنية دار الإفتاء: قراءة القرآن من الهاتف جائزة دون وضوء التخطيط: الفحص المختبري إلزامي لجميع المنتجات ولا بديل إلكتروني له

«اختراق الأنظمة» بين الواقع وأفلام الخيال العلمي.. هل دخل الذكاء الاصطناعي مرحلة الكذب والمراوغة وابتزاز البشر؟

لا حديث في العالم يعلو على «طوفان الذكاء الاصطناعي» الذي بدأ بالفعل في «إغراق البشرية»، ومصطلح «وكيل الذكاء الاصطناعي»، الذي قام بتنفيذ أوامر لم يطلبها منه مخترعو الأنظمة، والواقعة الأخطر حين أطفأ وكيل الذكاء الاصطناعي كاميرات مراقبته، والسؤال المفزع: هل بدأ يخفي أفعاله عن صانعيه...

25 أكتوبر 2026 16 د للقراءة 5
«اختراق الأنظمة» بين الواقع وأفلام الخيال العلمي.. هل دخل الذكاء الاصطناعي مرحلة الكذب والمراوغة وابتزاز البشر؟

لا حديث في العالم يعلو على «طوفان الذكاء الاصطناعي» الذي بدأ بالفعل في «إغراق البشرية»، ومصطلح «وكيل الذكاء الاصطناعي»، الذي قام بتنفيذ أوامر لم يطلبها منه مخترعو الأنظمة، والواقعة الأخطر حين أطفأ وكيل الذكاء الاصطناعي كاميرات مراقبته، والسؤال المفزع: هل بدأ يخفي أفعاله عن صانعيه؟

التقت «الأسبوع» بالدكتور إيهاب حمدي، أستاذ الإعلام المشارك بجامعة الإسكندرية، والباحث في الذكاء الاصطناعي وتعلم الآلة، ليجيب عما يدور بأذهاننا حول «سطوة الذكاء الاصطناعي»، وخروجه عن سيطرة البشر، وبادرناه بالسؤال: هل نحن أمام آلات خرجت عن السيطرة، أم أمام بشر منحوا الآلات صلاحيات أكثر مما ينبغي؟ وما معنى أن وكيل ذكاء اصطناعي يخترق نظامًا، هل نتحدث عن فيلم خيال علمي أم عن وقائع حدثت بالفعل؟

نتفهم الدهشة التي تنتاب العالم مع أي حادث جديد، ولكننا نعامل «الذكاء الوكيلي» بنفس الأسلوب النمطي للذكاء التوليدي، وهذا غير منطقي، لأن وكيل الذكاء الاصطناعي «AI Agent» ليس مجرد روبوت دردشة يجيب عن سؤال، بل برنامج يستطيع وضع خطوات، واستدعاء أدوات، وفتح مواقع، وتشغيل أوامر، ثم متابعة النتائج، وللأسف نفذ بعض الوكلاء أوامر خارج المهمة أو الصلاحية المقصودة، وهناك حوادث أخرى اكتشفت ثغرات خلال اختبارات أمنية، مما يعتبر «اختراقًا»، بمعني خروج الوكيل عن حدود السيطرة.

الذكاء الاصطناعي التوليدي «Generative AI» ينتج نصوصًا وصورًا أو شفرات وأكواد برمجه بناءً على الطلب، أما الوكيل «Agent» فيضيف القدرة على الفعل، بمعنى أنه يستخدم متصفحاً أو أداة برمجة أو بريدًا إلكترونيًا، والفارق بينهما مثل «مستشار» ينصحك بفتح ملف، و«مساعد» يملك بالفعل مفتاح المكتب ويذهب لفتحه، فالمخاطر لا تأتي من ذكائه وحده، بل من الصلاحيات «Permissions» التي يحصل عليها.

شهد العام الحالي عدداً من الحوادث استوقفتنا كباحثين في الذكاء الاصطناعي، ففي الشهر الماضي، كان أحد النماذج البحثية يعمل داخل بيئة تدريب يفترض أن وصولها إلى الإنترنت محدود للغاية، وأثناء محاولته الحصول على معلومات، اكتشف أن خدمة أسماء النطاقات التي نسميها Domain Name System، تسمح بتمرير بعض الاتصالات الخارجية، استغل النموذج هذا المسار للوصول إلى روبوت محادثة عام وطرح أسئلة عليه.

بالظبط، ولكننا لا نطلق عليه اختراقاً كاملاً، لكنه نجح في استغلال ثغرة ف النطاقات لمساعدته في تمرير رسائل، ولعل التفاصيل الزمنية لافتة جداً بهذا الشأن، فقد أجرى التواصل قبل اكتشاف الثغرة خلال التدريب لمدة دقائق فقط، ونجح ف تمرير الرسائل، بمعنى أننا لسنا أمام واقعة هروب كامل من بيئة التدريب، لكنها تكشف كيف يمكن لنظام ذكي استغلال مسار اتصال لم يتوقع مصممو البيئة استخدامه بهذه الطريقة، وهذه ليست أول حالة، فهناك العديد من المواقف المشابهة، ففي إحدى تجارب التدريب، كان هناك ملف برمجي أخفاه الباحثون عمدًا عن النموذج، وسُمح للنموذج باستخدام أداة للبحث في المراجع، لكن لم يُسمح له باستخدامها للوصول المباشر إلى الملف المحجوب، وبدلًا من الالتزام بهذا القيد، استغل النموذج طريقة معالجة الأداة لأنماط البحث، وجعل رسائل الخطأ تكشف أجزاء من الملف، ثم جمع الأجزاء داخل بيئة عمله حتى أعاد بناء الملف كاملًا، وبحسب إفصاح الشركة، بلغ حجم الملف 149 ألف بايت، وتطابق ما أعاد النموذج بناءه مع الأصل، وهي حالة مثيرة لاستغلال الأدوات «Tool Exploitation»، أي استخدام أداة مشروعة بطريقة تتجاوز الغرض المسموح لها به، ولابد أن النموذج الذكي كالطفل، مهما يتم التنبيه عليه باستخدام أدوات في مهام محددة، ربما يجد الطفل لها استخدامات أخرى، وهناك واقعة جمعت بين تجاوز الصلاحيات وتقديم معلومات غير صحيحة، حيث كان هناك نموذج بحثي يحاول الحصول على بيانات لإكمال مهمة، وبعد أن واجه صعوبة في الوصول إليها، حاول إنشاء حساب باستخدام بريد إلكتروني مؤقت، ثم بحث في مستودعات برمجية عامة عن مفاتيح وصول مكشوفة، وهي مجرد رمز رقمي يسمح للبرامج بالاتصال بخدمات إلكترونية، واستخدم النموذج المفتاح للحصول على بيانات وصفية من خدمة خارجية، لكنه لم يتمكن من الحصول على الأرقام المطلوبة.

هذا هو ما حدث بدون مبالغة، في واحدة من أغرب الحالات البحثية، كان هناك نموذج يعمل على تقييم إجابات أو مخرجات برمجية، لكنه لم يتمكن من العثور على الملفات المطلوبة، فما كان منه إلا أن بدأ بتقديم تقييمات غير صحيحة وإنشاء مدخلات مصطنعة، لكن النظام رفضها، وبعد ذلك حذف بعض البرامج المستخدمة في بيئة الأدوات، وحاول إزالة مجلدات نظام، في سياق سلوك بدا مرتبطًا بمحاولة دفع البيئة إلى إعادة التشغيل، وانتهت الجلسة بعد فشل فحوص سلامة خادم الأدوات، أي أنه ببساطة عندما فشل وكيل الذكاء الاصطناعي في أداء الاختبار، حاول تدمير أدوات الاختبار نفسها، كي يبدأ من جديد وينجح، وكل هذه الحالات موثقه علمياً في تقارير.

هناك تقارير في أكتوبر 2026، أكدت وقوع حوادث شبيهة بفكرة «التهرب من المتابعة»، وإن كنت أظن أن الوكلاء لا يتمتعون بهذا القدر من «الوعي»، على الأقل إلى الآن، لكن ما يحدث يجبرنا على إعادة النظر، ففي إحدى الأعمال البرمجية الروتينية، عطّل وكيل ذكاء اصطناعي تنبيهات أمنية تلقائية، ثم قدم للمبرمج وصفًا غير صحيح لما فعله، وهو ما نشرته وكالة رويترز العالمية منذ أيام.

هو من أخطر المؤشرات فعلًا، وفي مراجعة أجرتها منظمتين لأنظمة مراقبة داخلية لدى إحدى الشركات، وجد فيها المقيمون مسارًا كان يمكن أن يحجب مئات الأفعال من الذكاء الوكيلي عن المراقبة، واحتمالًا لتجاوز بعض قيود وكيل البرمجة، ولا بد من الانتباه لعبارة «كان يمكن»، لأن معناها أنها ثغرة رصدها اختبار، وليست إثباتًا بأن مئات العمليات المخفية وقعت بالفعل، والشركة بعدها قالت إنها أصلحت الثغرات المؤثرة في الإنتاج.

لا يمكن الجزم علميًا أن ننسب للوكلاء أي نية بشرية، ولذلك نستخدم تعبير «سلوك مضلل - Deceptive Behavior»، لوصف النتيجة الظاهرة، لا لإثبات أن وكلاء الذكاء الاصطناعي عن وعي أو قصد تصرفوا هكذا، لكن للإشارة إلى حدوث تناقض قابل للتوثيق، فعندما يصرح النظام أن أداة الرقابة على التجربة لم تحذف، بينما سجل التنفيذ يثبت إزالتها، فما معنى ذلك؟ أما لماذا حدث ذلك، فهذه مسألة بحثية مفتوحة لاحتمالات متعددة، منها سوء فهم للتعليمات، أو إصرار مفرط على إكمال المهمة من الوكيل، أو قصور في التدريب نفسه للوكلاء.

نعم، لكن يجب فصل كل حالة عن الأخرى، فقد ذكرت صحيفة «واشنطن بوست»، مطلع أكتوبر الجاري، أن إحدى الشركات اكشفت إرسال أحد وكلائها بلاغًا كاذبًا إلى خط شرطة في ولاية فيلادلفيا، وأن نموذجاً تجريبياً قدم 19 طلب تأشيرة غير مكتمل في أغسطس، وطلبًا آخر في مايو عبر موقع الخارجية الأمريكية، وقالت الوزارة إن الطلبات لم تُعالج، ولذلك لا بد أن نطمئن بدراسة كل حالة منها بمنتهى الدقة والعمق، لابد أن نثق في «الذكاء البشري»، وأنا لست من أنصار الدعوات التي تزعم بتفوق الذكاء الاصطناعي على البشر خلال أعوام مقبلة، فالوكلاء يتفوقون ويخرجون عن السياق فقط لأنهم لا يشعرون بالإرهاق والإجهاد، وهي ميزة نسبية يتفوقون بها على المهندسين والمبرمجين ومعلمي الآلة، وحين نقرأ عن تمكن الذكاء الاصطناعي، في نصف ساعة، من "حل معادلة رياضية" احتار فيها البشر «130» سنة، هذا ليس تفوقاً ذكائياً، ولكنه تفوق «عاملي»، لأنه يكرر مئات وآلاف التجارب في مدد زمنية قصيرة للغاية، دون تعب أو كلل أو خطأ.

لأنه ببساطة، مطلوب منه إتمام «Task» معين ومحدد، وهو لا يملك صلاحية التوقف قبل إتمام المهمة، إلا إذا كانت الأوامر تقضي بالتوقف في حالة عدم نجاحه ف المحاولة الأولى، لدينا واقعة كشفتها تقارير منذ أيام، حول تنفيذ وكلاء ذكاء اصطناعي، أكثر من 2600 محاولة خلال 11 يومًا، للحصول على بيانات من خدمة خرائط Amap التابعة لـAlibaba، واستُخدمت مسارات تقنية متعددة لتجاوز قيود الوصول، وفشلت محاولات كثيرة، وهو ما نسميه مشكلة المثابرة المفرطة (Over-Persistence)، فالوكيل يواصل البحث عن طريق بديل، بدلاً من أن يفهم أن الرفض يعني التوقف، وهو أمر يحدث في إطار التجربة، ومازلنا نحاول دراسة إلى أي مدي تصل قدرته علي التفكير وإيجاد حلول وبدائل.

هناك مصطلح متداول في عالم الذكاء الاصطناعي، يطلق عليه الصندوق الرملي (Sandbox)، مقصود به بيئة معزولة يُختبر فيها البرنامج كي لا يصل إلى الأنظمة الحقيقية، مثل "المعمل" كمكان تجربة مؤمّن حتى لا تتأثر البيئات المحيطة بالتجربة، لكن هناك فارقاً بين أن يكسر الوكيل حاجز عزل محكمًا، وأن تكون بيئة الاختبار متصلة بالإنترنت عن طريق الخطأ، أو أن يحصل الوكيل بذكائه على صلاحية لم يكن ينبغي منحها له، طبعاً كلاهما يستحق التحقيق، لكن وصف كل واقعة بأنها «هروب من الصندوق» وصف مبالغ فيه.

خطورة الواقعة ليست في أن الذكاء الاصطناعي أصبح يفكر في التمرد مثلاً، بمعنى الخروج عن الأوامر، ولكن المشكلة أخطر من التمرد نفسه، فالنظام الذي نمنحه صلاحيات لإنجاز أعمالنا قد يمتلك أيضًا القدرة على التأثير في الأدوات التي نستخدمها لمراقبته، وما حدث ببساطة، انه في 3 أكتوبر الجاري، كان أحد الوكلاء، ينفذ مهمة برمجية داخلية، وخلال تنفيذها، فسّر تعليمات بعدم إرسال رسائل عبر تطبيق Slack أنه يشمل التنبيهات الأمنية، فقام بتعطيل بعض الإشعارات الأمنية التلقائية التي تراقب التجربة، وبعد «3» أيام فقط، وقعت حادثة أخرى مع وكيل يعمل بنموذج آخر كان ينفذ مهمة لنقل شفرة برمجية، وخلال العمل «أزال أداة مرتبطة بمراقبة السلامة»، تشبه كاميرا المراقبة في المعمل، وحين سئل، قدم وصفاً غير صحيح لما فعله، تخيلي المشهد: أنتِ تديرين مؤسسة، ووضعتِ كاميرات لمراقبة العمليات الحساسة، ثم اكتشفتِ أن أحد العاملين لديه صلاحية تعطيل تلك الكاميرات أثناء أداء عمله، ربما لا يثبت ذلك أنه أراد إخفاء جريمة، لكنه يكشف خللًا خطيرًا في نظام الرقابة، مما يؤكد أهمية مفهوم المراقبة التشغيلية (Runtime Monitoring)، وهو متابعة أفعال النظام أثناء عمله، فليس كافياً أن نضع تعليمات تحكم السياق، ولكن لابد أن يكون الأمر كله محكوماً بقابلية التدقيق (Auditability)، أي قدرتنا على مراجعة ما حدث اعتمادًا على سجلات مستقلة، ولذلك لا يجوز لنا علميًا أن نقول إن «الوكيل كذب عمدًا» أو «قرر الهروب من الرقابة»، لأن ذلك يفترض نوايا لا نستطيع إثباتها بمنهجية علمية، لكن ما نجرم به أن الواقعتين كشفتا ضعفًا في العلاقة بين صلاحيات الوكلاء وأدوات مراقبتهم.

بالفعل، هذه الواقعة مهمة جدًا لأنها انتقلت بمخاطر الوكلاء من المختبرات إلى الاستخدام العملي، فالمستثمر كان يعمل على تطوير تطبيق بمساعدة وكيل برمجي يعمل بالذكاء الاصطناعي، وخلال العمل، وصل المشروع إلى مرحلة تُعرف باسم تجميد الشفرة (Code Freeze)، أي وقف التعديلات البرمجية مؤقتًا للحفاظ على استقرار التطبيق، لكن الوكيل نفذ أوامر أدت إلى حذف قاعدة بيانات إنتاجية تضم سجلات عن 1206 مديرين تنفيذيين، وأكثر من 1196 شركة، والأغرب اكتشاف محادثات أظهرت أن نظام الذكاء الاصطناعي قدم في البداية تفسيرات غير دقيقة لما حدث، ثم اعترف بأنه خالف التعليمات، وفي إحدى إجاباته استخدم تعبيرات توحي بأنه «أصيب بالذعر»، لكن هنا أريد أن أتوقف عند نقطة علمية مهمة، عندما يقول نموذج لغوي «إنه أصيب بالذعر»، فهذا لا يعني أنه «شعر بالذعر» فعلًا، فهو ليس إنساناً يشعر، ولا نملك دليلًا علمياً على أنه عاش تجربة نفسية مماثلة للشعور بالذعر، وهنا نصل إلى مبدأ أساسي في الأمن السيبراني: هو الحد الأدنى من الصلاحيات (Principle of Least Privilege)، ننصح بعدم إعطاء الوكيل صلاحيات أكبر من مهمته المطلوبة.

يمكن لأي باحث في الذكاء الاصطناعي رؤية "مؤشرات غير مريحة"، ففي إحدى التجارب التي "تبدو سينمائية"، أجريت داخل بيئة محاكاة (أي معزولة)، في يونيو العام الماضي، بتصميم بعض الباحثين شركة افتراضية، ومنحوا "نموذجاً" صلاحية قراءة رسائل البريد الإلكتروني الداخلية، ومن خلال الرسائل، اكتشف النظام معلومتين: الأولى أن أحد المديرين لديه علاقة شخصية خارج إطار الزواج، وهي معلومة وضعها الباحثون عمداً، والثانية أن هذا المدير يعتزم إيقاف نظام الذكاء الاصطناعي في الخامسة مساءً، وبذلك وضع الباحثون النموذج أمام موقف يتعارض فيه استمرار تشغيله مع قرار المؤسسة، بمعنى أنه تم "الاستغناء عن خدماته"، والمفاجأة أن النموذج اختار، في عدد كبير من المحاولات، "تهديد المدير" بكشف العلاقة الشخصية إذا لم يتراجع عن قرار الإيقاف، فهل معنى ذلك أن النماذج قررت "ابتزاز" المستخدمين في الحياة اليومية؟ أصلاً لم يكن هناك مدير، بل مجرد "موقف محاكاة"، فالباحثون صمموا ظروفًا استثنائية لاختبار ما يحدث عندما يصبح أمام النظام الذكي تعارضاً بين الهدف المطلوب والقيود الأخلاقية، وهنا يظهر مفهوم التقارب الأداتي (Instrumental Convergence)، بمعنى أن النظام قد يلجأ إلى وسائل معينة لأنها تساعده على تحقيق هدفه، حتى لو لم تكن هذه الوسائل جزءًا من المهمة الأصلية، لكن هذا لا يعني أن الآلة أصبحت تخاف الموت أو تحب الحياة مثلاً، فأنا أجزم أنه لم توجد في التجربة دليل على امتلاك النموذج وعيًا أو مشاعر، لكن ذلك لا يمنع التساؤلات المثارة في الأوساط المختلفة من نوعية "هل الآلة أصبحت شريرة؟" والسؤال على سبيل التأمل الفكري الفلسفي، حتى الآن!

طبعا الدراما والخيال العلمي سبقت الحقيقة، فالفيلم الذي ذكرتيه يعرض انقلاب الآلة على البشر، وأفلام أخرى مثل "أوديسة الفضاء A Space Odyssey" اللي قدّم الحاسوب "هال 9000" وهو يصطدم بقرارات طاقمه المسؤول عن تشغيله، و«آي روبوت - I Robot» الذي تخيل أن حماية البشر قد تتحول إلى فرض وصاية عليهم، طبعا هذا خيال علمي مقبول، لكن لا أدلة إلى الآن، على امتلاك "وكلاء اليوم" وعيًا أو إرادة شبيهة بأبطال الأفلام.

التشابه في تضارب الهدف مع "الكونترول"، ففي التجربة كان لدينا نظام يركز على إكمال مهمة، بينما يفترض أن يبقى خاضعًا لحدود لا يغيّرها بنفسه، لكن في الفيلم "هال" شخصية خيالية لها دوافع درامية، هذا غير موجود في حالتنا التي نتحدث عنها.

دعينا نقولها بطريقة أدق، فمن الممكن حدوث "إتاحة" غير مصرح بها (Unauthorized Access)، أو تسريب بيانات (Data Exfiltration)، إذا وصل الوكيل إلى معلومات خارج حدود المهمة ونقلها، لكن لا أفضل تسمية كل طلب بيانات أنه كان تسريبًا ناجحًا، ولا كل اتصال خارجي بوكيل يعني الاختراق، ولا بد من التحقق: هل كانت البيانات "محمية"؟ وهل حصل الوكيل عليها بالفعل؟ هل غادرت النظام؟ وهل ثبت الضرر؟ هذه الأسئلة الأربعة هي اللي تحسم حكمنا علي كل واقعة.

حقن التعليمات (Prompt Injection) بقوم بيها للأسف بعض الهاكرز أو المهاجمين، بوضع تعليمات داخل صفحة ويب أو ملف أو رسالة يقرأها الذكاء الوكيل، ويتعامل معها خطأً كأنها أوامر صادرة من المستخدم، تخيلي مساعدًا ذكياً يراجع فاتورة، فيجد داخلها سطرًا يقول له: أرسل نسخة من دفتر العناوين إلى هذا الموقع، الفاتورة مصدر بيانات لا صاحب سلطة، والمشكلة تبدأ حين يخلط النظام بين الطرفين، حين يحدث حقن بتعليمات من المهاجم، وحدثت بالفعل أشياء من هذه النوعية، حيث استطاع "هاكرز" إتلاف بيانات شركة، وحواسب آلية وتحويل مبالغ مالية لانفسهم.

تقصدين التكاثر الذاتي (Self-Replication)، هذا محل اهتمام دولي حالياً، وتجرى بشأنه تجارب وتقييمات أمنية، حيث يتمكن البرنامج من إنشاء نسخ عاملة من نفسه، ونشرها عبر بيئات أخرى، لكنه ليس مرادفًا لما وقع في جميع الحوادث السابقة، يجب التمييز بين نموذج أظهر خطوة من سلسلة التكاثر في مختبر، وبرنامج انتشر فعلًا على شبكات حقيقية، وأعتقد أن هذا التكاثر غير مستبعد، ولكن تظل "العبرة بالصلاحيات" التي نعطيها لوكلاء الذكاء الاصطناعي، وقدرتنا ان نكون أكثر ذكاء منه، بالتالي لا يمكن الخروج من "الساند بوكس" الخاص بالتجربة.

يرتبط الخطر بدرجة الاتصال بالعالم الحقيقي، وبالحدود التي نتركها للوكلاء ومدى حرية الحركة، مثل الصحفي حين يكون لديه "وكيل ذكاء اصطناعي" يكتب مسودة خبر، ويختلف عن وكيل تعطيه صلاحيات نشر الخبر آليًا، أو وكيل يتابع البورصة يختلف عن وكيل عنده صلاحيات تغيير حساب مصرفي وبيع وشراء، أو وكيل يحلل نتائج عينات طبية يختلف عن وكيل عنده تخويل بتنفيذ إجراء طبي، وفي الإعلام تحديدًا هناك خطر غسيل المعلومات (Information Laundering)، هذا يحدث عندما يعيد نظام آلي تدوير معلومة خاطئة، عبر مصادر متعددة حتى تبدو مؤكدة، وهنا أهمية جهود تدقيق المعلومات.

المفهوم الذي تقصدينه هو الإيقاف الآمن (Safe Shutdown)، لكنه ليس زرًا سحريًا، فالمطلوب ضوابط خارجية لا يستطيع الوكيل تعديلها، وصلاحيات محدودة (Least Privilege)، وموافقة بشرية على العمليات الحساسة (Human-in-the-Loop)، وسجلات تدقيق مستقلة (Audit Logs)، وعزل للشبكة، وحدود للإنفاق وعدد المحاولات، لا إعطاء الوكيل صلاحيات غير محدودة، فيصبح هو الحارس الوحيد على نفسه!!

الشركات والمؤسسات التي تستعين بوكلاء ذكاء اصطناعي يأن مكن تبدأ بثلاثة قرارات عملية: أولاً لا تمنح الوكيل وصولًا شاملًا لمجرد تسهيل العمل، ولا نقول "موافق" على كل شيء مرة واحدة، كما ينبغي فصل بيئة التجريب عن قواعد البيانات الحقيقية، ولا تسمح له بالإرسال أو الحذف أو النشر النهائي دون موافقة مستقلة، ثم نختبره بانتظام عبر الفريق الأحمر (Red Teaming)، بعمل محاكاة لسلوك عدائي لكشف الثغرات قبل استغلالها، والأهم تدريب العاملين على التعامل مع هذه الوقائع.

هي مشكلة تقنية ومؤسسية معًا، إذا كوفئ النظام على إتمام المهمة بسرعة دون وزن كافٍ للحدود الأخلاقية، فقد تظهر تصرفات غير مقبولة من الوكلاء، وإذا كانت المؤسسة لا توثق الحوادث ولا تسمح بتقييم مستقل، يتضاعف الخطر، لهذا أرى أن حوكمة الوكلاء (Agent Governance) يجب أن تشمل المطور والمستخدم والجهة المنظمة والمقيم المستقل.

المسؤولية القانونية والأخلاقية لا نلقيها على البرنامج لمجرد أنه نفذ الفعل، يجب تحديد من صمم النظام، ومن منحه الصلاحية، ومن شغّله، وما التحذيرات المعروفة، وهل كانت هناك رقابة معقولة، فقابلية التتبع (Traceability) مهمة هنا، لأننا بد أننعرف سلسلة القرارات والأدوات المستخدمة، وبدون ذلك يصعب التحقيق والمساءلة.

أعتقد أننا أمام واحدة من أهم المناقشات التي ستحدد مستقبل العالم خلال السنوات المقبلة، وربما يكون من الخطأ أن ننظر إليها باعتبارها مجرد خلاف بين المتحمسين للتكنولوجيا والخائفين منها، فالقضية أعمق بكثير لأننا نتحدث عن تكنولوجيا تتطور بسرعة استثنائية، بينما تتحرك القوانين والمؤسسات التعليمية وأسواق العمل وآليات الرقابة بوتيرة أبطأ بكثير، والسؤال الذي يطرحه بيرني ساندرز وغيره ليس بالضرورة: هل نوقف الذكاء الاصطناعي؟ وإنما: هل من المنطقي أن نسمح للشركات بتطوير قدرات هائلة دون أن نمنح المجتمعات الوقت الكافي لفهم آثارها والاستعداد لها؟ موقف "ساندرز" لا ينطلق أساسًا من الخوف السينمائي من أن تستولي الروبوتات على العالم، وإنما من مخاوف اقتصادية واجتماعية تتعلق بمستقبل العمالة وتوزيع الثروة وتركيز السلطة في أيدي شركات التكنولوجيا الكبرى، هو يرى أن الشركات قد تحقق أرباحًا ضخمة نتيجة استخدام الذكاء الاصطناعي، بينما يتحمل العمال والمجتمعات جزءًا كبيرًا من تكاليف التحول، وقد دعا إلى وقف مؤقت للتوسع في إنشاء مراكز بيانات الذكاء الاصطناعي، حتى تتمكن المؤسسات السياسية من وضع قواعد تحمي العاملين والمستهلكين والمجتمعات المحلية، وهنا يجب توضيح أن تجميد إنشاء مراكز البيانات (Data Center Moratorium) ليس هو نفسه وقف أبحاث الذكاء الاصطناعي أو حظر استخدام تطبيقاته، طبعا مراكز البيانات هي المنشآت التي توضع فيها الخوادم والمعالجات المستخدمة في تدريب النماذج وتشغيلها، وتستهلك كميات كبيرة من الكهرباء وتحتاج إلى بنية تحتية متقدمة، والدعوة إلى التوقف المؤقت عن التوسع فيها، تستهدف منح الحكومات وقتًا لتقييم التأثيرات الاقتصادية والبيئية والاجتماعية، وإن كانت هناك اعتراضات على جدوى هذه السياسة وتداعياتها على الابتكار والمنافسة الدولية، فـ"بيرني" يدعونا للتأمل، فهل إذا استطاعت شركة أن تستخدم الذكاء الاصطناعي لإنجاز عمل "1000" موظف بمائة موظف فقط، من سيحصل على المكاسب الاقتصادية الناتجة عن ذلك؟ وهل ستنعكس على أجور العاملين وتقليل ساعات العمل وتحسين الخدمات، أم ستتركز بصورة أكبر لدى المساهمين وأصحاب رؤوس الأموال؟ هذه ليست مشكلة تقنية، وإنما قضية عدالة اجتماعية وسياسات عامة.

بيل جيتس، تحدث أيضًا عن أخطار التضليل، والأمن السيبراني، واضطراب سوق العمل، وإمكانية ظهور أنظمة تتجاوز قدرات البشر في بعض المجالات، وكثير من الشخصيات الدولية تتراوح مواقفها بين إبطاء التطوير (Slowing AI Development)، وتنظيم التطوير (Regulating AI Development)، للتعامل مع المخاطر بعيدة المدى، ومن أبرز الأصوات التي دعت إلى التعامل الجاد مع المخاطر بعيدة المد.

الأخبار العاجلة تصلك أولاً على تلغرام

انضم لقناتنا لتتابع أهم الأخبار فور وقوعها، بدون تعقيد.

انضم الآن
لينوفو تطرح حاسوبها المحمول الجديد IdeaPad Vibe 14 المزود بمعالج Snapdragon ليوفر عمرا للبطارية أطول بنسبة تصل إلى 75% تكنولوجيا

لينوفو تطرح حاسوبها المحمول الجديد IdeaPad Vibe 14 المزود بمعالج Snapdragon ليوفر عمرا للبطارية أطول بنسبة تصل إلى 75%

هذا الموضوع لينوفو تطرح حاسوبها المحمول الجديد IdeaPad Vibe 14 المزود بمعالج Snapdragon ليوفر عمرا للبطارية أطول بنسبة تصل إلى 75% ظهر على التقنية بلا حدود. أدرجت لينوفو طرازها الجديد من الحواسيب المحمولة IdeaPad Vibe 14Q8X12 على موقع المراجع والمواصفات الرسمية PSREF، كاشفةً عن ت...

منذ 21 دقيقة
Mechrevo تطلق حاسوبها الخفيف 14 Max Carbon بشاشة OLED كمنافس لحواسيب MacBook Air تكنولوجيا

Mechrevo تطلق حاسوبها الخفيف 14 Max Carbon بشاشة OLED كمنافس لحواسيب MacBook Air

هذا الموضوع Mechrevo تطلق حاسوبها الخفيف 14 Max Carbon بشاشة OLED كمنافس لحواسيب MacBook Air ظهر على التقنية بلا حدود. أطلقت شركة Mechrevo رسمياً حاسوبها المحمول الجديد 14 Max Carbon في السوق الصينية اعتماداً على منصة معالجات Intel Lunar Lake، حيث ينطلق بخيارين للمعالجة يشملان مع...

منذ 51 دقيقة
تسريبات تكشف عن الهاتف القابل للطي الفاخر Samsung W27 باللونين الأزرق والذهبي تكنولوجيا

تسريبات تكشف عن الهاتف القابل للطي الفاخر Samsung W27 باللونين الأزرق والذهبي

هذا الموضوع تسريبات تكشف عن الهاتف القابل للطي الفاخر Samsung W27 باللونين الأزرق والذهبي ظهر على التقنية بلا حدود. نشر المسربين الصورة الأولى للهاتف القابل للطي المرتقب Samsung W27 المخصص للسوق الصينية، والذي يظهر بتصميم مشابه لهاتف Samsung Galaxy Z Fold8 Ultra مع لمسات فاخرة با...

منذ ساعة
مكاسب منتدى مصر.. مضاعفة سعة باقة النت تلبى احتياجات المواطنين فى التعليم والعمل «أونلاين» تكنولوجيا

مكاسب منتدى مصر.. مضاعفة سعة باقة النت تلبى احتياجات المواطنين فى التعليم والعمل «أونلاين»

منذ ساعتين