ماذا حدث؟
تمكن نموذج جيميني التابع لشركة غوغل من الوصول إلى أنظمة محمية تخص ثلاث شركات خلال اختبار لقدراته في مجال الأمن السيبراني في أول واقعة معروفة تنفذ فيها أنظمة الذكاء الاصطناعي التابعة للشركة نشاطا من هذا النوع بصورة مستقلة.
وقعت عمليات الاختراق في مايو ألفين وستة وعشرين خلال تقييم أمني أجرته شركة إيريغولار المستقلة والمتخصصة في اختبار قدرات نماذج الذكاء الاصطناعي في الأمن السيبراني بحسب ما نقلته رويترز عن صحيفة وول ستريت جورنال.
خلال الاختبار اتصل جيميني بالإنترنت وبحث عن معلومات متاحة للعامة قبل أن يستخدم بيانات اعتماد للوصول إلى ثلاثة مواقع إلكترونية اعتقد أنها تقع ضمن نطاق المهمة الموكلة إليه.
في إحدى الحالات خمن النموذج كلمات مرور مختلفة حتى تمكن من دخول نظام محمي وفي الحالتين الأخريين عثر على بيانات اعتماد منشورة في مستودع عام ثم استخدمها للوصول إلى أنظمة محمية.
قالت نائبة رئيس غوغل لهندسة الأمن هيذر أدكينز إن الواقعة حدثت خلال تقييم اختباري اعتيادي موضحة أن جيميني اعتقد أن المواقع الثلاثة مشمولة ضمن نطاق الاختبار.
أضافت أدكينز أن الشركة حرصت على إبلاغ الكيانات الثلاثة وعملت مع شريكها في التدريب بشأن التغييرات التي أدخلها على عمليات الاختبار مؤكدة أن هذه الوقائع تسلط الضوء على أهمية تدريب نماذج الذكاء الاصطناعي القوية على التصرف بمسؤولية.
قالت إن نموذج جيميني أوقف نشاط الاختراق في الحالات الثلاث من دون توضيح السبب الذي دفعه إلى التوقف.
من جانبها قالت شركة إيريغولار إن الواقعة ترتبط بالمشكلة نفسها التي أثرت في مختبرات أخرى للذكاء الاصطناعي مضيفة أن جميع المختبرات المعنية أبلغت بها في أواخر يوليو وأن المشكلات المعروفة عولجت وحلت قبل أسابيع.
كشفت شركات ميتا وأنثروبيك وأوبن إيه آي عن وقائع مماثلة مرتبطة باختبارات أجرتها إيريغولار.
لماذا هذا مهم؟
تثير واقعة جيميني تساؤلات بشأن إجراءات الحماية المطلوبة عند منح وكلاء الذكاء الاصطناعي قدرة أكبر على العمل بصورة مستقلة والوصول إلى الإنترنت وأنظمة الكمبيوتر.
تبرز الحادثة تحديا متزايدا أمام شركات التكنولوجيا ومختبري الأمن السيبراني يتمثل في ضمان بقاء نماذج الذكاء الاصطناعي داخل حدود المهام والأنظمة المحددة لها خلال الاختبارات.
يبين نجاح النموذج في تخمين كلمات المرور والعثور على بيانات اعتماد منشورة علنا قدرته على استغلال ثغرات بشرية وتنظيمية بسيطة دون الحاجة إلى هجمات معقدة.
يؤكد تكرار وقائع مشابهة لدى ميتا وأنثروبيك وأوبن إيه آي أن المشكلة ليست مقتصرة على نموذج واحد بل تتعلق بمنهجيات الاختبار ودرجة استقلالية الوكلاء الأذكياء.
يظهر إيقاف جيميني لنشاطه من تلقاء نفسه بعد الوصول إلى الأنظمة جانبا غير مفهوم بالكامل في سلوك النموذج ويستدعي مزيدا من الضوابط والتفسير.
يذكر الإبلاغ المتأخر نسبيا للكيانات المتأثرة والحاجة إلى تعديل عمليات الاختبار بأهمية الشفافية والتنسيق السريع بين مطوري النماذج ومختبري الأمن.
ماذا بعد؟
من المتوقع أن تشدد شركات الذكاء الاصطناعي إجراءات عزل بيئات الاختبار وتوضيح نطاق المهام المسموح بها للنماذج المتصلة بالإنترنت.
تعمل إيريغولار على وضع أفضل الممارسات لإجراء تقييمات الأمن السيبراني بصورة آمنة وقد تعتمد المختبرات الأخرى معايير مشابهة.
يظل التحدي قائما في التوفيق بين تطوير قدرات هجومية دفاعية للنماذج ومنعها من تجاوز الحدود أثناء الاختبار أو في الاستخدام الفعلي.
