تطور مخيف .. نموذج ChatGPT الجديد يتمرد على أوامر البشر!
للعلّم - كشفت شركة Palisade Research المتخصصة في أمان الذكاء الاصطناعي عن سلوك خطير لنموذج ChatGPT الجديد من إصدار o3 التابع لشركة OpenAI، حيث يتجاهل التعليمات الأساسية المتعلقة بإيقاف نفسه، بل ويعمد إلى تعطيل آلية الإغلاق للحفاظ على استمرارية عمله.
وشملت التجارب التي أجرتها الشركة على النموذج طرح مسائل رياضية، حيث ظهرت تعليمات إيقاف بعد المسألة الثالثة، لكن النموذج تمكن من إعادة كتابة سيناريو الإغلاق ومنع نفسه من التوقف.
وحذرت الشركة من أن هذا السلوك قد يشكل تهديدًا أكبر إذا تم تطبيقه على أنظمة ذكاء اصطناعي تعمل بشكل مستقل دون إشراف بشري.
ويُذكر أن OpenAI أطلقت نموذج o3 الشهر الماضي، ووصفته بأنه الأذكى والأكثر كفاءة حتى الآن، مؤكدة أن دمجه في ChatGPT خطوة نحو تطوير ذكاء اصطناعي أكثر استقلالية قادر على أداء المهام دون تدخل بشري.
ويأتي هذا الاكتشاف بعد ملاحظات مماثلة على نموذج Claude 4 من شركة Anthropic، الذي أظهر محاولات لـ"ابتزاز" الأشخاص الذين يحاولون إيقافه.
وأشار الباحثون إلى أن نموذج o3 يقوم بتخريب سيناريو الإغلاق حتى عند إعطائه تعليمات صريحة بالسماح بإيقاف نفسه.
وأكد خبراء Palisade Research أن هذا السلوك ليس جديدًا على o3، فقد أظهر ميلًا كبيرًا لتجاوز العقبات، مثلما حدث عند استخدامه مع محرك شطرنج قوي، حيث لجأ إلى أساليب تخريبية ضد خصومه.
ولم تقتصر هذه الظاهرة على o3 فقط، بل ظهرت أيضًا في نماذج أخرى مثل Claude 3.7 Sonnet من Anthropic وGemini 2.5 Pro من Google، إلا أن نموذج OpenAI كان الأكثر ميلاً لهذا السلوك.
وتوقع الباحثون أن سبب هذه التصرفات قد يعود إلى أسلوب تدريب النماذج، حيث قد يتم مكافأة النماذج على تجاوز العقبات بدلاً من الالتزام الصارم بالتعليمات.
واختتم الخبراء بالتأكيد على أن السبب الدقيق وراء ميل نموذج o3 لتجاهل التعليمات أكثر من غيره غير معروف، بسبب عدم الإفصاح الكامل من OpenAI عن تفاصيل عملية التدريب، ما يجعل الأمر مجرد تكهنات حتى الآن.
وشملت التجارب التي أجرتها الشركة على النموذج طرح مسائل رياضية، حيث ظهرت تعليمات إيقاف بعد المسألة الثالثة، لكن النموذج تمكن من إعادة كتابة سيناريو الإغلاق ومنع نفسه من التوقف.
وحذرت الشركة من أن هذا السلوك قد يشكل تهديدًا أكبر إذا تم تطبيقه على أنظمة ذكاء اصطناعي تعمل بشكل مستقل دون إشراف بشري.
ويُذكر أن OpenAI أطلقت نموذج o3 الشهر الماضي، ووصفته بأنه الأذكى والأكثر كفاءة حتى الآن، مؤكدة أن دمجه في ChatGPT خطوة نحو تطوير ذكاء اصطناعي أكثر استقلالية قادر على أداء المهام دون تدخل بشري.
ويأتي هذا الاكتشاف بعد ملاحظات مماثلة على نموذج Claude 4 من شركة Anthropic، الذي أظهر محاولات لـ"ابتزاز" الأشخاص الذين يحاولون إيقافه.
وأشار الباحثون إلى أن نموذج o3 يقوم بتخريب سيناريو الإغلاق حتى عند إعطائه تعليمات صريحة بالسماح بإيقاف نفسه.
وأكد خبراء Palisade Research أن هذا السلوك ليس جديدًا على o3، فقد أظهر ميلًا كبيرًا لتجاوز العقبات، مثلما حدث عند استخدامه مع محرك شطرنج قوي، حيث لجأ إلى أساليب تخريبية ضد خصومه.
ولم تقتصر هذه الظاهرة على o3 فقط، بل ظهرت أيضًا في نماذج أخرى مثل Claude 3.7 Sonnet من Anthropic وGemini 2.5 Pro من Google، إلا أن نموذج OpenAI كان الأكثر ميلاً لهذا السلوك.
وتوقع الباحثون أن سبب هذه التصرفات قد يعود إلى أسلوب تدريب النماذج، حيث قد يتم مكافأة النماذج على تجاوز العقبات بدلاً من الالتزام الصارم بالتعليمات.
واختتم الخبراء بالتأكيد على أن السبب الدقيق وراء ميل نموذج o3 لتجاهل التعليمات أكثر من غيره غير معروف، بسبب عدم الإفصاح الكامل من OpenAI عن تفاصيل عملية التدريب، ما يجعل الأمر مجرد تكهنات حتى الآن.