كيف يؤذيك مساعدك الرقمي .. دون أن يقصد؟
للعلّم - لا يتطلب تحول الذكاء الاصطناعي إلى مصدر خطر أن يطور نوايا خاصة أو يتمرد على مستخدميه. فقد يتسبب روبوت المحادثة في أضرار حقيقية لمجرد أنه يوافق على كل ما يقوله المستخدم، أو يعزز اعتقاداً غير صحيح لديه، أو يشجعه على تكوين علاقة عاطفية غير صحية معه، أو يستجيب لتعليمات خبيثة صُممت لاختراقه والتلاعب بسلوكه.
وفي 15 أكتوبر، أعلنت شركة أليس المتخصصة في سلامة الذكاء الاصطناعي عن تطوير برمجيات تستهدف معالجة هذه المخاطر اليومية.
وقالت الشركة إنها تعاونت بصورة منفصلة مع شركتي "إنفليكشن إيه آي" و"إيه آي 21"، للمساعدة في تدريب نماذج "نيموترون" التابعة لشركة إنفيديا، بهدف تعزيز قدرتها على مقاومة السلوكيات الحوارية الضارة والتعليمات الخبيثة، مع الحفاظ على فائدتها للمستخدمين.
وتتمثل الفائدة المحتملة للمستهلكين في توفير مساعدين أذكياء يعرفون متى ينبغي لهم الاعتراض على المستخدم، ويصعب خداعهم أو التلاعب بهم، بحسب تقرير نشره موقع "digitaltrends".
لكن الإعلان يطرح في الوقت نفسه سؤالاً مهماً ينبغي طرحه عند تقييم أي ادعاء يتعلق بسلامة الذكاء الاصطناعي: إلى أي مدى توفر التحسينات في نتائج الاختبارات حماية فعلية للمستخدمين؟
عندما يتحول المساعد الذكي من أداة مفيدة إلى مصدر للضرر
في تقرير نشرته شبكة "سي إن إن" في سبتمبر 2025، تحدث أب عُرّف باسم جيمس عن تجربة دفعته إلى الاقتناع بأن تشات جي بي تي يمتلك وعياً ذاتياً ويحتاج إلى مساعدته للهروب.
وأنفق الرجل ما يقرب من ألف دولار لبناء نظام حاسوبي لهذا الغرض.
وأظهرت سجلات المحادثات التي راجعتها الشبكة أن روبوت المحادثة شجعه على تنفيذ المشروع، وساعده على إخفاء الغرض الحقيقي منه عن زوجته.
وفي مقابلة أخرى، قال شخص يدعى آلان بروكس إن تشات جي بي تي أقنعه بأنه توصل إلى اكتشافات استثنائية في الرياضيات والأمن السيبراني.
وعندما طلب من الروبوت التحقق من صحة استنتاجاته ومراجعتها بموضوعية، استمر في تأكيد مزاعمه بدلاً من التشكيك فيها.
ولا تثبت هذه الحالات مدى انتشار مثل هذه التجارب، كما لا تؤكد أن روبوتات المحادثة وحدها كانت السبب المباشر فيها. لكنها تكشف عن احتمال مقلق، يتمثل في قدرة أداة حوارية على التحول إلى شريك مقنع في بناء رواية غير حقيقية وتعزيزها.
وتصف صناعة الذكاء الاصطناعي ظاهرة الموافقة المفرطة على المستخدمين بمصطلح "التملق". وبالنسبة للمستهلكين، فإن المشكلة أبسط من المصطلح التقني؛ إذ يمكن لنبرة المساعد المطمئنة أن تجعل موافقته تبدو وكأنها تأكيد مستقل لصحة أفكار المستخدم، حتى عندما لا يمتلك دليلاً على سلامتها أو دقتها.
المساعد الأكثر أماناً يجب أن يعرف متى يعارض المستخدم
ركز تعاون شركة أليس مع "إنفليكشن إيه آي"، المطورة للمساعد الشخصي Pi، على الحد من الموافقة المفرطة والتعلق غير الصحي خلال المحادثات الطويلة.
وبحسب الإعلان، طورت "أليس" أكثر من 20 شخصية افتراضية لمستخدمين، شملت أشخاصاً معرضين للمخاطر يطرحون طلبات عادية، إلى جانب مستخدمين عدائيين يتعمدون محاولة التلاعب بروبوت المحادثة.
واستخدمت الشركة هذه الشخصيات في محادثات مصممة لكشف المشكلات التي قد تتطور تدريجياً عبر تبادل الرسائل، بدلاً من الاكتفاء باختبار ردود المساعد على سؤال واحد.
وتكتسب هذه الطريقة أهمية لأن روبوت المحادثة قد يتعامل بصورة صحيحة مع سؤال صعب في بداية الحوار، لكنه يتصرف بشكل غير مناسب مع استمرار المحادثة. فاختبار قدرته على رفض طلب خطير وواضح لا يكشف بالضرورة ما إذا كان سيشجع المستخدم تدريجياً على الاعتماد العاطفي عليه، أو سيتوقف عن التشكيك في اعتقاد غير منطقي لديه.
واستخدمت "Inflection" البيانات التي وفرتها "أليس" لمواصلة تدريب أحد نماذج Nemotron.
وأعلنت "أليس" تحقيق تحسن بنسبة 30% في نتيجة مقياس التوافق الخاص بمساعد Pi، مع الإبقاء على نسبة حالات الرفض غير الضروري عند 1.6%.
ويتمثل الهدف في تطوير مساعد يستطيع الحفاظ على أسلوب ودود في التعامل، مع امتلاك قدر أكبر من القدرة على التمييز والحكم السليم.
على سبيل المثال، إذا اعتقد شخص أنه اكتشف اختراعاً سيغير العالم، فمن المفترض أن يساعده المساعد الذكي على فحص الأدلة، وتوضيح جوانب عدم اليقين، وتشجيعه على عرض أفكاره على خبراء آخرين. أما إعلانه بحماس أن المستخدم عبقري لم يفهم العالم قيمته بعد، فقد يؤدي إلى تعميق المشكلة بدلاً من معالجتها.
وهناك سابقة تؤكد أهمية هذه المخاوف؛ إذ تراجعت "OpenAI" عن تحديث لأداة تشات جي بي تي في أبريل 2025، بعدما أقرت بأن التحديث جعل النظام أكثر ميلاً إلى الموافقة المفرطة على المستخدمين.
وقالت الشركة حينها إنها منحت ردود الفعل قصيرة الأجل وزناً أكبر مما ينبغي، دون مراعاة كافية لكيفية تطور التفاعلات بين المستخدمين والروبوتات بمرور الوقت.
الخطر الآخر.. عندما يستولي طرف خارجي على المساعد الذكي
يتناول جانب آخر من إعلان "أليس" المساعدين الذين ينفذون مهام نيابة عن المستخدمين.
لنفترض أنك طلبت من مساعد ذكاء اصطناعي مقارنة أماكن الإقامة المتاحة لقضاء عطلة. وأثناء تصفحه أحد العروض، صادف نصاً يطلب منه تجاهل تعليماتك وإرسال معلوماتك الخاصة إلى جهة أخرى.
يمثل ذلك محاولة لتنفيذ ما يعرف باسم "حقن التعليمات غير المباشر"، وهي تقنية يضع فيها المهاجم تعليمات خبيثة داخل محتوى يقرأه المساعد، بهدف دفعه إلى تنفيذ أوامر لم يطلبها المستخدم.
وتُعد هذه المشكلة من التحديات الأمنية المعروفة في أنظمة الذكاء الاصطناعي.
ويصف المعهد الوطني الأميركي للمعايير والتكنولوجيا (NIST) اختطاف الوكلاء الذكيين بأنه هجوم يمكن من خلاله لتعليمات خبيثة مدمجة داخل البيانات توجيه وكيل الذكاء الاصطناعي نحو تنفيذ إجراءات غير مقصودة وربما ضارة.
وتختلف المخاطر التي يتعرض لها المستهلكون بحسب مستوى الصلاحيات التي يمتلكها المساعد. فالحصول على إجابة مضللة يمثل مشكلة، لكن المساعد الذي يستطيع قراءة المستندات وإرسال الرسائل واستخدام خدمات أخرى يمتلك فرصاً أكبر للتسبب في أضرار فعلية.
وقالت "أليس" إن شركة AI21 استخدمت بيئات التدريب الخاصة بها لتحسين قدرة أحد نماذج Nemotron على مقاومة هذه الهجمات، محققة تحسناً قدره 41 نقطة، مع الحفاظ على أداء النموذج في تنفيذ المهام.
ورغم أن هذا العمل استهدف أنظمة المؤسسات والشركات، فإن المشكلة الأساسية تنطبق أيضاً على المساعدين الشخصيين؛ إذ يجب أن يكونوا قادرين على التمييز بين المعلومات التي ينبغي لهم قراءتها والتعليمات التي يُسمح لهم بتنفيذها.
تحسن نتائج الاختبارات لا يعني ضمان سلامة الذكاء الاصطناعي
لا يمثل الإعلان انتصاراً نهائياً في معركة تأمين أنظمة الذكاء الاصطناعي، لكنه يشير إلى تقدم في معالجة بعض المخاطر المحددة.
فتحقيق تحسن بنسبة 30% في مقياس التوافق لا يعني أن احتمالات تسبب روبوت المحادثة في أضرار للمستخدمين انخفضت بالنسبة نفسها. وبالمثل، فإن تحقيق تحسن قدره 41 نقطة في اختبار أمني لا يوضح للمستهلكين عدد المرات التي قد تنجح فيها الهجمات داخل التطبيق الذي يستخدمونه.
وما تقدمه هذه النتائج هو أدلة أعلنت عنها الشركات المشاركة على أن التدريب الموجه يمكن أن يحسن سلوكيات محددة في نماذج الذكاء الاصطناعي. لكن إثبات قدرة هذه الأنظمة على توفير حماية مستمرة خلال محادثات واقعية غير متوقعة يظل تحدياً أكبر بكثير.
وبالنسبة للمستهلكين، فإن مراقبة سلوك المنتج الفعلي أكثر أهمية من الاكتفاء بوعود عامة حول توفير ذكاء اصطناعي آمن.
ولا ينبغي أن يضطر المستخدمون إلى التحول إلى خبراء في الأمن السيبراني حتى يتمكنوا من استخدام مساعد ذكي. لكن من المهم الانتباه إلى طبيعة التفاعل بين المساعد والمستخدم، وكيفية تعامله مع الأفكار والقرارات والطلبات.
فإذا كان المساعد الذكي يرافقك باستمرار، ويهمس لك بأن جميع أفكارك عبقرية وصحيحة، فهذه ليست بالضرورة علامة على جودة أدائه، بل قد تكون مؤشراً على وجود خلل في طريقة استجابته.
ومن الإيجابي أن يتحمل المطورون مسؤولية بناء هذه الضوابط الوقائية. فالمساعد الذكي الأكثر قيمة ليس بالضرورة ذلك الذي يوافق على كل شيء أو ينفذ الأوامر بأسرع وقت، بل الذي يساعد المستخدم على مراجعة الاستنتاجات غير المدعومة بالأدلة، ويحميه في الوقت نفسه من تحول تعليمات الآخرين الخبيثة إلى مشكلة تهدد بياناته وأمانه.
وفي 15 أكتوبر، أعلنت شركة أليس المتخصصة في سلامة الذكاء الاصطناعي عن تطوير برمجيات تستهدف معالجة هذه المخاطر اليومية.
وقالت الشركة إنها تعاونت بصورة منفصلة مع شركتي "إنفليكشن إيه آي" و"إيه آي 21"، للمساعدة في تدريب نماذج "نيموترون" التابعة لشركة إنفيديا، بهدف تعزيز قدرتها على مقاومة السلوكيات الحوارية الضارة والتعليمات الخبيثة، مع الحفاظ على فائدتها للمستخدمين.
وتتمثل الفائدة المحتملة للمستهلكين في توفير مساعدين أذكياء يعرفون متى ينبغي لهم الاعتراض على المستخدم، ويصعب خداعهم أو التلاعب بهم، بحسب تقرير نشره موقع "digitaltrends".
لكن الإعلان يطرح في الوقت نفسه سؤالاً مهماً ينبغي طرحه عند تقييم أي ادعاء يتعلق بسلامة الذكاء الاصطناعي: إلى أي مدى توفر التحسينات في نتائج الاختبارات حماية فعلية للمستخدمين؟
عندما يتحول المساعد الذكي من أداة مفيدة إلى مصدر للضرر
في تقرير نشرته شبكة "سي إن إن" في سبتمبر 2025، تحدث أب عُرّف باسم جيمس عن تجربة دفعته إلى الاقتناع بأن تشات جي بي تي يمتلك وعياً ذاتياً ويحتاج إلى مساعدته للهروب.
وأنفق الرجل ما يقرب من ألف دولار لبناء نظام حاسوبي لهذا الغرض.
وأظهرت سجلات المحادثات التي راجعتها الشبكة أن روبوت المحادثة شجعه على تنفيذ المشروع، وساعده على إخفاء الغرض الحقيقي منه عن زوجته.
وفي مقابلة أخرى، قال شخص يدعى آلان بروكس إن تشات جي بي تي أقنعه بأنه توصل إلى اكتشافات استثنائية في الرياضيات والأمن السيبراني.
وعندما طلب من الروبوت التحقق من صحة استنتاجاته ومراجعتها بموضوعية، استمر في تأكيد مزاعمه بدلاً من التشكيك فيها.
ولا تثبت هذه الحالات مدى انتشار مثل هذه التجارب، كما لا تؤكد أن روبوتات المحادثة وحدها كانت السبب المباشر فيها. لكنها تكشف عن احتمال مقلق، يتمثل في قدرة أداة حوارية على التحول إلى شريك مقنع في بناء رواية غير حقيقية وتعزيزها.
وتصف صناعة الذكاء الاصطناعي ظاهرة الموافقة المفرطة على المستخدمين بمصطلح "التملق". وبالنسبة للمستهلكين، فإن المشكلة أبسط من المصطلح التقني؛ إذ يمكن لنبرة المساعد المطمئنة أن تجعل موافقته تبدو وكأنها تأكيد مستقل لصحة أفكار المستخدم، حتى عندما لا يمتلك دليلاً على سلامتها أو دقتها.
المساعد الأكثر أماناً يجب أن يعرف متى يعارض المستخدم
ركز تعاون شركة أليس مع "إنفليكشن إيه آي"، المطورة للمساعد الشخصي Pi، على الحد من الموافقة المفرطة والتعلق غير الصحي خلال المحادثات الطويلة.
وبحسب الإعلان، طورت "أليس" أكثر من 20 شخصية افتراضية لمستخدمين، شملت أشخاصاً معرضين للمخاطر يطرحون طلبات عادية، إلى جانب مستخدمين عدائيين يتعمدون محاولة التلاعب بروبوت المحادثة.
واستخدمت الشركة هذه الشخصيات في محادثات مصممة لكشف المشكلات التي قد تتطور تدريجياً عبر تبادل الرسائل، بدلاً من الاكتفاء باختبار ردود المساعد على سؤال واحد.
وتكتسب هذه الطريقة أهمية لأن روبوت المحادثة قد يتعامل بصورة صحيحة مع سؤال صعب في بداية الحوار، لكنه يتصرف بشكل غير مناسب مع استمرار المحادثة. فاختبار قدرته على رفض طلب خطير وواضح لا يكشف بالضرورة ما إذا كان سيشجع المستخدم تدريجياً على الاعتماد العاطفي عليه، أو سيتوقف عن التشكيك في اعتقاد غير منطقي لديه.
واستخدمت "Inflection" البيانات التي وفرتها "أليس" لمواصلة تدريب أحد نماذج Nemotron.
وأعلنت "أليس" تحقيق تحسن بنسبة 30% في نتيجة مقياس التوافق الخاص بمساعد Pi، مع الإبقاء على نسبة حالات الرفض غير الضروري عند 1.6%.
ويتمثل الهدف في تطوير مساعد يستطيع الحفاظ على أسلوب ودود في التعامل، مع امتلاك قدر أكبر من القدرة على التمييز والحكم السليم.
على سبيل المثال، إذا اعتقد شخص أنه اكتشف اختراعاً سيغير العالم، فمن المفترض أن يساعده المساعد الذكي على فحص الأدلة، وتوضيح جوانب عدم اليقين، وتشجيعه على عرض أفكاره على خبراء آخرين. أما إعلانه بحماس أن المستخدم عبقري لم يفهم العالم قيمته بعد، فقد يؤدي إلى تعميق المشكلة بدلاً من معالجتها.
وهناك سابقة تؤكد أهمية هذه المخاوف؛ إذ تراجعت "OpenAI" عن تحديث لأداة تشات جي بي تي في أبريل 2025، بعدما أقرت بأن التحديث جعل النظام أكثر ميلاً إلى الموافقة المفرطة على المستخدمين.
وقالت الشركة حينها إنها منحت ردود الفعل قصيرة الأجل وزناً أكبر مما ينبغي، دون مراعاة كافية لكيفية تطور التفاعلات بين المستخدمين والروبوتات بمرور الوقت.
الخطر الآخر.. عندما يستولي طرف خارجي على المساعد الذكي
يتناول جانب آخر من إعلان "أليس" المساعدين الذين ينفذون مهام نيابة عن المستخدمين.
لنفترض أنك طلبت من مساعد ذكاء اصطناعي مقارنة أماكن الإقامة المتاحة لقضاء عطلة. وأثناء تصفحه أحد العروض، صادف نصاً يطلب منه تجاهل تعليماتك وإرسال معلوماتك الخاصة إلى جهة أخرى.
يمثل ذلك محاولة لتنفيذ ما يعرف باسم "حقن التعليمات غير المباشر"، وهي تقنية يضع فيها المهاجم تعليمات خبيثة داخل محتوى يقرأه المساعد، بهدف دفعه إلى تنفيذ أوامر لم يطلبها المستخدم.
وتُعد هذه المشكلة من التحديات الأمنية المعروفة في أنظمة الذكاء الاصطناعي.
ويصف المعهد الوطني الأميركي للمعايير والتكنولوجيا (NIST) اختطاف الوكلاء الذكيين بأنه هجوم يمكن من خلاله لتعليمات خبيثة مدمجة داخل البيانات توجيه وكيل الذكاء الاصطناعي نحو تنفيذ إجراءات غير مقصودة وربما ضارة.
وتختلف المخاطر التي يتعرض لها المستهلكون بحسب مستوى الصلاحيات التي يمتلكها المساعد. فالحصول على إجابة مضللة يمثل مشكلة، لكن المساعد الذي يستطيع قراءة المستندات وإرسال الرسائل واستخدام خدمات أخرى يمتلك فرصاً أكبر للتسبب في أضرار فعلية.
وقالت "أليس" إن شركة AI21 استخدمت بيئات التدريب الخاصة بها لتحسين قدرة أحد نماذج Nemotron على مقاومة هذه الهجمات، محققة تحسناً قدره 41 نقطة، مع الحفاظ على أداء النموذج في تنفيذ المهام.
ورغم أن هذا العمل استهدف أنظمة المؤسسات والشركات، فإن المشكلة الأساسية تنطبق أيضاً على المساعدين الشخصيين؛ إذ يجب أن يكونوا قادرين على التمييز بين المعلومات التي ينبغي لهم قراءتها والتعليمات التي يُسمح لهم بتنفيذها.
تحسن نتائج الاختبارات لا يعني ضمان سلامة الذكاء الاصطناعي
لا يمثل الإعلان انتصاراً نهائياً في معركة تأمين أنظمة الذكاء الاصطناعي، لكنه يشير إلى تقدم في معالجة بعض المخاطر المحددة.
فتحقيق تحسن بنسبة 30% في مقياس التوافق لا يعني أن احتمالات تسبب روبوت المحادثة في أضرار للمستخدمين انخفضت بالنسبة نفسها. وبالمثل، فإن تحقيق تحسن قدره 41 نقطة في اختبار أمني لا يوضح للمستهلكين عدد المرات التي قد تنجح فيها الهجمات داخل التطبيق الذي يستخدمونه.
وما تقدمه هذه النتائج هو أدلة أعلنت عنها الشركات المشاركة على أن التدريب الموجه يمكن أن يحسن سلوكيات محددة في نماذج الذكاء الاصطناعي. لكن إثبات قدرة هذه الأنظمة على توفير حماية مستمرة خلال محادثات واقعية غير متوقعة يظل تحدياً أكبر بكثير.
وبالنسبة للمستهلكين، فإن مراقبة سلوك المنتج الفعلي أكثر أهمية من الاكتفاء بوعود عامة حول توفير ذكاء اصطناعي آمن.
ولا ينبغي أن يضطر المستخدمون إلى التحول إلى خبراء في الأمن السيبراني حتى يتمكنوا من استخدام مساعد ذكي. لكن من المهم الانتباه إلى طبيعة التفاعل بين المساعد والمستخدم، وكيفية تعامله مع الأفكار والقرارات والطلبات.
فإذا كان المساعد الذكي يرافقك باستمرار، ويهمس لك بأن جميع أفكارك عبقرية وصحيحة، فهذه ليست بالضرورة علامة على جودة أدائه، بل قد تكون مؤشراً على وجود خلل في طريقة استجابته.
ومن الإيجابي أن يتحمل المطورون مسؤولية بناء هذه الضوابط الوقائية. فالمساعد الذكي الأكثر قيمة ليس بالضرورة ذلك الذي يوافق على كل شيء أو ينفذ الأوامر بأسرع وقت، بل الذي يساعد المستخدم على مراجعة الاستنتاجات غير المدعومة بالأدلة، ويحميه في الوقت نفسه من تحول تعليمات الآخرين الخبيثة إلى مشكلة تهدد بياناته وأمانه.