اكتشاف سبب محوري لـ"تحيّز" الشبكات العصبية في معالجة المعلومات
للعلّم - كشف باحثون من معهد "ماساتشوستس للتكنولوجيا" عن سبب رئيسي وراء "تحيّز الموضع" في الشبكات العصبية، وهو الميل الواضح لدى النماذج اللغوية الكبيرة مثل ChatGPT وDeepSeek إلى التركيز على المعلومات الواردة في بداية ونهاية النص، مقابل إهمال محتواه الوسيط.
وتُعد هذه الظاهرة تحديًا للمستخدمين الذين يبحثون عن معلومات دقيقة أو كلمات مفتاحية داخل مستندات طويلة، حيث أوضح الفريق العلمي بقيادة الباحث شين يي وو أن السبب يعود إلى طبيعة عمل هذه النماذج التي تقرأ النصوص بشكل مجزأ، وتُعطي وزناً أكبر للكلمات التي تبدو أكثر أهمية في فهم المعنى العام.
لكن ما يعزز هذا التحيّز هو بعض السمات التقنية للنماذج، مثل اعتمادها على الترتيب التسلسلي للكلمات، إذ لا يمكنها رؤية سوى الكلمات السابقة أثناء التحليل، مما يجعل المقدمات تبدو أكثر أهمية بطبيعتها.
وتظهر هذه المشكلة بوضوح في ما يُعرف بـ"تأثير الشكل U"، حيث تكون دقة التحليل أعلى في بداية ونهاية النص، لكنها تنخفض في منتصفه. فمثلًا، في وثيقة مكوّنة من 30 صفحة، تبلغ احتمالية العثور على المعلومة المطلوبة في الأطراف نحو 85%، بينما لا تتجاوز 60% في الجزء الأوسط.
وعلى الرغم من وجود تقنيات مثل "التلميحات الموضعية" التي تحاول تعزيز فهم السياق الكامل للنص، إلا أن فعاليتها لا تزال محدودة، خاصة في النماذج الكبيرة والمعقدة مثل GPT-4، التي تتكون من عشرات الطبقات المعالجة (96 طبقة في هذه الحالة).
وتُعد هذه الظاهرة تحديًا للمستخدمين الذين يبحثون عن معلومات دقيقة أو كلمات مفتاحية داخل مستندات طويلة، حيث أوضح الفريق العلمي بقيادة الباحث شين يي وو أن السبب يعود إلى طبيعة عمل هذه النماذج التي تقرأ النصوص بشكل مجزأ، وتُعطي وزناً أكبر للكلمات التي تبدو أكثر أهمية في فهم المعنى العام.
لكن ما يعزز هذا التحيّز هو بعض السمات التقنية للنماذج، مثل اعتمادها على الترتيب التسلسلي للكلمات، إذ لا يمكنها رؤية سوى الكلمات السابقة أثناء التحليل، مما يجعل المقدمات تبدو أكثر أهمية بطبيعتها.
وتظهر هذه المشكلة بوضوح في ما يُعرف بـ"تأثير الشكل U"، حيث تكون دقة التحليل أعلى في بداية ونهاية النص، لكنها تنخفض في منتصفه. فمثلًا، في وثيقة مكوّنة من 30 صفحة، تبلغ احتمالية العثور على المعلومة المطلوبة في الأطراف نحو 85%، بينما لا تتجاوز 60% في الجزء الأوسط.
وعلى الرغم من وجود تقنيات مثل "التلميحات الموضعية" التي تحاول تعزيز فهم السياق الكامل للنص، إلا أن فعاليتها لا تزال محدودة، خاصة في النماذج الكبيرة والمعقدة مثل GPT-4، التي تتكون من عشرات الطبقات المعالجة (96 طبقة في هذه الحالة).