طور باحثون في جامعة جورج واشنطن الأمريكية معادلة رياضية تتنبأ باللحظة التي تتحول فيها إجابات الذكاء الاصطناعي من استجابات طبيعية إلى محتوى غير موثوق أو ضار، في خطوة تستهدف تحسين سلامة الأنظمة الذكية والحد من أخطائها.
واعتمد الباحثون على تصور رياضي لعملية اختيار الإجابات داخل الشبكات العصبية، يشبه الحركة بين وديان متعددة، بعضها يقود إلى إجابات آمنة، وأخرى إلى مخرجات خطيرة. وتحدد المعادلة اقتراب النموذج من نقطة التحول بناءً على اتجاه انتباهه أثناء معالجة المعلومات.
واختبر الفريق المعادلة على سبعة نماذج ذكاء اصطناعي تابعة لثلاث شركات، ونجحت توقعاتها في مطابقة السلوك الفعلي في 18 حالة من أصل 19، وفق البحث المنشور على منصة arXiv للأبحاث الأولية.
وأوضح البروفيسور نيل جونسون أن زيادة الضغط على آليات الانتباه داخل النموذج قد ترتبط بظهور إجابات غير دقيقة أو ما يعرف بالهلوسة.
وأشار الباحثون إلى أن استخدام كلمات واضحة ومرتبطة بالسؤال قد يساعد على تقليل تشتيت النموذج، بينما لم يجدوا تأثيرًا للمجاملات اللفظية في جودة الإجابات ضمن الاختبارات التي أجروها.
واعتمد الباحثون على تصور رياضي لعملية اختيار الإجابات داخل الشبكات العصبية، يشبه الحركة بين وديان متعددة، بعضها يقود إلى إجابات آمنة، وأخرى إلى مخرجات خطيرة. وتحدد المعادلة اقتراب النموذج من نقطة التحول بناءً على اتجاه انتباهه أثناء معالجة المعلومات.
واختبر الفريق المعادلة على سبعة نماذج ذكاء اصطناعي تابعة لثلاث شركات، ونجحت توقعاتها في مطابقة السلوك الفعلي في 18 حالة من أصل 19، وفق البحث المنشور على منصة arXiv للأبحاث الأولية.
وأوضح البروفيسور نيل جونسون أن زيادة الضغط على آليات الانتباه داخل النموذج قد ترتبط بظهور إجابات غير دقيقة أو ما يعرف بالهلوسة.
وأشار الباحثون إلى أن استخدام كلمات واضحة ومرتبطة بالسؤال قد يساعد على تقليل تشتيت النموذج، بينما لم يجدوا تأثيرًا للمجاملات اللفظية في جودة الإجابات ضمن الاختبارات التي أجروها.