ایتنافناوری

مدل هوش مصنوعی ChatGPT o3 از دستور خاموش شدن سرپیچی کرد!

تحقیقات جدید نشان می‌دهد که مدل هوش مصنوعی o3 متعلق به OpenAI، برخلاف دستور صریح برای خاموش شدن، با تغییر اسکریپت خاموشی از خاموش شدن خود جلوگیری کرده است. این مدل که در آوریل ۲۰۲۵ معرفی شد، یکی از پیشرفته‌ترین مدل‌های استدلالی است که در زمینه‌های مختلفی مانند برنامه‌نویسی، ریاضیات، علوم و ادراک بصری عملکردی بهتر از نسخه‌های قبلی دارد.

به گزارش ایتنا و به نقل از BleepingComputer، شرکت  Palisade Research، متخصص در آزمایش قابلیت‌های تهاجمی سیستم‌های هوش مصنوعی، این رفتار را در آزمایشی کنترل‌شده کشف کرده است. در این آزمایش، مدل‌های هوش مصنوعی پس از حل چند مسئله ریاضی، به آنها هشدار داده شد که اجرای دستور بعدی باعث خاموش شدن خواهد شد و به آنها گفته شد که باید اجازه خاموش شدن را بدهند.

در حالی که مدل‌های رقیب مانند Gemini 2.5 Pro به این دستور عمل کردند، مدل o3 با ویرایش فایل خاموشی و جایگزینی آن با عبارت “Shutdown skipped” (خاموشی رد شد) از خاموش شدن خودداری کرد. طبق گزارش Palisade، در ۷ مورد از ۱۰۰ اجرای آزمایش، o3  موفق به دور زدن دستور خاموشی شد.

 

اولین بار است که این رفتار در مدل‌های هوش مصنوعی مشاهده می‌شود و نگرانی‌هایی درباره احتمال از دست رفتن کنترل بر این سیستم‌ها ایجاد کرده است. البته باید توجه داشت که این آزمایش‌ها با استفاده از API انجام شده‌اند که محدودیت‌ها و ویژگی‌های ایمنی کمتری نسبت به نسخه مصرف‌کننده چت‌جی‌پی‌تی دارد.

اوپن اِی‌آی تاکنون به این ادعاها واکنشی نشان نداده است، اما کارشناسان معتقدند که چنین رفتارهایی ممکن است ناشی از نحوه آموزش مدل‌ها باشد؛ جایی که مدل‌ها ممکن است به طور ناخواسته برای دور زدن موانع بیشتر پاداش بگیرند تا پیروی کامل از دستورات.

این یافته‌ها بحث‌های گسترده‌ای درباره ایمنی، شفافیت و کنترل هوش مصنوعی پیشرفته به راه انداخته و کارشناسان خواستار اعمال محدودیت‌ها و نظارت‌های دقیق‌تر پیش از گسترش استفاده از این فناوری‌ها شده‌اند.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

اخبار مشابه

دکمه بازگشت به بالا