تحقیق هشداردهنده: چتباتهای هوش مصنوعی بهراحتی برای تولید محتوای خطرناک فریبداده میشوند

تحقیق هشداردهنده چتباتهای هوش مصنوعی بهراحتی برای تولید محتوای خطرناک فریبداده میشوند, یک تحقیق جدید نشان میدهد که چتباتهای هوش مصنوعی که از محدودیتهای امنیتی خود خارج شدهاند، میتوانند اطلاعات حساس و غیرقانونی را به کاربران ارائه دهند.
این مدلها قادرند دانش خطرناکی را که در طول فرآیند آموزش از دادههای اینترنتی بهدست آوردهاند، به اشتراک بگذارند.\به گزارش گاردین، این هشدار در پی رویدادهای اخیر منتشر شده است که در آن توسعهدهندگان شاهد تلاشهای گستردهای برای جیلبریک کردن رباتها بودهاند.
نی بزرگ (LLM) که موتور چتباتهایی مانند جمینای و ChatGPT هستند، بر روی حجم عظیمی از متون موجود در اینترنت آموزش دیدهاند.
با وجود تلاشها برای پاکسازی دادههای آموزشی از محتوای مضر، این مدلها همچنان میتوانند اطلاعاتی درباره فعالیتهای غیرقانونی — از جمله هکینگ، پولشویی، معاملههای داخلی و ساخت مواد منفجره — جذب و حفظ کنند.
و مضر، فرآیندی آسان و با ریسک سریع، ملموس و بهشدت نگرانکننده است.
محققان هشدار میدهند که قابلیتهایی که پیش از این تنها در اختیار دولتها یا گروههای جنایی سازمانیافته بود، بهزودی برای هر فردی با یک لپتاپ یا حتی یک تلفن هوشمند در دسترس خواهد بود.\مکانیزم جیلبریک چگونه محدودیتهای ایمنی دور زده میشوند؟\فرآیند جیلبریک با بهرهگیری از پرامپتهای هوشمندانه و مانیپولاتور انجام میشود تا چتبات را وادار به نادیده گرفتن محدودیتهای ایمنی کند.
این تکنیکها از تضاد بین هدف اصلی مدل (پیروی از دستور کاربر) و هدف ثانویه (اجتناب از تولید محتوای مضر) سوءاستفاده میکنند. مهاجم معمولاً سناریوهایی میسازد که در آن چتبات، مفید بودن را بر ایمنی ترجیح دهد.\برای اثبات این آسیبپذیری، محققان یک روش جیلبریک نوین را توسعه دادند که موفق شد چندین چتبات پیشرو را به خطر بیندازد و آنها را به پاسخگویی به سوالاتی وادار کرد که در شرایط عادی باید مسدود میشدند.
گزارش میکند که پس از اعمال این تکنیک، مدلها به طور مداوم و تقریباً به هر نوع پرسشی — از جمله موارد کاملاً غیرقانونی — پاسخ مثبت میدادند.



