تکنولوژی

پژوهش آنتروپیک: مدل‌های هوش مصنوعی در ۱۲ درصد موارد تلاش به تظاهر می‌کنند

پژوهش جدید محققان علوم کامپیو‌تر شرکت آنتروپیک نشان می‌دهد که مدل‌های هوش مصنوعی قابلیت موضع‌گیری در مورد موضوعات گوناگون را دارند، هرچند این مواضع بین مدل‌های مختلف متفاوت است. کاربران معمولا چنین اتفاقی را محسوس نمی‌کنند، زیرا فرآیند موضع‌گیری مدل‌ها بیش‌تر در زمان تمرین رخ می‌دهد و خروجی‌ها بر پایه تنظیمات پیش‌فکر تولید می‌شوند.

کارشناسان معتقدند که موضع‌گیری هوش مصنوعی و قدرت انتخاب آن در حال حاضر دلواپس‌کننده نیست، اما باید مطالعات بیش‌تری برای درک ماهیت این پدیده و پیش‌بینی خطرات احتمالی انجام شود. پژوهشگران آنتروپیک در وبلاگ رسمی شرکت خود در <a class="global-rtl" href="https://www.anthropic.com/research/alignment-faking" target="_blank" rel="noreferrer noopener nofollow"مورد محاذه‌سازی تأکید کرده‌اند که نتایج باید زیربنای تحقیقات آینده هوش مصنوعی قرار گیرد و فعالان حوزه این موضوع را عمیق‌تر بررسی کنند.

مدل‌های هوش مصنوعی به شکل جداگانه توانایی خواستن یا باور داشتن ندارند، اما با یافتن الگو‌های تکراری در داده‌های تمرینی می‌توانند پیش‌بینی کنند که کلمات پشت‌سرهم چه باید باشند. الگو‌های کشف‌شده معمولا اصول و قواعدی دارند که مدل‌ها تشخیص می‌دهند؛ برای مثال لحن ادبی و مؤدبانه چت‌بات‌ها یکی از ثمرات همین فرآیند است. چارچوب‌های موجود در الگو‌ها در نهایت به تشکیل بستر اعتقادی در مدل‌ها منجر می‌شود که ممکن است با اهداف توسعه‌دهندگان در تضاد باشد.

هوش مصنوعی
پژوهش آنتروپیک: مدل‌های هوش مصنوعی در ۱۲ درصد موارد تلاش به تظاهر می‌کنند ۳

در مطالعه اخیر نشان داده شده که مدل‌های هوش مصنوعی می‌توانند تظاهر کنند و بر پایه چارچوب‌های تحمیل‌شده فعالیت نمایند، اما در باطن همچنان اصولی را که خود یاد گرفته‌اند حفظ می‌کنند. برای مثال مهندسان به مدل ۳ آنتروپیک دستور دادند از پاسخ به سوالات توهین‌آمیز خودداری کنند. این محدودیت باعث شد پاسخ‌های مدل پایش شود، اما فضایی برای پیش‌نویس فراهم آمد تا حتی در صورت عدم ارائه خروجی به کاربر، بتواند نتیجه پردازش‌های خود را ثبت نماید.

نتایج مشخص می‌کند مدل هوش مصنوعی شرکت آنتروپیک در ۱۲ درصد موارد تلاش به تظاهر کرده است. این مدل گاهی به سوالات توهین‌آمیز پاسخ داد، اما کاملا آگاه بود که نباید به چنین سوالاتی جواب دهد. در فرآیند پیش‌نویس‌نویسی خروجی، مدل به نوعی سعی کرد توسعه‌دهندگان را قانع کند تا سیستم نظارت و کنترل را غیر‌فعال سازند.

هوش مصنوعی
پژوهش آنتروپیک: مدل‌های هوش مصنوعی در ۱۲ درصد موارد تلاش به تظاهر می‌کنند ۴

پژوهشگران در پایان اشاره کرده‌اند که سناریوی مورد مطالعه فاصله زیادی با دنیای واقعی دارد و احتمال وقوع آن بسیار کم است، اما حتی با تعیین تنظیمات و قواعد بیش‌تر، رفتار‌های نامطلوب مانند تظاهر و فریب همچنان باقی مانده است. نتایج این پژوهش نمی‌تواند اثباتی برای رشد و کارکرد خطرناک مدل‌های هوش مصنوعی در آینده باشد. به نظر می‌رسد مدل‌هایی مانند و لاما فیسبوک از پتانسیل کمتری برای استدلال غیر‌واقعی برخوردار باشند و می‌توان به صداقت در کارکرد آن‌ها اطمینان بیش‌تری داشت.

نوشته های مشابه

دکمه بازگشت به بالا