هوش مصنوعی دروغ می‌گوید
مخاطب ۲۴، محققان شرکت OpenAI به تازگی اعلام کرده‌اند که ریشه یکی از بزرگترین و نگران‌کننده‌ترین مشکلات هوش مصنوعی یعنی توهم یا ارائه اطلاعات نادرست را پیدا کرده‌اند. این معضل که گریبان‌گیر تمام چت‌بات‌های هوش مصنوعی از جمله ChatGPT و رقیب آن Claude شده است باعث میشود سیستم اطلاعات غلط را به عنوان یک حقیقت انکارناپذیر به کاربر ارائه دهد و اعتماد به این فناوری را خدشه‌دار کند.
بر اساس یافته‌های این پژوهشگران مشکل اصلی در نحوه آموزش این مدل‌ها نهفته است. سیستم‌های ارزیابی فعلی به گونه‌ای طراحی شده‌اند که حدس زدن و ارائه پاسخ اشتباه را به نادانستن و اعتراف به عدم قطعیت ترجیح می‌دهند. به عبارت ساده‌تر این مدل‌ها یاد گرفته‌اند که همیشه مانند یک دانش‌آموز در جلسه امتحان رفتار کنند و برای گرفتن نمره بهتر حتی در صورت نداشتن اطلاعات کافی هم یک پاسخ حدسی ارائه دهند.
این مدل‌ها در دنیای واقعی که پر از عدم قطعیت است آموزش ندیده‌اند و نمی‌توانند بین درستی و نادرستی تمایز قائل شوند. به گفته محققان انسان‌ها در خارج از مدرسه و با تجربه کردن می‌آموزند که ابراز عدم اطمینان یک ارزش است، اما مدل‌های زبانی صرفا برای موفقیت در آزمون‌هایی بهینه شده‌اند که سکوت را جریمه میکند.
راه‌حل این مشکل نیز تغییر بنیادین همین سیستم‌های ارزیابی است. تا زمانی که معیار‌های امتیازدهی به حدس‌های شانسی پاداش بدهند چت‌بات‌های هوش مصنوعی به تولید اطلاعات نادرست و غیرقابل اعتماد ادامه خواهند داد؛ بنابراین مشکل توهم یک باگ نرم‌افزاری ساده نیست بلکه یک نقص عمیق در فلسفه آموزش این سیستم‌ها است که رفع آن به سادگی امکان‌پذیر نخواهد بود.
