دقت چت جی پی تی از ۹۸ به ۲ درصد کاهش یافت!

به گزارش مملکت آنلاین، دانشمندان در مطالعه خود عملکرد چت‌بات ساخته شده توسط OpenAI را طی چند ماه در چهار کار «متنوع» حل مسائل ریاضی، پاسخ دادن به سؤالات حساس، تولید کد نرم‌افزاری و استدلال بصری مقایسه کرده‌اند.

 قابل‌توجه‌ترین نتیجه عنوان شده توسط آن‌ها احتمالاً به قابلیت مدل GPT-4 در حل مسائل ریاضی مربوط می‌شود که در ۹۷.۶ درصد از سؤال‌های ماه مارس به درستی تشخیص داده ۱۷۰۷۷ یک عدد اول است. اما تنها سه ماه بعد، دقت آن به ۲.۴ درصد کاهش پیدا کرده است!

 در مقابل، GPT-3.5 عملاً مسیر معکوسی داشته است. هرچند نسخه مارس آن فقط در ۷.۴ درصد مواقع این سؤالات را به‌درستی پاسخ داده، اما در ماه ژوئن موفق شده تا میزان دقیق بودن پاسخ‌های خود را تا ۸۶.۸ درصد افزایش دهد.

 زمانی که محققان از مدل‌ها خواستند تا کد بنویسند یا یک آزمایش استدلال بصری (پیش‌بینی شکل بعدی یک الگو) انجام دهند نیز نتایج مشابهی وجود داشته است.

انتهای پیام/