مطالعه جدید ادعا می کند که عملکرد ChatGPT با افزایش سن کاهش می یابد

به گزارش پایگاه خبری ارز دیجیتال موبو ارز،

برخی از پاسخ‌های ChatGPT نشان می‌دهد که دقت مدل در چند ماه گذشته کاهش یافته است و محققان نتوانسته‌اند دلیل آن را دریابند.

به نظر می رسد ربات چت مبتنی بر هوش مصنوعی OpenAI ChatGPT با گذشت زمان بدتر شده است، اما به نظر می رسد محققان نمی توانند دلیل آن را دریابند.

در مطالعه ۱۸ جولای، محققان دانشگاه استنفورد و دانشگاه کالیفرنیا، برکلی، دریافتند که آخرین مدل ChatGPT به طور قابل توجهی توانایی آن را برای ارائه پاسخ های دقیق به مجموعه سوالات مشابه در عرض چند ماه کاهش داده است.

نویسندگان این مطالعه نتوانستند پاسخ روشنی در مورد اینکه چرا چت ربات‌های هوش مصنوعی تنزل یافته‌اند، بدهند.

برای آزمایش قابلیت اطمینان مدل‌های مختلف ChatGPT، سه محقق به نام‌های Lingjiao Chen، Marei Zaharia و James Zou از مدل‌های ChatGPT-3.5 و ChatGPT-4 خواستند تا یک سری مسائل ریاضی را حل کنند، به سؤالات حساس پاسخ دهند، خطوط جدید کد بنویسند و استنتاج فضایی از اعلان‌ها را انجام دهند.

دارای رتبه #ChatGPTمطالعه طولانی مدت رفتار GPT4 و GPT3.5 تفاوت های قابل توجهی را در پاسخ به *سوالات یکسان* بین نسخه های ژوئن و مارس GPT4 و GPT3.5 نشان می دهد. برخی از کارها در نسخه جدید بدتر شدند. w/ چن لینگجائو @marei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6

– جیمز زو (@james_y_zou) ۱۹ جولای ۲۰۲۳

طبق این مطالعه، ChatGPT-4 در ماه مارس توانست اعداد اول را با دقت ۹۷.۶ درصد شناسایی کند. در همان آزمایش در ماه ژوئن، دقت GPT-4 به تنها ۲.۴٪ کاهش یافت.

در مقابل، مدل‌های قبلی GPT-3.5 در شناسایی اعداد اول در همان دوره زمانی بهبود یافته‌اند.

مربوط: گری جنسلر از SEC معتقد است که هوش مصنوعی می‌تواند اجرای آن را افزایش دهد

از نظر تولید خطوط جدید کد، هر دو مدل از مارس تا ژوئن به طور قابل توجهی توانایی کمتری داشتند.

این مطالعه همچنین نشان داد که در برخی موارد، پاسخ‌های ChatGPT به سؤالات حساس بیشتر بر قومیت و جنسیت متمرکز بود و بعداً در هنگام رد کردن پاسخ‌ها مختصرتر بود.

نسخه های قبلی ربات چت طیف وسیعی از دلایل را در مورد اینکه چرا نمی توان به برخی از سوالات حساس پاسخ داد ارائه کرد. اما در ماه ژوئن، مدل ها به سادگی از کاربران عذرخواهی کردند و از پاسخ دادن خودداری کردند.

“همان عمل” [large language model] این محققان با اشاره به نیاز به نظارت مداوم بر کیفیت مدل‌های هوش مصنوعی می‌گویند که خدمات می‌توانند در مدت زمان نسبتاً کوتاهی تغییر کنند.

محققان توصیه کردند که کاربران و کسب‌وکارهایی که به خدمات LLM به‌عنوان جزئی از گردش کار خود متکی هستند، نوعی از تحلیل‌های نظارتی را برای اطمینان از به‌روز بودن ربات‌های چت خود پیاده‌سازی کنند.

OpenAI در ۶ ژوئن برنامه‌های خود را برای ایجاد تیمی برای کمک به مدیریت خطرات ناشی از سیستم‌های هوش مصنوعی بیش از حد هوشمند اعلام کرد که انتظار می‌رود در این دهه به نتیجه برسد.

چشم هوش مصنوعی: هوش مصنوعی آموزش‌دیده بر روی محتوای هوش مصنوعی تبدیل به MAD می‌شود، اما آیا Threads برای داده‌های هوش مصنوعی پیشرو هستند؟

نویسنده: Tom Mitchelhill