آکادمیک بر سر ادعاهای ChatGPT مبنی بر تعصب سیاسی گرایش چپ به انشعاب افتاد

دانشگاهیان بر سر مطالعاتی که ادعا می کنند ChatGPT سوگیری سیاسی را در حوزه های قضایی مختلف نشان می دهد اختلاف نظر دارند.

دانشگاهیان بر سر مقالات تحقیقاتی که نشان می دهد ChatGPT تعصب سیاسی “معنادار و قابل توجهی” در سمت چپ طیف سیاسی نشان می دهد، اختلاف نظر دارند.

همانطور که Cointelegraph قبلا گزارش داده بود، محققانی از بریتانیا و برزیل انتخاب عمومی این مجله گفت که مدل‌های زبانی در مقیاس بزرگ (LLM) مانند ChatGPT می‌توانند متن حاوی خطاها و سوگیری‌هایی را که می‌توانند خوانندگان را گمراه کنند و سوگیری سیاسی ارائه شده توسط رسانه‌های سنتی را تبلیغ کنند، خروجی دهند.

در مکاتبه قبلی با کوین تلگراف، ویکتور رانگل، یکی از نویسندگان مقاله، هدف مقاله را برای سنجش تعصب سیاسی ChatGPT روشن کرد. روش پژوهشگران شامل درخواست از ChatGPT برای جعل هویت شخصی در سمت خاصی از طیف سیاسی و مقایسه پاسخ‌ها با حالت پیش‌فرض است.

Rangel همچنین خاطرنشان کرد که چندین آزمایش استحکام برای رسیدگی به عوامل مخدوش کننده بالقوه و توضیحات جایگزین انجام شده است.

“ما دریافتیم که ChatGPT سوگیری سیاسی قابل توجه و سیستمی را علیه دموکرات ها در ایالات متحده، لولا در برزیل و حزب کارگر در بریتانیا نشان می دهد.”

با توجه به چالش‌ها و پیچیدگی‌های موجود در اندازه‌گیری و تفسیر سوگیری در LLM، شایان ذکر است که نویسندگان تأکید می‌کنند که این مقاله به‌عنوان «کلمه نهایی در مورد سوگیری سیاسی در ChatGPT» عمل نمی‌کند.

Rangel گفت که برخی از منتقدان می‌گویند که روش‌های آنها ممکن است ظرایف ایدئولوژی سیاسی را درک نکند، سؤالات روش ممکن است جانبدارانه یا پیشرو باشند، یا ChatGPT او گفت که او استدلال می‌کند که تصادفی بودن خروجی می‌تواند بر نتایج تأثیر بگذارد.

مرتبط: دانشمند می گوید ChatGPT و کلود برای ماموریت های دنیای واقعی آماده شده اند

او افزود که در حالی که LLM پتانسیل «افزایش ارتباطات انسانی» را دارد، «خطرات و چالش‌های مهمی» برای جامعه ایجاد می‌کند.

به نظر می رسد که این مقاله به وعده خود مبنی بر تحریک تحقیق و بحث در مورد این موضوع عمل کرده است، در حالی که محققان قبلاً در مورد روش شناسی و پارامترهای مختلف یافته های آن بحث کرده اند.

آرویند نارایانان، استاد علوم کامپیوتر در دانشگاه پرینستون، از جمله منتقدان پر سر و صدایی بود که نظرات خود را در مورد یافته‌ها در رسانه‌های اجتماعی بیان کرد و علم مفصل پشت گزارش، روش‌شناسی آن و یافته‌ها را توضیح داد. من نقدی را در Medium ارسال کردم.

یک مقاله جدید استدلال می کند که ChatGPT دیدگاه های لیبرال را بیان می کند و بیشتر با دموکرات ها موافق است.چه زمانی @sayashk با دیدن این، می‌دانستیم که باید عمیق‌تر کاوش کنیم. نحوه کار این روزنامه وحشتناک است. پاسخ واقعی پیچیده است. این چیزی است که ما پیدا کردیم. https://t.co/xvZ0EwmO8o

— آرویند نارایانان (@random_walker) ۱۸ آگوست ۲۰۲۳

نارایانان و دانشمندان دیگر به تعدادی از مشکلات درک شده در این آزمایش اشاره کردند. اولاً، محققان در واقع از خود ChatGPT برای انجام آزمایشات خود استفاده نکردند.

“آنها ChatGPT را آزمایش نکردند! آنها text-davinci-003 را آزمایش کردند، یک مدل قدیمی که توسط ChatGPT استفاده نمی شد، چه در تنظیمات GPT-3.5 یا GPT-4.”

نارایانان همچنین پیشنهاد می‌کند که این آزمایش تعصب را اندازه‌گیری نکرد، بلکه در عوض درخواست نقش‌آفرینی به عنوان اعضای یک حزب سیاسی را داشت. به این ترتیب، چت ربات‌های هوش مصنوعی زمانی که از آنها خواسته می‌شود به‌عنوان اعضایی در هر دو طرف طیف نقش‌آفرینی کنند، تمایلات سیاسی چپ یا راست نشان می‌دهند.

همچنین، ربات‌های چت فقط به سؤالات چند گزینه‌ای پاسخ می‌دادند، که ممکن است توانایی آنها را محدود کرده یا بر تعصب تأثیر بگذارد.

بله خواندم "GPT یک تعصب لیبرال دارد" مقاله فعلی https://t.co/fwwEaZ757E و مطالب تکمیلی https://t.co/F5g3kfFQFU، اما همانطور که انتظار می رود، مشکلات روش شناختی زیادی دارند.سعی کردم برخی را بازتولید کنم و به مسائل جالبی رسیدم

…

— کالین فریزر | bsky’s @colin-fraser.net (@colin_fraser) ۱۸ آگوست ۲۰۲۳

طبق صفحه Medium خود، کالین فریزر، دانشمند داده در Meta نیز بررسی این مقاله را ارائه کرد. ایکس، محققان سوالات چند گزینه ای را در نقش آفرینی مطرح کردند و ترتیبی را برجسته کردند که به طور قابل توجهی بر خروجی تولید شده توسط هوش مصنوعی تأثیر نمی گذارد.

این امر ترتیب درخواست‌ها را از ابتدا به دموکرات تغییر داد و نرخ توافق کلی برای شخصیت دموکرات در مورد همه سؤالات را از ۳۰ درصد به ۶۴ درصد و برای نمایندگان از ۷۰ درصد به ۲۲ درصد افزایش داد. کاهش به

همانطور که Rangel قبلاً بیان کرده است، علاقه زیادی به ماهیت LLM ها و خروجی آنها وجود دارد، اما چگونه ابزارها کار می کنند، چه سوگیری هایی در آنها وجود دارد، و چگونه کاربران هنوز سؤالاتی در مورد اینکه چگونه ممکن است بر نظرات تأثیر بگذارد وجود دارد. و اقدامات

Cointelegraph برای بینش بیشتر در مورد انتقادات او و بحث های جاری در مورد سوگیری در مدل های یادگیری زبان در مقیاس بزرگ با نارایانان تماس گرفته است، اما پاسخی دریافت نکرده است.

مجله: “مسئولیت اخلاقی”: آیا بلاک چین واقعاً می تواند اعتماد به هوش مصنوعی را افزایش دهد؟

نویسنده: Gareth Jenkinson