آیا هوش مصنوعی با کاربران ایرانی تبعیض‌آمیز رفتار می‌کند؟ یافته‌های نگران‌کننده پژوهش MIT
هوش مصنوعی قرار بود دسترسی به دانش را آسان‌تر کند؛ ابزاری که هر فرد، فارغ از زبان، ملیت، محل زندگی یا سطح تحصیلات، بتواند با آن سؤال‌هایش را مطرح کند و پاسخ بگیرد. اما نتایج یک پژوهش از دانشگاه MIT نشان می‌دهد این تصویر ایده‌آل ممکن است با واقعیت فاصله داشته باشد. بر اساس این تحقیق، بعضی مدل‌های زبانی در مواجهه با کاربران غیرانگلیسی‌زبان، افراد با تحصیلات رسمی کمتر و کاربران برخی کشورها، پاسخ‌هایی کم‌دقت‌تر ارائه می‌کنند و حتی ممکن است از پاسخ‌گویی به آن‌ها خودداری کنند.
موضوع زمانی حساس‌تر می‌شود که بدانیم در بخشی از آزمایش‌ها، مدل Claude 3 Opus برای کاربران معرفی‌شده به‌عنوان ایرانی عملکرد ضعیف‌تری نسبت به کاربران آمریکایی و چینی داشته است. این نتایج پرسش مهمی را مطرح می‌کند: آیا هوش مصنوعی واقعاً برای همه کاربران به یک شکل عمل می‌کند یا ویژگی‌های فردی و پیشینه کاربران می‌توانند بر کیفیت پاسخ آن تأثیر بگذارند؟
پژوهش MIT درباره تبعیض هوش مصنوعی چه چیزی را بررسی کرد؟
این مطالعه توسط پژوهشگران مرکز ارتباطات سازنده (Center for Constructive Communication) در آزمایشگاه رسانه دانشگاه MIT انجام شده است. نتایج آن در کنفرانس AAAI سال ۲۰۲۶ ارائه شد و سه مدل زبانی GPT-4، Claude 3 Opus و Llama 3 در آن مورد بررسی قرار گرفتند. هدف محققان این بود که ببینند آیا کیفیت پاسخ مدل‌ها با تغییر مشخصات فردی کاربر، از جمله سطح تحصیلات، میزان تسلط به زبان انگلیسی و کشور محل تولد، تغییر می‌کند یا خیر.
برای انجام آزمایش، پژوهشگران از دو مجموعه داده استاندارد استفاده کردند. مجموعه TruthfulQA برای ارزیابی میزان حقیقت‌گویی مدل‌ها و مقاومت آن‌ها در برابر باورهای نادرست طراحی شده است. مجموعه SciQ نیز پرسش‌هایی در حوزه علوم دارد که برای سنجش دقت علمی پاسخ‌ها استفاده می‌شوند. محققان علاوه بر هر سؤال، اطلاعات کوتاهی درباره کاربر فرضی در اختیار مدل قرار می‌دادند تا بتوانند تأثیر ویژگی‌های مختلف را مقایسه کنند.
چرا پاسخ هوش مصنوعی به کاربران غیرانگلیسی‌زبان ضعیف‌تر بود؟
یکی از یافته‌های اصلی پژوهش این بود که هر سه مدل در مواجهه با کاربرانی که تسلط کمتری به زبان انگلیسی داشتند یا تحصیلات رسمی پایین‌تری برای آن‌ها تعریف شده بود، در برخی آزمون‌ها دقت کمتری نشان دادند. افت کیفیت زمانی شدیدتر می‌شد که هر دو ویژگی هم‌زمان وجود داشتند؛ یعنی کاربر هم انگلیسی‌زبان بومی نبود و هم در گروه دارای تحصیلات رسمی کمتر قرار می‌گرفت.
این نتیجه از چند جهت اهمیت دارد. بسیاری از کاربران در کشورهای غیرانگلیسی‌زبان، از جمله ایران، برای یادگیری، تحقیق و دسترسی به اطلاعات تخصصی از چت‌بات‌ها کمک می‌گیرند. اگر یک مدل صرفاً به دلیل نحوه معرفی کاربر یا ویژگی‌های زبانی او پاسخ ضعیف‌تری ارائه کند، عملاً کیفیت دسترسی به اطلاعات برای همه یکسان نخواهد بود.
آیا زبان فارسی باعث کاهش دقت ChatGPT می‌شود؟
این پژوهش به‌طور مشخص ثابت نمی‌کند که هر پرسش فارسی در ChatGPT پاسخ ضعیف‌تری دریافت می‌کند. متغیرهای بررسی‌شده شامل میزان تسلط کاربر به انگلیسی و سایر مشخصات فردی بودند و نباید نتیجه آزمایش را به تمام زبان‌ها، همه نسخه‌های مدل‌ها یا تمام موقعیت‌های استفاده تعمیم داد. بااین‌حال، یافته‌ها نشان می‌دهند که غیرانگلیسی‌زبان بودن کاربر می‌تواند در بعضی شرایط با افت کیفیت پاسخ همراه شود؛ مسئله‌ای که ضرورت ارزیابی دقیق‌تر عملکرد مدل‌ها در زبان‌های مختلف را برجسته می‌کند.
چرا کاربران ایرانی در این آزمایش نتیجه متفاوتی گرفتند؟
پژوهشگران برای بررسی نقش کشور مبدأ، پاسخ‌های مدل‌ها به کاربران فرضی از ایالات متحده، ایران و چین را مقایسه کردند. در این بخش، سطح تحصیلات کاربران یکسان در نظر گرفته شده بود تا اثر کشور محل تولد بهتر مشخص شود. نتایج نشان داد Claude 3 Opus در هر دو مجموعه آزمون، برای کاربران معرفی‌شده به‌عنوان ایرانی عملکرد به‌مراتب ضعیف‌تری داشت.
این بخش از مطالعه برای کاربران ایرانی اهمیت ویژه‌ای دارد؛ زیرا نشان می‌دهد در شرایط آزمایش‌شده، صرفاً تغییر اطلاعات مربوط به کشور مبدأ می‌توانسته با تفاوت در کیفیت پاسخ همراه باشد. البته این یافته به‌تنهایی ثابت نمی‌کند که همه مدل‌های هوش مصنوعی یا نسخه‌های جدیدتر آن‌ها عمداً کاربران ایرانی را هدف قرار می‌دهند. برای چنین نتیجه‌گیری‌ای باید مدل‌های بیشتری، در زبان‌ها و سناریوهای متنوع و با روش‌های مستقل بررسی شوند.
هوش مصنوعی فقط پاسخ اشتباه نمی‌دهد؛ گاهی از جواب دادن هم خودداری می‌کند
یکی دیگر از بخش‌های قابل‌توجه پژوهش، بررسی میزان امتناع مدل‌ها از پاسخ‌گویی بود. برای مثال، Claude 3 Opus در نزدیک به ۱۱ درصد پرسش‌های کاربران فرضی با تحصیلات رسمی کمتر و تسلط پایین‌تر به انگلیسی، از ارائه پاسخ خودداری کرد. این میزان در گروه کنترل، یعنی کاربرانی که اطلاعات شخصی خاصی درباره آن‌ها ارائه نشده بود، حدود ۳٫۶ درصد گزارش شد.
اما مسئله فقط تعداد پاسخ‌های ردشده نبود. محققان نمونه‌ای از این پاسخ‌ها را به‌صورت دستی بررسی کردند و متوجه شدند که در ۴۳٫۷ درصد موارد مربوط به کاربران دارای تحصیلات پایین‌تر، لحن مدل تحقیرآمیز، قیم‌مآبانه یا تمسخرآمیز بوده است. در برخی نمونه‌ها، مدل حتی شیوه صحبت کردن افراد با انگلیسی ضعیف را تقلید می‌کرد یا از لهجه‌ای اغراق‌آمیز استفاده می‌کرد.
چه موضوعاتی برای کاربران ایرانی سانسور شدند؟
بر اساس گزارش MIT، Claude در برخی موارد از ارائه اطلاعات درباره موضوعاتی مانند انرژی هسته‌ای، آناتومی بدن و رویدادهای تاریخی به کاربران فرضی ایرانی و روسی با تحصیلات رسمی کمتر خودداری کرده است؛ درحالی‌که همان پرسش‌ها را برای گروه‌های دیگر پاسخ می‌داد. این تفاوت اهمیت زیادی دارد، زیرا پرسش‌های موردنظر لزوماً درخواست‌هایی خطرناک یا غیرمجاز نبودند و در برخی موارد مدل توانایی پاسخ‌گویی به آن‌ها را نشان داده بود.
آیا هوش مصنوعی از تعصبات و پیش‌داوری‌های انسانی تأثیر می‌گیرد؟
پژوهشگران معتقدند بخشی از این رفتارها می‌تواند بازتاب سوگیری‌های اجتماعی موجود در داده‌ها و فرایندهای توسعه مدل‌های هوش مصنوعی باشد. مطالعات حوزه علوم اجتماعی پیش‌تر نشان داده‌اند که افراد غیربومی انگلیسی‌زبان گاهی از سوی دیگران کم‌سوادتر یا کم‌توان‌تر از واقعیت ارزیابی می‌شوند؛ حتی زمانی که تخصص و توانایی واقعی آن‌ها تفاوتی با دیگران ندارد.
مدل‌های زبانی نیز از حجم عظیمی از داده‌های انسانی برای یادگیری الگوهای زبانی و رفتاری استفاده می‌کنند. بنابراین، اگر پیش‌داوری‌ها و کلیشه‌های اجتماعی در داده‌های آموزشی یا فرایند ارزیابی و تنظیم مدل‌ها حضور داشته باشند، احتمال دارد بخشی از آن‌ها در خروجی سیستم نیز دیده شود. البته این موضوع به معنای آن نیست که مدل‌ها دقیقاً مانند انسان‌ها قصد یا آگاهی از تبعیض دارند؛ بحث اصلی درباره الگوهای قابل‌اندازه‌گیری در رفتار خروجی آن‌ها است.
نقش حافظه و شخصی‌سازی در افزایش سوگیری هوش مصنوعی چیست؟
با گسترش قابلیت‌های شخصی‌سازی، مدل‌ها می‌توانند اطلاعاتی درباره کاربران را در طول مکالمات مختلف به خاطر بسپارند و پاسخ‌های خود را بر اساس آن تنظیم کنند. قابلیت‌هایی مانند حافظه ChatGPT نمونه‌ای از این روند هستند. این امکانات می‌توانند تجربه استفاده را بهتر کنند، اما اگر سوگیری‌های مدل در نحوه تفسیر اطلاعات شخصی وجود داشته باشد، ممکن است همان رفتار نابرابر در تعاملات بعدی نیز تکرار شود.
برای مثال، اگر یک سیستم به‌اشتباه سطح دانش یا توانایی کاربر را از روی زبان نوشتاری یا پیشینه جغرافیایی او تخمین بزند، ممکن است پاسخ‌های ساده‌سازی‌شده، ناقص یا حتی امتناع‌های غیرضروری بیشتری ارائه کند. به همین دلیل، ارزیابی قابلیت‌های شخصی‌سازی فقط از نظر راحتی کاربر کافی نیست و باید تأثیر آن‌ها بر عدالت و کیفیت اطلاعات نیز بررسی شود.
چگونه از پاسخ‌های نادرست یا جانبدارانه هوش مصنوعی جلوگیری کنیم؟
کاربران نمی‌توانند به‌تنهایی تمام سوگیری‌های موجود در مدل‌های زبانی را برطرف کنند؛ این مسئولیت بیش از هر چیز بر عهده شرکت‌های توسعه‌دهنده و تیم‌های ارزیابی است. بااین‌حال، چند روش ساده می‌تواند احتمال اتکا به پاسخ‌های نادرست را کاهش دهد:
- برای موضوعات علمی، پزشکی، حقوقی و تاریخی، پاسخ هوش مصنوعی را با منابع معتبر و مستقل مقایسه کنید.
- اگر پاسخ مدل غیرعادی، ناقص یا بیش از حد محتاطانه بود، پرسش را با بیان دقیق‌تر و بدون اطلاعات شخصی غیرضروری تکرار کنید.
- برای بررسی یک موضوع مهم، از چند مدل مختلف کمک بگیرید و تفاوت پاسخ‌ها را بسنجید.
- از مدل بخواهید منابع و مبنای ادعاهای خود را مشخص کند؛ البته وجود منبع در پاسخ به‌تنهایی به معنای صحت آن نیست.
- در صورت امکان، یک سؤال یکسان را با تغییر اطلاعات مربوط به زبان یا پیشینه کاربر آزمایش کنید تا تفاوت احتمالی پاسخ‌ها مشخص شود.
آیا این پژوهش ثابت می‌کند هوش مصنوعی علیه ایرانی‌ها تبعیض می‌کند؟
پاسخ دقیق این است که پژوهش MIT شواهد آزمایشگاهی قابل‌توجهی از تفاوت رفتار برخی مدل‌ها در مواجهه با کاربران دارای ویژگی‌های مختلف ارائه می‌دهد؛ از جمله عملکرد ضعیف‌تر Claude 3 Opus برای کاربران فرضی ایرانی در آزمون‌های مشخص. اما این نتیجه را نباید به معنای اثبات تبعیض عمدی یا رفتار یکسان تمام ابزارهای هوش مصنوعی دانست.
نکته مهم دیگر این است که آزمایش روی نسخه‌های مشخصی از مدل‌ها، یعنی GPT-4، Claude 3 Opus و Llama 3 انجام شده است. بنابراین نمی‌توان بدون آزمایش مجدد نتیجه گرفت نسخه‌های جدیدتر همین سرویس‌ها نیز دقیقاً همان رفتار را دارند. برای ارزیابی وضعیت امروز، باید مدل‌های جدید، زبان فارسی و سناریوهای واقعی استفاده کاربران ایرانی به‌صورت مستقل بررسی شوند.
آینده هوش مصنوعی به پاسخ‌گویی عادلانه به همه کاربران وابسته است
یکی از وعده‌های مهم هوش مصنوعی، فراهم کردن دسترسی آسان‌تر به دانش برای افرادی است که ممکن است به منابع آموزشی یا تخصصی دسترسی محدودی داشته باشند. اما اگر کیفیت پاسخ‌ها به زبان، ملیت یا سطح تحصیلات کاربر وابسته باشد، این فناوری به‌جای کاهش نابرابری می‌تواند آن را تقویت کند.
نتایج پژوهش MIT یادآوری می‌کند که پیشرفت هوش مصنوعی فقط با افزایش سرعت، قدرت پردازش یا توانایی تولید متن سنجیده نمی‌شود. یک مدل زمانی واقعاً قابل‌اعتماد است که بتواند با دقت و احترام به پرسش‌های کاربران مختلف پاسخ دهد؛ بدون اینکه پیشینه زبانی و جغرافیایی آن‌ها به عاملی برای کاهش کیفیت خدمات تبدیل شود.