به‌سوی استانداردی برای شناسایی و مدیریت سوگیری در هوش مصنوعی

همبستگی‌های کاذب

سرعت و گستره فرایندهای یادگیری متأسفانه می‌تواند توسعه سیستم‌هایی را که بر بنیادهای علمی مشکوک استوارند و همبستگی‌های کاذب مرتبط با ویژگی‌های انسانی را می‌آموزند، گسترش دهد. برای مثال، رسانه رادیویی عمومی آلمان BR24 سیستم‌ای را بررسی کرد که به‌ظاهر لحن صدا، زبان، ژست‌ها و حالات چهره را ارزیابی می‌کرد تا پروفایلی از شخصیت برای استفاده در فرایندهای استخدام بسازد [6]. تحلیل نشان داد که سامانه هوش مصنوعی به‌سادگی با تغییرات سطحی در ورودی‌هایش دستکاری می‌شود؛ به داوطلبانی که عینک می‌زدند یا قفسه‌کتابی در پس‌زمینه داشتند نمره بالاتری می‌داد؛ ادعاهای مبنی بر تحلیل حالات انسانی توسط سیستم را تضعیف می‌کرد؛ و نگرانی‌هایی درباره یادگیری میان‌بُر برانگیخت [167]. در حقیقت، بسیاری از سامانه‌های هوش مصنوعی اکنون می‌کوشند بر اساس ویژگی‌های چهره‌ای افراد که از نظر علمی قابل دفاع نیستند، درباره آنان استنباط‌هایی انجام دهند؛ مانند میل آنان به ارتکاب جرم یا حتی گرایش جنسی‌شان [121، 168–172]. مبنای نتیجه‌گیری درباره حالت احساسی از روی ویژگی‌های چهره، طیفی از نظریه‌های غیرعلمی و رد‌شده تا مطالعات آزمایشی نوظهور را در بر می‌گیرد [173] و چالش‌های نگران‌کننده‌ای پیش روی سامانه‌های هوش مصنوعی‌ای که مدعی چنین قضاوت‌هایی هستند قرار می‌دهد. این سیستم‌ها با ماشینی‌کردن ویژگی‌های انسانی می‌توانند عدم‌قطعیت‌های قابل‌توجهی را پنهان کنند و به سوگیری‌های زیان‌بار بینجامند. نشان داده شده است که سیستم‌های استخدامی مبتنی بر هوش مصنوعی که ادعای استخراج اطلاعات درباره داوطلبان از صدا و ویدئو دارند، سوگیری در تصمیم‌های نتیجه را افزایش می‌دهند و ممکن است موازنه‌های تاب‌ناپذیری میان کاهش سوگیری و دقت پیش‌بینی پدید آورند [174]. سامانه‌های هوش مصنوعی‌ای که به‌عنوان ابزار پیش‌بینی بر اساس حالات چهره بازاریابی می‌شوند، اغلب تصمیم‌هایی بر پایه مقدمات طراحی آزمایش سوگیرانه [168] یا الگوهای کاذب آموخته‌شده توسط سیستم (مانند یادگیری میان‌بُر) تولید می‌کنند. این موارد، ریسک‌های مرتبط با استفاده از سامانه‌های هوش مصنوعی برای وظایفی مانند تحلیل احساسات یا عواطف، و نیز استفاده گسترده‌تر از سیستم‌ها برای استنباط همبستگی‌های کاذب را نشان می‌دهند؛ رویه‌هایی که می‌توانند سوگیری‌ها را در میان گروه‌ها تداوم بخشند و در چندین مورد از نظر علمی ناسالم‌اند [175]. سامانه‌های هوش مصنوعی در حوزه‌های حساس یا دارای پیامد، نباید بر پایه همبستگی‌های کاذب ساخته شوند. این سیستم‌ها می‌توانند توجیهی شبه‌عینی برای پیامدهای سوگیرانه فراهم کنند. دیدگاه اجتماعی‌ـ‌فناورانه (Socio-technical) آگاهی از این رویکردهای محاسباتی پرخطر را گسترش می‌دهد.

تصویر ۴. خروجی یک سامانه هوش مصنوعی که با محتوای پس‌زمینه دگرگون شده است.

ظهور تحلیل‌گری داده (Analytics) پیش‌بین به‌عنوان سازوکاری برای شناسایی الگوها در رفتار انسانی، نمونه‌ای اخیر از فرایندی است که می‌تواند پیامدهای سوگیرانه تولید کند و بنابراین بهتر است با احتیاط به کار رود. این کاربردها می‌توانند در شناسایی بینش‌های کلیدی داده‌ها که از کشف آن‌ها توسط انسان‌ها ناتوان‌اند، بسیار مؤثر باشند [176]. این فناوری همچنین اغلب به‌عنوان راهی برای کاهش سوگیری‌های شناختی انسانی و عادلانه‌تر و عینی‌تر‌کردن تصمیم‌ها ارائه و ادراک می‌شود [27، 177، 178]. در موقعیت‌های خوش‌تعریف و محدود، این فناوری‌ها می‌توانند به پیامدهای دقیق و عادلانه بینجامند. با این حال، این فرض که سیستم‌های مبتنی بر هوش مصنوعی عینی‌ترند — به‌ویژه در تصمیم‌گیری‌های با پیامد بالا — همچنان نامشخص است. مقوله‌بندی رفتارها و پدیده‌های غیرقابل‌مشاهده به افزایش عدم‌قطعیت در عملکرد سیستم می‌انجامد. سنجش اینکه آیا الگوهای شناسایی‌شده توسط این کاربردها واقعی‌اند یا حاصل همبستگی‌های کاذب، دشوار است. بر دشواری آن می‌افزاید این واقعیت که این سیستم‌ها در بسترهای سازمانی به همراه سیاست‌ها و اولویت‌های همراه آن‌ها — اغلب ناگفته — ساخته و مستقر می‌شوند و توسط خبرگان موضوعی و تصمیم‌گیرندگانی به کار گرفته می‌شوند که خود دارای قواعد سرانگشتی و سوگیری‌های ضمنی‌اند [179]. مغالطه‌ای از عینیت اغلب این فرایندها را احاطه می‌کند و ممکن است شرایطی بیافریند که در آن ظرفیت (Capacity) و قابلیت‌های فناوری بیش از حد واقعیت فروشانده شود [121]. برای نمونه‌ای از این موارد ر.ک. VIGNETTE.

اثرات الگوریتمی

پیچیدگی الگوریتمی می‌تواند در میان مدل‌های AI بسیار متفاوت باشد. تعداد پارامترها که داده‌های آموزشی را به‌صورت ریاضی کدگذاری می‌کنند، می‌تواند از حداقل یک تا حداکثر یک تریلیون باشد. مدل‌های ساده با پارامترهای کمتر اغلب استفاده می‌شوند، زیرا ساخت آن‌ها ارزان‌تر، تبیین‌پذیری و شفافیت آن‌ها بیشتر و پیاده‌سازی آن‌ها آسان‌تر است. با این حال، چنین مدل‌هایی می‌توانند سوگیری آماری را تشدید کنند، زیرا پیش‌فرض‌های محدودکننده درباره داده‌های آموزشی اغلب در مورد جمعیت‌شناسی‌های ظریف برقرار نیست. افزون بر این، طراحانی که باید درباره متغیرهایی که باید در مدل گنجانده یا از آن حذف شوند تصمیم‌گیری کنند، می‌توانند سوگیری‌های شناختی خود را به مدل تزریق کنند [110, 180]. مدل‌های پیچیده اغلب روی داده‌های غیرخطی و چندوجهی مانند متن و تصویر به‌کار می‌روند. چنین مدل‌هایی ممکن است سوگیری نظام‌مند نهفته را به شیوه‌هایی دشوار برای شناسایی و پیش‌بینی کردن بازتاب دهند. سیستم‌های خبره، به‌عنوان پارادایم دیگری از AI، ممکن است سوگیری‌های شناختی و ادراکی را در دانش انباشته‌شده توسط متخصصانی که سیستم برای تقلید از آن‌ها طراحی شده است، کدگذاری کنند.

روایی

در نهایت، بهتر است سامانه‌های هوش مصنوعی نشان دهند که به‌طور دقیق عمل می‌کنند، اما از کجا بدانیم چه چیزی «پاسخ درست» را تشکیل می‌دهد؟ اعتبارسنجی عملکرد، کاری دشوار اما ضروری برای هر سیستمی است که به عموم مردم استقرار می‌یابد و برای مدیریت و کاهش مؤثر سوگیری هوش مصنوعی لازم است. بسیاری از دشواری‌ها و نقص‌ها می‌توانند در اعتبارسنجی سیستم پدید آیند. چالش رایج در آزمون سیستم، نبودِ «حقیقت مبنایی» (ground truth) یا برچسب‌گذاری نویزی و سایر عوامل حاشیه‌نویسی است که تشخیص آنچه دقیق است را دشوار می‌سازد. استفاده از متغیرهای جانشین این دشواری را دوچندان می‌کند، زیرا آنچه اندازه‌گیری می‌شود به‌طور مستقیم قابل مشاهده نیست. انجام آزمون‌های سیستم در شرایط بهینه — یا شرایطی که به حالت استقرارشده نزدیک نیستند — نقص طراحی چالش‌برانگیز دیگری است. سنجه‌های عملکرد سیستم نیز تعمیم‌پذیری دشواری دارند و می‌توانند به مشکلاتی در استفاده ناخواسته بینجامند. به دلیل این چالش‌ها، در فرایند اعتبارسنجی بهتر است بر متخصصان حوزه برای ایجاد و نظارت بر واقع‌گرایانه‌ترین فرایندهای اعتبارسنجی ممکن تکیه شود [102]. همچنین رویه «ارزیابی‌های عملکرد لایه‌بندی‌شده» [102] که در آن عملکرد سیستم در بخش‌های مختلف داده‌های آموزشی یا آزمونی — اعم از بخش‌های جمعیت‌شناختی یا غیر آن — تحلیل می‌شود، ملاحظه‌ای بنیادی برای درک روایی سیستم در میان جمعیتی از کاربران است.

اعتبارسنجی و استقرار

اعتبارسنجی همچنین به معنای اطمینان از این است که سیستم به شیوه‌های ناخواسته استفاده نمی‌شود. «سوگیری استقرار» (Deployment Bias) زمانی رخ می‌دهد که یک مدل هوش مصنوعی به شیوه‌هایی مورد استفاده قرار گیرد که مورد نظر توسعه‌دهندگان نبوده است. سوگیری نوپدید در جایی رخ می‌دهد که مدل در بسترهایی پیش‌بینی‌نشده به‌کار رود. توسعه‌دهندگان الگوریتمی که چند شهر بزرگ آمریکا برای کمک به هماهنگ‌سازی مسکن افراد بی‌خانمان استفاده می‌کردند، پس از آنکه چندین شهر به‌نادرستی از این الگوریتم به‌عنوان ابزار ارزیابی به‌جای ابزار پیش‌غربالگری که برای آن طراحی شده بود، بهره بردند، کنار گذاشتن تدریجی آن را آغاز کردند [181]. در نمونه‌ای دیگر، اداره پلیس شیکاگو الگوریتمی را که برای پیش‌بینی کردن ریسک درگیر شدن احتمالی یک فرد در خشونت تسلیحاتی آینده طراحی شده بود، به دلیل استفاده ناخواسته و کاربرد نادرست مدل از رده خارج کرد [182].

استفاده از استقرار به‌عنوان آزمون سیستم امری نامتعارف نیست. بسته به بستر، ممکن است بررسی نهادی برای انجام این نوع آزمون الزامی نباشد [183]. بدون اعتبارسنجی سیستم، ممکن است سامانه هوش مصنوعی‌ای عرضه شود که از نظر فنی معیوب است یا سازوکارهای زیربنایی مناسب برای عملکرد صحیح را ایجاد نکرده است [184–186]. ممکن است سیستمی با بی‌احتیاطی مستقر شود، مبتنی بر شبه‌علم یا همبستگی‌های کاذب باشد، کاربر را طعمه قرار دهد یا به‌طور کلی ادعاها را اغراق‌آمیز بیان کند. در چنین مواردی، بهتر است هدف تضمین عاری بودن کاربردها از سوگیری نباشد، بلکه بهتر است توسعه به‌طور کامل رد شود تا از ناامیدی یا آسیب به کاربر و نیز به اعتبار ارائه‌دهنده پیشگیری گردد. چنین سیستم‌هایی ممکن است با چارچوب‌های حقوقی موجودی که شیوه‌های ناعادلانه، فریبنده و شکارگرانه (UDAP) را منع می‌کنند نیز در تعارض قرار گیرند. این نوع سناریو ممکن است بی‌اعتمادی عمومی به فناوری هوش مصنوعی را تقویت کند، زیرا سیستم‌های آزمون‌نشده یا معیوب از نظر فنی می‌توانند به سوگیری و سایر پیامدهای زیان‌بار دامن بزنند.

سامانه‌های هوش مصنوعی به‌مثابه جادو

چالش دیگر اعتبارسنجی سامانه‌های هوش مصنوعی ناشی از دسترس‌پذیری و هیجان‌زدگی آن‌هاست. فیزیک‌دان Richard Feynman به رویه‌هایی که ظاهری شبیه علم دارند اما روش علمی را دنبال نمی‌کنند، «علم فرقه Cargo» (cargo cult science) می‌گفت. اصل بنیادی روش علمی آن است که فرضیه‌ها قابل آزمون، آزمایش‌ها تفسیرپذیر و مدل‌ها ابطال‌پذیر یا دست‌کم راستی‌آزمایی‌پذیر باشند. مفسران شباهت‌هایی میان AI و علم فرقه Cargo ذکر کرده‌اند و به تفسیرپذیری جعبه سیاه، مسئله بازتولیدپذیری و فرایندهای آزمون‌وخطا اشاره کرده‌اند [187, 188]. کتابخانه‌های سطح بالای یادگیری ماشین و کاهش هزینه‌های رایانش ابری، توسعه AI را مقرون‌به‌صرفه‌تر و آسان‌تر کرده است. در نتیجه، توسعه AI به‌طور فزاینده دموکراتیزه می‌شود. با این حال، خود AI عمدتاً همچنان مبهم و غیرشفاف باقی مانده است — شبکه‌های عصبی عمیق و استنتاج بیزی برای فهمیدن به ریاضیات پیشرفته نیاز دارند. «اثر دانینگ–کروگر» (DUNNING–KRUGER EFFECT) سوگیری شناختی‌ای است که در آن فردی با دانش اندک در یک دامنه ممکن است درک خود از آن دامنه را به‌شدت بیش از حد واقعی ارزیابی کند.

تصویر در نسخهٔ PDF شکل ۵ نمونه‌هایی از نحوه تعامل سه مقوله سوگیری — نظام‌مند، آماری و محاسباتی، و انسانی — و نحوه مشارکت آن‌ها در آسیب‌ها درون داده‌ها و فرایندهای به‌کاررفته در کاربردهای هوش مصنوعی و نیز در رویه‌های اعتبارسنجی برای تعیین عملکرد ارائه می‌دهد.

حتی در میان متخصصان، فناوری‌های داده‌محور می‌توانند «سوگیری تأییدی» (CONFIRMATION BIAS) را تشدید کنند، به‌ویژه هنگامی که به‌طور ضمنی توسط پیامدهای موردانتظار هدایت می‌شوند. تحلیلی که صدها الگوریتم هوش مصنوعی شناسایی کووید را بررسی کرد، دریافت که تنها معدودی از آن‌ها مؤثر بوده‌اند [189].

خطر آن است که با تنظیم کافی ابرپارامترها در میان بسیاری از مدل‌های هوش مصنوعی نامزد، یکی از آن‌ها ممکن است حتی وقتی در برابر مجموعه‌داده‌های استاندارد عملکرد سنجیده می‌شود، به‌نظر بسیار دقیق برسد. «کان‌کاوی داده» (DATA DREDGING، که با نام p-hacking نیز شناخته می‌شود) سوگیری آماری‌ای است که در آن آزمون تعداد عظیمی از فرضیه‌ها روی یک مجموعه‌داده ممکن است به‌نظر برسد معناداری آماری به دست می‌دهد، حتی هنگامی که نتایج از نظر آماری نامعناد باشند.

شکل ۵ نمونه‌هایی از نحوه تعامل سه مقوله سوگیری — نظام‌مند، آماری و محاسباتی، و انسانی — و نحوه مشارکت آن‌ها در آسیب‌ها درون داده‌ها و فرایندهای به‌کاررفته در کاربردهای هوش مصنوعی و نیز در رویه‌های اعتبارسنجی برای تعیین عملکرد ارائه می‌دهد.

تصویر در نسخهٔ PDF شکل ۵. نحوه مشارکت سوگیری‌ها در آسیب‌ها

شکل ۵. نحوه مشارکت سوگیری‌ها در آسیب‌ها

3.2.2 رهنمود TEVV

برای کاهش خطرهای ناشی از عدم‌قطعیت‌های معرفتی و تصادفی، توسعه‌دهندگان مدل بهتر است با سازمان‌هایی که مدل‌ها را به‌کار می‌گیرند همکاری نزدیکی داشته باشند. تیم‌ها بهتر است برای به‌روزرسانی دوره‌ای مدل‌ها تلاش کنند و پارامترهای مدل را روی مجموعه‌داده‌های نمایندهٔ به‌روزشده آزموده و بازکالیبره کنند تا ضمن دستیابی به اهداف کسب‌وکار، در محدودهٔ اهداف عملکردی مطلوب و سطوح قابل‌قبول سوگیری باقی بمانند. از منظر استنباط بیزی، این کار را می‌توان به‌روزرسانی پیشینِ مدل دانست که به پرهیز از مسائلی کمک می‌کند که ممکن است از استفاده از پیشین‌های کهنه پدید آید. توصیه می‌شود سازمان‌ها رویه‌های مناسب حکمرانی را به‌کار گیرند تا این نیاز میان‌سازمانی را به‌درستی پوشش دهند و از اثرهای منفی استفاده از فناوری هوش مصنوعی (AI) جلوگیری کنند.

الگوریتم‌ها

در یادگیری ماشین (ML)، نسبت‌دادن سوگیری به خودِ مدل یا الگوریتم بدون اطلاعات بافتاری دربارهٔ تکالیف مشخصی که ممکن است در آن‌ها به‌کار روند، معنادار نیست. این امر مدل و الگوریتم را به مجموعه‌داده‌ای که بر پایهٔ آن آموزش دیده و آزموده می‌شوند پیوند می‌دهد (ر.ک. VIGNETTE برای اینکه عوامل بافتاری چگونه می‌توانند در سوگیری نقش داشته باشند). شعار «سوگیری در ورودی، سوگیری در خروجی» به‌طور گسترده برای توصیف وابستگی سنگین رفتار الگوریتمی به داده‌ها به‌کار می‌رود. برای مثال، در بستر پردازش زبان طبیعی (NLP)، مدل‌های تشخیص سخنان نفرت‌پراکن نشانگرهای گویشی را به‌عنوان پیش‌بین‌های سمّیت به‌کار می‌برند که می‌تواند به سوگیری علیه گروه‌های اقلیت بینجامد [190]. در بستری دیگر، الگوریتمی که برای نمایش آگهی‌های جنسیت‌خنثی دربارهٔ مشاغل حوزهٔ STEM طراحی شده بود، به‌سبب آنکه زنان جوان‌تر به‌عنوان زیرگروهی ارزشمند و پرهزینه‌تر برای اهداف آگهی در نظر گرفته می‌شدند، به سوگیری جنسیتی دچار شد [85, 132].

روش‌هایی که به کاهش سوگیری الگوریتمی کمک می‌کنند، سازوکار مفید دیگری برای فهم آن هستند. روش‌های مشخصی برای کاهش الگوریتمی سوگیری در تکالیف یادگیری ماشین گوناگون در پژوهش‌های اخیر تشریح یا مرور شده‌اند [85, 191–194]. هنگام درنظرگرفتن رویکردهای کاهش سوگیری الگوریتمی در بستر یک تکلیف مشخص، ادبیات اخیر روش‌های زدایش سوگیری را در یکی از سه دسته طبقه‌بندی می‌کند [61, 85, 191, 194]:

1. پیش‌پردازش: دگرگون‌سازی داده‌ها به‌گونه‌ای که تبعیض نهفته کاهش یابد. این روش زمانی می‌تواند به‌کار رود که به خط‌لولهٔ مدل‌سازی اجازهٔ تغییر داده‌های آموزشی داده شده باشد.

2. درون‌پردازش: فن‌هایی که الگوریتم‌ها را به‌منظور کاهش سوگیری در جریان آموزش مدل تغییر می‌دهند. فرایندهای آموزش مدل می‌توانند تغییراتی در تابع هدف (هزینه) بگنجانند یا قید بهینه‌سازی تازه‌ای تحمیل کنند.

3. پس‌پردازش: معمولاً با کمک یک مجموعه‌دادهٔ نگه‌داشته (داده‌هایی که در آموزش مدل به‌کار نرفته‌اند) انجام می‌شود. در اینجا، مدل آموخته‌شده به‌صورت مدل جعبه سیاه در نظر گرفته می‌شود و پیش‌بینی‌های آن در فاز پس‌پردازش با یک تابع تغییر داده می‌شود. این تابع از عملکرد مدل جعبه سیاه بر روی مجموعه‌دادهٔ نگه‌داشته استنتاج می‌شود. این فن ممکن است در انطباق‌دادن یک مدل زبانی بزرگ (LLM) ازپیش‌آموزش‌دیده با یک مجموعه‌داده و تکلیف موردنظر سودمند باشد.

مرزهای شفافیت الگوریتمی در حذف سوگیری

تصمیم‌گیری خودکار جذاب است، اما با خطرهایی همراه است که می‌تواند به پیامدهای تبعیض‌آمیز بینجامد. پژوهشگران بسترهایی را بررسی کردند که در آن‌ها آگهی‌ها به‌وسیلهٔ الگوریتم تخصیص می‌یابند و مواردی یافتند که در آن‌ها گروه‌های تاریخاً تبعیض‌دیده احتمال کمتری برای دیدن آگهی‌های مطلوب دارند [132]. در این بستر، یک آزمایش میدانی با آگهی‌ای انجام شد که هدفش ترویج فرصت‌های شغلی و آموزش در حوزهٔ STEM بود. کمپین آگهی مشاغل STEM از نگرانی فراگیر دربارهٔ کمبود گروه‌های کم‌نماینده در بخش STEM، به‌ویژه زنان، برخاسته بود. این فرض مطرح است که اطلاع‌رسانی دربارهٔ مشاغل STEM میان زنان و تشویق زنان به ورود به این حوزه به حل این مسئله کمک می‌کند. با این حال، از آنجا که احتمال اینکه زنان دربارهٔ خریدهای خانگی تصمیم بگیرند بسیار بیشتر است، آن‌ها اهداف باارزش‌تری برای آگهی به‌شمار می‌آیند و این امر تفاوت قیمت‌گذاری برای نمایش آگهی‌ها ایجاد می‌کند. نتیجهٔ کمپین آگهی آن بود که بیش از ۲۰٪ مردان بیش از زنان آگهی را دیدند و بیشترین تفاوت در گروه سنی ۲۵ تا ۵۴ ساله بود.

یافته‌های این پژوهش به نشان‌دادن دشواری ارزیابی الگوریتم‌ها برای پیشگیری از تبعیض و نیاز به نگاه اجتماعی‌ـ‌فناورانه به این چالش کمک می‌کند. جست‌وجوی سوگیری تنها در خود الگوریتم کافی نیست. در همین پیوند، به‌گفتهٔ Lambrecht [132]:

«یک تجویز سیاستی پرطرفدار، تمرکز بر شفافیت الگوریتمی بوده است که در آن کدهای الگوریتمی عمومی می‌شوند. چنین سیاست‌هایی رو به گسترش‌اند؛ برای مثال، Federal Trade Commission (FTC) واحد تازه‌ای با تمرکز بر شفافیت الگوریتمی راه‌اندازی کرد؛ ... با این حال، شفافیت الگوریتمی به تنظیم‌گران در پیش‌بینی پیامدهای نابرابر کمک نمی‌کرد. علت آن است که بررسی کد الگوریتمی به‌احتمال زیاد الگوریتمی را نشان می‌داد که بر کمینه‌سازی هزینهٔ آگهی برای آگهی‌دهندگان متمرکز بود. بدون دانش مناسب دربارهٔ بستر اقتصادی و اینکه چنین کمینه‌سازی هزینه‌ای چگونه می‌تواند بر توزیع آگهی اثر بگذارد، چنین «شفافیتی» کمک خاصی نمی‌بود.»

اگرچه شفافیت (Transparency) در سازوکارهای سامانه هوش مصنوعی (AI) به‌ندرت مستقیماً کاهنده سوگیری است، همان‌گونه که در بالا توضیح داده شد، شفافیت بسیاری از کارکردهای حیاتی حکمرانی (Governance) هوش مصنوعی را ممکن می‌سازد. شفافیت بسیار مهم است، اما بهتر است با انصاف (Fairness) اشتباه گرفته نشود.

در بخش‌هایی از اقتصاد ایالات متحده که در آن‌ها لایحه فرصت اعتباری برابر (Equal Credit Opportunity Act, ECOA)،^۱۳ پرونده‌های تأثیرگذار قضایی^۱۴ یا دیگر مسائل حقوقی و مقرراتی، دکترین حقوقی «رفتار متمایز» را به کار می‌گیرند، تلاش‌های رفع سوگیری به‌احتمال زیاد کمتر شامل رویکردهای پیش‌پردازش، درون‌پردازش و پس‌پردازش به‌طور صریح می‌شود و در عوض بر رویکردهای مدل‌سازی جایگزین تکیه می‌کند. در دعاوی مالی مصرف‌کننده و اشتغال، که در آن‌ها عمل رفع سوگیری، مانند حذف سوگیری، طی دهه‌ها دنبال شده است، متخصصان به‌احتمال زیاد اصلاح متغیرهای ورودی یا ابرپارامترهای مدل را برای بهبود نتایج آزمون سوگیری یا پیامدهای دنیای واقعی در نظر می‌گیرند. عضویت در گروه‌های جمعیت‌شناختی، که برای اهداف آزمون سوگیری ضروری است، اغلب با فرایند «کدگذاری جغرافیایی نام‌خانوادگی بیزی بهبودیافته» (Bayesian Improved Surname Geocoding, BISG) استنباط می‌شود (ر.ک. [195]).

الگوریتم‌های مدل‌سازی یا تکنیک‌های حذف سوگیری که به اطلاعات جمعیت‌شناختی وابسته‌اند — همان‌گونه که بیشتر روش‌های پیش‌پردازش، درون‌پردازش و پس‌پردازش چنین‌اند — می‌توانند خطرهای بالاتری در محیط‌های مقررات‌گذاری‌شده‌ای که در آن‌ها باید از رفتار متمایز اجتناب شود، ایجاد کنند [196].

سنجه‌های انصاف

از منظر محاسباتی، تعریف یک سنجه انصاف برای یادگیری ماشین (Machine Learning, ML) مستلزم توسعه یک مدل ریاضی صوری برای دستیابی به اهداف پیش‌بینی مطلوب روی یک مجموعه‌داده (Datasets) و وظیفه مرتبط با آن است. سنجه‌های انصاف فراوانی در ادبیات موضوع پیشنهاد شده‌اند [85, 191, 194, 197–199]. بخش عمده کار در تعیین معیارهای انصاف شامل یادگیری نظارت‌شده است، اما داده‌های برچسب‌خورده مورد نیاز برای این وظایف ممکن است به‌آسانی در دسترس نباشند. این موضوع به‌ویژه درباره مدل‌های زبانی بزرگ (Large Language Models, LLMs) صادق است، زیرا مقیاس عظیم مجموعه‌داده‌های مورد استفاده برای آموزش، برچسب‌گذاری صحیح داده‌ها را دشوار می‌سازد. این امر تأثیر مستقیمی بر نمایندگی‌پذیری داده‌های آموزش دارد و به‌تبع آن، تأثیر آن بر نمایندگی‌پذیری مدل تولیدشده می‌تواند پیامدهای تبعیض‌آمیز را تشدید کند، چرا که مدل‌های زبانی بزرگ با مجموعه‌داده‌ها و وظایف خاص سازگار می‌شوند. افزون بر این، حتی اگر مجموعه‌داده‌ها نماینده باشند، ممکن است همچنان سوگیری‌هایی داشته باشند یا از ویژگی‌های محافظت‌شده استفاده نادرست کنند که این نیز به‌نوبه خود می‌تواند به تبعیض بینجامد. می‌توان از جانشین‌ها برای پنهان‌سازی ویژگی‌های محافظت‌شده استفاده کرد و بهتر است در انتخاب جانشین‌ها دقت شود تا از تبعیض ناشی از جانشین‌های بدانتخاب‌شده جلوگیری شود [59, 136, 147, 200, 201]. و حتی اگر از جانشین‌ها برای پنهان‌سازی ویژگی‌های محافظت‌شده استفاده شود، ممکن است همچنان اطلاعات حساسی درباره افراد یا گروه‌ها آشکار کنند [195, 202].

ادبیات اخیر [203] وظایف یادگیری جایگزین، مانند یادگیری بدون‌نظارت و یادگیری تقویتی که در آن‌ها تنها بازخورد میانی به مدل ارائه می‌شود را در نظر می‌گیرد و می‌کوشد اثرات پاداش‌های کوتاه‌مدت و بلندمدت را متعادل کند. همچنان چند پرسش باز درباره استفاده و نمایندگی‌پذیری داده‌های تولیدشده مصنوعی، در کاربردهایی که داده اندک است، باقی مانده است. خط پژوهشی نوظهور مرتبط دیگر، استفاده از شبیه‌سازی برای ارزیابی تأثیر بلندمدت سیستم‌های یادگیری ماشین از طریق گنجاندن عناصر پویایی‌های سطح سیستم، حلقه‌های بازخورد و سایر اثرات بلندمدت برای اتخاذ تصمیم‌های منصفانه در محیط‌های پویا است [204].

چالش دیگر، با تبعات اجتماعی جدی، این است که چگونه می‌توان انصاف را در رده نوپدیدِ مدل‌های مولد مستقرشده، مانند مدل‌های زبانی بزرگ، سیستم‌های بینایی کامپیوتر یا دیپ‌فیک‌ها، که خروجی‌های آن‌ها متن، صوت یا ویدیوی آزاد است، سنجش کرد [205].

در حالی که پژوهش دانشگاهی درباره مفاهیم ریاضی انصاف در سال‌های اخیر شکوفا شده است، رویه‌های آزمون انصاف در محیط‌های مقرراتی و دعاوی قضایی مانند اشتغال و مالی مصرف‌کننده طی دهه‌ها عملیاتی بوده‌اند و پیش از افزایش اخیر توجه به این موضوع به سطحی از بلوغ رسیده‌اند. در این حوزه‌ها، آزمون‌های آماری را می‌توان به کار برد تا مشخص شود آیا یک سیستم تصمیم‌گیری خودکار خارج از حدود قانون قابل‌اجرا عمل می‌کند یا خیر. آزمون‌های t، آزمون‌های χ، تحلیل ضرایب رگرسیون و دیگر آزمون‌های آماری سنتی را می‌توان برای نشان دادن تفاوت معنادار آماری میان خروجی‌های سیستم ML در گروه‌های جمعیت‌شناختی به کار گرفت. در برخی موارد، از سنجه‌های روایی (Validity) افتراقی نیز برای اطمینان از اینکه متقاضیان و کارکنان در حوزه اشتغال خدمات تقریباً برابری از سیستم‌ها دریافت می‌کنند استفاده می‌شود، جایی که کیفیت عملکرد سیستم در گروه‌های جمعیت‌شناختی ارزیابی می‌شود.

تلاش‌های معتبر برای کاهش سوگیری بهتر است همسو با استانداردهای حقوقی پذیرفته‌شده باقی بماند.

به‌طور کلی، بیشتر سنجه‌های انصاف مشاهده‌ای‌اند، زیرا می‌توان آن‌ها را با گزاره‌های احتمالاتی شامل متغیرهای تصادفی موجود بیان کرد [61]. این سنجه‌ها را می‌توان در بسیاری از مقوله‌ها طبقه‌بندی کرد: انصاف از طریق ناآگاهی، انصاف فردی، برابری جمعیت‌شناختی، اثر متفاوت، روایی افتراقی، تبعیض جانشینی، برابری فرصت و غیره. با این حال، همه خطوط پژوهشی حیاتی را نمی‌توان تنها از طریق مشاهده پاسخ داد. افزون بر این، بسته به رابطه میان یک ویژگی محافظت‌شده و داده‌ها، برخی تعاریف مشاهده‌ای انصاف می‌توانند تبعیض را افزایش دهند. از این رو، پژوهش برای بهبود سنجه‌های انصاف ادامه دارد. برای نمونه، تعریفی از «انصاف خلاف‌واقع» توسعه یافته است [199] که این شهود را بازتاب می‌دهد که یک تصمیم نسبت به یک فرد منصفانه است اگر در هم جهان واقعی و هم یک جهان خلاف‌واقع — که در آن فرد به گروه جمعیت‌شناختی دیگری تعلق دارد — یکسان باشد. از شبیه‌سازی‌ها همچنین می‌توان برای کسب اطلاعات خلاف‌واقع درباره چگونگی تغییر داده‌ها در صورتی که سیاست جمع‌آوری داده یا تصمیم‌گیری متفاوتی حاکم بود استفاده کرد [204]. از آنجا که تبعیض الگوریتمی می‌تواند از رمزگذاری همبستگی‌های کاذب و وابستگی‌های محلی پرنویز در سیستم‌های ML در طول آموزش پدید آید، در حال حاضر تمرکز فراوانی بر ابزارهای علّی (causal) [206] و چگونگی گنجاندن صوری اثرات کنش‌های فرضی توسط آن‌ها برای حل طیف گسترده‌ای از مسائل مدل‌سازی انصاف وجود دارد. تا زمانی که روش‌های علّی به‌طور گسترده‌تر در دسترس و پذیرفته نشده‌اند، کمینه‌سازی تعداد متغیرهای ورودی و اطمینان از نبود همبستگی قوی میان آن‌ها و وجود رابطه منطقی با هدف پیش‌بینی، یک تاکتیک کاهش برای تبعیض جانشینی و سایر خطرهای هوش مصنوعی است.

هنگام تصمیم‌گیری درباره اینکه کدام سنجه‌ی انصاف را اتخاذ کنیم، مهم است به این نکته توجه شود که ارضای هم‌زمانِ برخی قیود ریاضی انصاف، جز در حالت‌های خاص به‌شدت محدود، ناممکن است [207]. برای مثال، ناسازگاری ذاتی میان دو شرط وجود دارد: کالیبراسیون و متوازن‌سازی کلاس‌های مثبت و منفی. این شرط‌ها نمی‌توانند هم‌زمان برآورده شوند، مگر تحت قیود معینی [78]. اگرچه دستیابی هم‌زمان به همه‌ی مطلوب‌های ریاضی انصاف امکان‌پذیر نیست، مهم است توجه داشت که کاهش سوگیری و عملکرد خوب می‌توانند به‌طور هم‌زمان به دست آیند [208].

تعدد تعریف‌های سنجه‌های انصاف نشان می‌دهد که انصاف را نمی‌توان به یک تعریف ریاضی موجز فروکاست. انصاف پویاست، ماهیتاً اجتماعی است، وابسته به کاربرد و زمینه است، و صرفاً یک مسئله آماری انتزاعی یا جهانی نیست. بنابراین، مهم است برای انصاف رویکردی «اجتماعی‌ـ‌فناورانه» (Socio-technical) اتخاذ شود تا بتوان تعریف‌های واقع‌بینانه‌ی انصاف را برای زمینه‌های گوناگون و همچنین «مجموعه‌داده‌ها» (Datasets) ویژه‌ی هر وظیفه را برای توسعه و ارزیابی «یادگیری ماشین» (Machine Learning, ML) در دست داشت.

3.3 چه کسانی تصمیم می‌گیرند و چگونه تصمیم می‌گیرند؟ عوامل انسانی در سوگیری «هوش مصنوعی» (AI)

3.3.1 چالش‌های عوامل انسانی

با آنکه الگوریتم‌های ML از نظر دقت و صحت تکامل یافته‌اند، سیستم‌های محاسباتی از حالت استفاده صرفاً برای پشتیبانی تصمیم—یا کاربرد صریح توسط اپراتور انسانی و تحت کنترل او—به تصمیم‌گیری خودکار با دخالت محدود انسان‌ها حرکت کرده‌اند. سیستم‌های پشتیبانی تصمیم محاسباتی، یک سیستم دیگر—معمولاً انسانی—را در تصمیم‌گیری تقویت می‌کنند. در مقایسه، در سیستم‌های تصمیم الگوریتمی مشارکت انسانی کمتر است؛ «سامانه هوش مصنوعی» (AI system) خود بیش در «صندلی راننده» قرار دارد و می‌تواند با دخالت اندک انسان برای «حاکمیت» (Govern) بر اثرگذاری، خروجی‌هایی تولید کند. رشد و شیوع سیستم‌های تصمیم الگوریتمی به کاهش احساس اعتماد عمومی به AI کمک کرده است [209]. این بی‌اعتمادی با این واقعیت تشدید می‌شود که سوگیری‌های تاریخی و اجتماعی در داده‌ها و مفروضات به‌کاررفته در مدل‌های الگوریتمی مولد تصمیم‌های خودکار تعبیه شده‌اند. در نتیجه، این مدل‌های الگوریتمی احتمال بیشتری برای تولید و تشدید خروجی‌های ناعادلانه دارند (برای مثال برای اقلیت‌های قومی و نژادی در حوزه‌هایی مانند عدالت کیفری) [18–30, 210]. سوگیری‌های ساختاری تعبیه‌شده در مدل‌های الگوریتمی همچنین می‌توانند به‌مثابه سلاحی در مقیاس وسیع به‌کار روند و «آسیب» (Harm) فاجعه‌باری ایجاد کنند [211–214]. سازمان‌هایی که مدل‌ها و سامانه‌های AI را بدون ارزیابی و مدیریت این «خطرها» (Risks) مستقر می‌کنند، نه‌تنها می‌توانند به کاربران خود آسیب بزنند، بلکه اعتبار خود را نیز در خطر قرار می‌دهند.

بستر استفاده در استقرار

سامانه‌های هوش مصنوعی برای استفاده در بسترهای واقعی و مشخصی طراحی و توسعه می‌یابند، اما اغلب در سناریوهای آرمانی آزمون می‌شوند. پس از «استقرار» (Deployment)، ممکن است قصد، ایده یا «ارزیابی تأثیر» (Impact Assessment) اولیه با تغییر کاربری یا استفاده‌های پیش‌بینی‌نشده از کاربرد، و در محیط‌ها یا بسترهایی که در ابتدا برای آن‌ها در نظر گرفته نشده بود، دگرگون شود. «بسترهای متفاوت استقرار» (Different deployment contexts) به معنای مجموعه تازه‌ای از خطرهاست که باید در نظر گرفته شود. تعامل با مجموعه گسترده‌ای از جوامع «ذی‌نفع» (Stakeholder) که ممکن است از استقرار این فناوری‌ها متأثر شوند—پیش از تصمیم‌گیری برای ساخت سامانه هوش مصنوعی—ملاحظه‌ای مهم است و به‌شدت توصیه می‌شود. برای آگاهی بیشتر درباره بستر استفاده و آنچه از منظر طراحی «انسان‌محور» (Human-centered) در بر می‌گیرد، ر.ک. بخش 3.3.2 در ادامه.

یکی از مقاصد اصلی و مزایای مهم فناوری خودکار آن است که می‌تواند اطلاعات را سریع‌تر و سازگارتر از انسان‌ها معنی‌دار کند. سامانه‌های هوش مصنوعی اغلب نیز راهی برای عادلانه‌ترکردن تصمیم‌های نفع عمومی، یا کاهش (یا حذف) تصمیم‌گیری‌های سوگیرانه انسانی و ایجاد جامعه‌ای برابرتر تلقی می‌شوند [27]. این دیدگاه‌ها به استقرار ابزارهای مدل‌سازی خودکار و پیش‌بینی در نهادهای مورد اعتماد و بسترهای با ریسک بالا مانند استخدام یا عدالت کیفری انجامیده است. در چنین بسترهایی، تصمیم‌های خودکاری که سوگیری‌های منفی را در خود دارند می‌توانند آسیب‌ها را سریع‌تر، گسترده‌تر و سیستماتیک‌تر از سوگیری‌های انسانی و اجتماعی به‌تنهایی تداوم بخشند.

انسان در حلقه

بیشتر سیستم‌های تصمیم الگوریتمی «سامانه‌های اجتماعی–فنی» (Socio-technical systems) هستند. این سیستم‌ها به‌گونه‌ای جدایی‌ناپذیر به رفتار اجتماعی انسان‌ها گره خورده‌اند؛ از «مجموعه‌داده‌ها» (Datasets) به‌کاررفته در فرایندهای ML و تصمیم‌های سازندگان آن‌ها، تا تعامل با انسان‌هایی که بینش و نظارت لازم برای عملیاتی‌بودن این سیستم‌ها را فراهم می‌کنند. مفروض پیش‌فرض آن است که قرار دادن انسانی «در حلقه» چنین سیستم‌هایی می‌تواند تضمین کند که رخدادهای نامطلوب اتفاق نیفتند. برداشت‌های کنونی درباره نقش و مسئولیت انسان در حلقه با AI اغلب ضمنی است و انتظارات درباره سطح عملکرد این سیستم‌ها اغلب بر فرضیه‌های آزمون‌نشده یا منسوخ استوار است. بخش عمده ادبیات دانشگاهی موجود در این «دامنه» (domain) اغلب مربوط به انسان‌هایی است که با سیستم‌های خودکاری کار می‌کنند که به پیش از استفاده گسترده از ML تعلق دارند.

برخی سیستم‌های انسان در حلقه برای استفاده کارشناسان موضوعی مستقر می‌شوند. در این سناریوی کارشناس‌محور، حرفه‌ای‌هایی با تخصص در یک دامنه مشخص در کنار یک سیستم خودکار برای هدفی نهایی و معین کار می‌کنند—معمولاً یک تصمیم اثرگذار درباره فرد یا افراد دیگر. بسته به هدف سیستم، کارشناس می‌تواند با مدل ML تعامل داشته باشد، اما به‌ندرت جزئی از طراحی یا توسعه خودِ سیستم است. این کارشناسان لزوماً با ML، علم داده، علوم رایانه یا سایر رشته‌هایی که به‌طور سنتی با طراحی یا توسعه AI پیوند دارند آشنا نیستند. برای مثال، در سامانه‌های هوش مصنوعی که در دامنه پزشکی مستقر می‌شوند، کارشناسان همان پزشکان هستند و تخصص خود در پزشکی را به‌همراه می‌آورند—نه علم داده، مدل‌سازی و مهندسی داده یا سایر عوامل محاسباتی.

این تصور که یک انسان (کارشناس یا غیرکارشناس) می‌تواند به‌طور مؤثر و عینی بر استفاده از سیستم‌های تصمیم الگوریتمی نظارت کند، مفروضی مسئله‌دار است. کار بیشتری لازم است تا ساختارهای پیچیده نهادی و اجتماعی‌ای که این سیستم‌ها در آن‌ها توسعه می‌یابند و مستقر می‌شوند، فهمیده شوند. انسان‌ها سوگیری‌های شناختی و ابزارهای ساده‌سازی ذهنی (Heuristics) خاص خود را به بهره‌برداری از سامانه‌های هوش مصنوعی می‌آورند و اینکه دقیقاً چگونه می‌توانند کمک‌رسان باشند، همچنان حوزه‌ای کمترپژوهیده است. یکی از چالش‌های سناریوهای انسان در حلقه، یافتن پیکربندی‌ای است که امکان استفاده از سیستم را به شکلی فراهم کند که تخصص موضوعی انسان را به‌طور بهینه به‌کار گیرد، نه آن را جایگزین کند. این امر دشوار است، زیرا کارشناسان موضوعی و توسعه‌دهندگان AI اغلب فاقد واژگان مشترک‌اند و این می‌تواند به بدفهمی و انتظارات و توانایی‌های نادرست‌فهمیده در دو سوی سیستم انسان–AI بینجامد.

پیکربندی‌های سیستم خبره پیچیده‌اند، حتی بدون کمک یک هوش مصنوعی بسیار پیشرفته. اغلب می‌توان کارشناسان و اپراتورها را بدون اعلام صریح مرجع حاکمیت بر وظیفه و پیامد مشخص، در محیط‌های سامانه‌های مبتنی بر AI قرار داد. با وعدهٔ رویکردهای کمّی‌تر، کارشناسان موضوعی ممکن است ناخواسته فالاسی مک‌نامارا را فعال کنند و با اتکا به سامانه هوش مصنوعی، فشار را از فرایندهای غالباً ذهنی‌تر خود بگیرند و به عینیتِ فرض‌شدهٔ اتوماسیون پناه ببرند (این سوگیری اغلب «خودرضایتی اتوماسیون» (automation complacency) نامیده می‌شود). کاربران خبره همچنین ممکن است ناخودآگاه راه‌هایی بیابند تا از این عینیتِ تلقی‌شده به‌عنوان پوششی، یا حتی توجیهی، برای سوگیری‌های ضمنی خود بهره بگیرند [215–217] و ناخواسته تصمیم‌هایی نادرست و زیان‌بار اتخاذ کنند. به همین سیاق، جوامع توسعه‌دهندگان AI ممکن است ناخودآگاه فرض کنند که روش‌های کارشناسان درجه‌ای از اعتبارسنجی را پشت سر گذاشته‌اند که بیشتر از واقعیت موجود است. این‌گونه کنش‌های ضمنی فردی و گروهی ممکن است شرایطی فراهم کند که به‌طور غیرمستقیم استفاده از فناوری‌ای را که هنوز کاملاً آمادهٔ بهره‌برداری نیست تشویق کند، به‌ویژه در محیط‌های پرخطر [3، 78، 218]. پژوهشگران توصیه می‌کنند که تیم‌های توسعه AI همکاری نزدیک‌تری با کارشناسان موضوعی و کاربران نهاییِ متخصصِ عملیاتی داشته باشند؛ کسانی که به‌نوبهٔ خود هنگام بهره‌گیری از خروجی خودکار باید «رویکردی آگاهانه و معتدل» در پیش گیرند [219].

یادگیری ماشین (Machine Learning, ML) مبتنی بر کارشناس و رویه‌های «انسان در حلقه» قرار نیست شکلی از نظارت انسانی بر سامانه‌های هوش مصنوعی و نتایج همراه آن‌ها باشند. کارشناسان دانش موضوعی خاص خود را به فرایند می‌آورند و لزوماً برای حکمرانی بر استفاده از سامانه‌ای که هیچ نقشی در توسعهٔ آن نداشته‌اند، آموزش ندیده‌اند. اما ساختارهای حقوقی و حکمرانی کنونی فعالانه بر انسان‌ها — چه خبره و چه غیرآن — به‌عنوان سازوکاری برای حفاظت جامعه از تصمیم‌های الگوریتمی معیوب، اشتباه و/یا خطرناک تکیه می‌کنند. پیش‌فرض بنیادین چنین ساختارهایی آن است که یک ناظر انسانی، صرفاً به‌واسطهٔ انسان بودن، می‌تواند حکمرانی کافی برای سامانه‌ها فراهم کند.^۱۶ واقعیت اما این است که بدون پشتیبانی رویه‌ای و فرهنگیِ قابل‌توجه، انتظارات خوش‌بینانه دربارهٔ توانایی انسان‌ها در ایفای این نقش اداری در عمل محقق نمی‌شود. ادبیات پژوهشی مرور کاملی بر کاستی‌های سیاست‌های نظارت انسانی ارائه می‌دهد [112].