به‌سوی استانداردی برای شناسایی و مدیریت سوگیری در هوش مصنوعی

• activity bias (سوگیری فعالیت) نوعی سوگیری گزینش که زمانی رخ می‌دهد که سیستم‌ها/پلتفرم‌ها داده‌های آموزشی خود را از کاربرانِ فعال‌ترین‌شان، به‌جای کاربران کمتر فعال (یا غیرفعال) دریافت می‌کنند [131]. 8

• aleatoric uncertainty (عدم قطعیت تصادفی) عدم قطعیت تصادفی که با نام عدم قطعیت آماری نیز شناخته می‌شود، به مجهولاتی اشاره دارد که در هر بار اجرای یک آزمایش یکسان تغییر می‌کنند. این عدم قطعیت به تغییرپذیری در نتیجه یک آزمایش اشاره دارد که ناشی از اثرهای ذاتاً تصادفی است. برای مثال، در بستر یادگیری ماشین، فرایند تولید داده ممکن است مؤلفه‌ای تصادفی داشته باشد که با هیچ منبع اطلاعاتی اضافی قابل کاهش نباشد. در نتیجه، حتی بهترین مدل آموزش‌دیده بر روی این داده‌ها نیز نمی‌تواند پاسخی قطعی ارائه دهد. 9, 20, 21

• amplification bias (سوگیری تقویت) زمانی پدید می‌آید که توزیع خروجی‌های پیش‌بینی در مقایسه با توزیع پیشینِ هدف پیش‌بینی، نامتقارن باشد [267]. 8

• anchoring bias (سوگیری لنگر) یک سوگیری شناختی؛ نفوذ یک نقطه مرجع یا لنگر معین بر تصمیمات افراد. اغلب با عنوان کامل‌تر «لنگراندازی‌و‌تعدیل» یا «لنگراندازی‌وتعدیل‌کردن» از آن یاد می‌شود: پس از آنکه لنگری تعیین شد، افراد از آن نقطه لنگر به‌اندازه کافی تعدیل نمی‌کنند تا به پاسخ نهایی برسند. تصمیم‌گیرندگان به‌سوی مقدارِ در ابتدا ارائه‌شده سوگیری دارند [79]. 8, 9

• annotator reporting bias (سوگیری گزارش‌دهی حاشیه‌نویس) زمانی رخ می‌دهد که کاربران به اتوماسیون به‌عنوان جایگزینی ابتکاری برای جست‌وجو و پردازش اطلاعات خود تکیه می‌کنند [268]. شکلی از سوگیری فردی است، اما اغلب به‌عنوان سوگیری گروهی یا اثرهای بزرگ‌تر آن بر مدل‌های پردازش زبان طبیعی بحث می‌شود. 8

• automation complacency (خودکفایی‌پنداری اتوماسیون) زمانی است که انسان‌ها بیش از حد به سیستم‌های خودکار اعتماد می‌کنند یا مهارت‌هایشان بر اثر این اتکای بیش از حد تحلیل می‌رود (مثلاً املا و تصحیح خودکار یا ابزارهای بررسی املایی). 8

• availability heuristic (استدلال در دسترس‌بودن) که با نام سوگیری در دسترس‌بودن نیز خوانده می‌شود. میان‌بری ذهنی که در آن افراد تمایل دارند به آنچه آسان یا سریع به ذهن می‌آید وزن بیشتری بدهند؛ یعنی آنچه را که راحت‌تر به یاد می‌آید—مثلاً «در دسترس‌تر» است—در داوری و تصمیم‌گیری تأکید بیشتری می‌گیرد. 8

• behavioral bias (سوگیری رفتاری) تحریف‌های نظام‌مند در رفتار کاربران در میان پلتفرم‌ها یا بسترها، یا در میان کاربرانِ نمایان‌شده در مجموعه‌داده‌های مختلف [144, 269]. 8

• cognitive bias (سوگیری شناختی) اصطلاحی گسترده که به‌طور کلی به الگویی نظام‌مند از انحراف از داوری و تصمیم‌گیری عقلانی اشاره دارد. در طول دهه‌ها پژوهش در داوری و تصمیم‌گیری، انواع فراوانی از سوگیری‌های شناختی شناسایی شده‌اند که برخی از آن‌ها میان‌برهای ذهنیِ سازگارانه‌ای هستند که با نام استدلال‌های اکتشافی (heuristics) شناخته می‌شوند. 8

• concept drift (رانش مفهوم) استفاده از یک سیستم خارج از دامنهٔ برنامه‌ریزی‌شده کاربرد، که علت رایجی برای شکاف عملکرد میان شرایط آزمایشگاهی و دنیای واقعی است. 8

• confirmation bias (سوگیری تأیید) که سوگیری تأییدگرانه نیز نامیده می‌شود؛ سوگیری شناختی که در آن افراد تمایل دارند اطلاعاتی را برگزینند که با باورهای موجودشان همسو است یا آن‌ها را تأیید می‌کند. افراد می‌توانند سوگیری تأیید را در جست‌وجو، تفسیر و به‌یادآوری اطلاعات نشان دهند. در آزمایش‌های معروف وظیفه گزینش ویسون (Wason selection task)، شرکت‌کنندگان به‌طور مکرر ترجیح تأیید را بر ابطال نشان دادند. آن‌ها مأمور بودند قاعده نهفته‌ای را که بر سه‌تایی‌های عددیِ نمایش‌داده‌شده به آن‌ها حاکم است شناسایی کنند، و در کمال چشمگیری سه‌تایی‌هایی را آزمودند که قاعدهٔ فرضی‌شان را تأیید می‌کرد نه ابطال [270]. 8, 9, 27

• construct validity (روایی سازه) شکلی از روایی‌سنجی که در پی پاسخ به این پرسش است که آیا یک آزمون چیزی را می‌سنجد که قصد سنجش آن را دارد. [271]. 15

• consumer bias (سوگیری مصرف‌کننده) زمانی پدید می‌آید که یک الگوریتم یا پلتفرم به کاربران مجالی تازه برای ابراز سوگیری‌هایشان می‌دهد و می‌تواند از هر یک از دو طرف یا طرفِ تعامل دیجیتال رخ دهد [272]. 8

• content production bias (سوگیری تولید محتوا) از تفاوت‌های ساختاری، واژگانی، معنایی و نحوی در محتوای تولیدشده به‌وسیله کاربران پدید می‌آید [144]. 8

• data dredging (لُجن‌مالی داده) سوگیری آماری که در آن آزمون تعداد عظیمی از فرضیه‌ها روی یک مجموعه‌داده ممکن است به‌نظر برسد معناداری آماری به دست می‌دهد، حتی وقتی نتایج از نظر آماری نامعناد است. 8, 27

• data generation bias (سوگیری تولید داده) از افزوده‌شدن نمونه‌های داده مصنوعی یا افزونه به یک مجموعه‌داده پدید می‌آید [273]. 8

• deployment bias (سوگیری استقرار) زمانی پدید می‌آید که سیستم‌ها به‌عنوان یاریگر تصمیم برای انسان‌ها به‌کار روند؛ زیرا واسطه انسانی ممکن است بر پیش‌بینی‌ها به شیوه‌هایی عمل کند که معمولاً در سیستم مدل‌سازی نشده‌اند [90]. با این حال، باز هم افرادی هستند که از سیستم مستقرشده استفاده می‌کنند. 8, 26

• detection bias (سوگیری تشخیص) تفاوت‌های نظام‌مند میان گروه‌ها در چگونگی تعیین پیامدها که ممکن است سبب برآورد بیش از حد یا کمتر از حد اندازه اثر شود [274]. 8

• Dunning–Kruger effect (اثر دانینگ–کروگر) سوگیری شناختی؛ تمایل افرادِ کم‌توان در یک حوزه یا تکلیف معیّن به بیش‌برآورد توانایی خودارزیابی‌شده‌شان. معمولاً با مقایسه خودارزیابی با عملکرد عینی سنجیده می‌شود که به ترتیب اغلب توانایی ذهنی و توانایی عینی نامیده می‌شود [275]. 8, 26

• مغالطه بوم‌شناختی (ecological fallacy) هنگامی رخ می‌دهد که استنباطی درباره یک فرد بر اساس عضویت او در یک گروه صورت گیرد. ۸، ۲۳

• سوگیری نوظهور (emergent bias) استفاده از یک سیستم خارج از دامنه برنامه‌ریزی‌شده برای کاربرد آن، و یکی از دلایل رایج شکاف عملکرد بین محیط‌های آزمایشگاهی و دنیای واقعی است. ۸

• عدم قطعیت معرفت‌شناختی (epistemic uncertainty) یک عدم قطعیت معرفت‌شناختی، که با نام عدم قطعیت سیستماتیک نیز شناخته می‌شود، به کاستی‌های ناشی از فقدان دانش یا اطلاعات اشاره دارد. این ممکن است به این دلیل باشد که روش‌شناسیِ مبنای ساخت یک مدل، برخی اثرات خاص را نادیده می‌گیرد یا به این دلیل که داده‌های خاصی به‌طور عمدی پنهان شده‌اند. ۹، ۲۰-۲۲

• انتشار خطا (error propagation) هنگامی رخ می‌دهد که برنامه‌های ساخته‌شده با «یادگیری ماشین» (Machine Learning, ML) برای تولید ورودی برای سایر الگوریتم‌های یادگیری ماشین استفاده می‌شوند. اگر خروجی به هر شکلی دارای سوگیری باشد، این سوگیری ممکن است توسط سیستم‌هایی که از آن خروجی به‌عنوان ورودی برای یادگیری مدل‌های دیگر استفاده می‌کنند، به ارث برسد [82]. ۸

• سوگیری ارزیابی (evaluation bias) هنگامی رخ می‌دهد که جمعیت‌های آزمون یا محک‌های خارجی، بخش‌های مختلف جمعیت کاربران را به‌طور برابر نمایندگی نکنند، یا ناشی از استفاده از «سنجه‌ها» (Metrics) عملکردی باشد که برای نحوه استفاده از مدل مناسب نیستند [90]. ۸

• سوگیری حذف (exclusion bias) هنگامی رخ می‌دهد که گروه‌های خاصی از جمعیت کاربران از آزمون و تحلیل‌های متعاقب آن کنار گذاشته شوند [276]. ۸

• سوگیری حلقه بازخورد (feedback loop bias) اثراتی که ممکن است هنگامی رخ دهد که یک الگوریتم از رفتار کاربر یاد می‌گیرد و آن رفتار را دوباره به مدل بازمی‌گرداند [272]. ۸

• سوگیری تأمین مالی (funding bias) هنگامی رخ می‌دهد که نتایج سوگیرانه به‌منظور حمایت یا رضایت آژانس تأمین‌کننده مالی یا حامی مالیِ یک پژوهش گزارش شوند [85]، اما این امر می‌تواند توسط خودِ پژوهشگر نیز صورت گیرد. ۸

• «حکمرانی» (Governance) چارچوبی از سیاست‌ها، قوانین و فرایندها برای تضمین هدایت، مدیریت و «پاسخگویی» (Accountability). ii

• تفکر گروهی (groupthink) یک پدیده روان‌شناختی که هنگامی رخ می‌دهد که افراد در یک گروه تمایل دارند بر اساس تمایل خود به همنوایی با گروه، یا ترس از مخالفت با گروه، تصمیمات غیربهینه بگیرند. در تفکر گروهی، افراد اغلب از ابراز مخالفت شخصی خود با گروه خودداری می‌کنند و در بیان نظراتی که با گروه همسو نیست، تردید می‌ورزند. ۸

• اکتشافی‌ها (heuristics) در زمینه تصمیم‌گیری انسانی، که اغلب به آن «میان‌برهای ذهنی» گفته می‌شود؛ اصطلاحی که شامل روش‌های بسیاری است که ممکن است کمتر از حد کاملاً عقلانی یا بهینه باشند، با این حال اغلب برای یک راه‌حل تقریبی کافی هستند. اگرچه اکتشافی‌ها می‌توانند بار شناختی را کاهش دهند و به افراد در تصمیم‌گیری کمک کنند، اما چنین اکتشافی‌هایی منجر به خطاهای سیستماتیک و سوگیری‌های شناختی نیز می‌شوند [79]. ۳۴

• سوگیری تاریخی (historical bias) اشاره به سوگیری‌های دیرینه‌ای دارد که به‌مرور زمان در جامعه نهادینه شده‌اند. این مفهوم با سوگیری‌ها در توصیف تاریخی، یا «تفسیر» (Interpretation)، تحلیل و تبیین تاریخ مرتبط است، اما از آن‌ها متمایز است. یک نمونه رایج از سوگیری تاریخی، تمایل به نگریستن به جهان بزرگ‌تر از دیدگاه غربی یا اروپایی است. ۸

• سوگیری گزارش‌دهی انسانی (human reporting bias) هنگامی که کاربران به اتوماسیون به‌عنوان جایگزینی اکتشافی برای جستجو و پردازش اطلاعات خود تکیه می‌کنند [268]. ۸

• سوگیری ضمنی (implicit bias) یک باور، نگرش، احساس، تداعی یا کلیشه ناخودآگاه که می‌تواند بر نحوه پردازش اطلاعات، تصمیم‌گیری و اقدام انسان‌ها تأثیر بگذارد. ۸

• سوگیری موروثی (inherited bias) هنگامی رخ می‌دهد که برنامه‌های ساخته‌شده با یادگیری ماشین برای تولید ورودی برای سایر الگوریتم‌های یادگیری ماشین استفاده می‌شوند. اگر خروجی به هر شکلی دارای «سوگیری» (Bias) باشد، این سوگیری ممکن است توسط سیستم‌هایی که از آن خروجی به‌عنوان ورودی برای یادگیری مدل‌های دیگر استفاده می‌کنند، به ارث برسد [82]. ۸

• سوگیری نهادی (institutional bias) در تقابل با سوگیری‌های نمایان‌شده در سطح افراد، سوگیری نهادی به تمایلی اشاره دارد که در سطح کل نهادها بروز می‌کند، جایی که رویه‌ها یا هنجارها به نفع یا به ضرر گروه‌های اجتماعی خاصی تمام می‌شوند. نمونه‌های رایج شامل نژادپرستی نهادی و جنسیت‌زدگی نهادی است [91]. ۸

• سوگیری تفسیر (interpretation bias) شکلی از سوگیری پردازش اطلاعات که می‌تواند هنگامی رخ دهد که کاربران خروجی‌های الگوریتمی را بر اساس سوگیری‌ها و دیدگاه‌های درونی‌شده خود تفسیر کنند [272]. ۸

• «مدل زبانی» (Language Model, LM) یک مدل محاسباتی که با استفاده از روش‌های آماری آموزش دیده است تا الگوهایی را در زبان نوشتاری و/یا گفتاری بیابد، به‌منظور پیش‌بینی یا طبقه‌بندی کلمات، متن یا گفتار. ۲۱

• سوگیری پیوندی (linking bias) هنگامی رخ می‌دهد که ویژگی‌های شبکه به‌دست‌آمده از اتصالات، فعالیت‌ها یا تعاملات کاربر، متفاوت بوده و رفتار واقعی کاربران را به‌اشتباه نشان دهند [144]. ۸

• سوگیری از دست دادن آگاهی موقعیتی (loss of situational awareness bias) هنگامی که اتوماسیون منجر به بی‌اطلاعی انسان‌ها از موقعیت خود می‌شود، به‌طوری که وقتی کنترل یک سیستم در موقعیتی که انسان و ماشین همکاری می‌کنند به آن‌ها بازگردانده می‌شود، آن‌ها برای بر عهده گرفتن وظایف خود آمادگی ندارند. این می‌تواند به معنای از دست دادن آگاهی نسبت به این باشد که اتوماسیون چه چیزی را مدیریت می‌کند و چه چیزی را مدیریت نمی‌کند. ۸

• مغالطه مک‌نامارا (McNamara fallacy) باور به این که اطلاعات کمّی ارزشمندتر از سایر اطلاعات است. ۱۲

• سوگیری اندازه‌گیری زمانی پدید می‌آید که ویژگی‌ها و برچسب‌ها نماینده‌هایی از مقادیر مطلوب‌اند و ممکن است عوامل مهم را کنار بگذارند یا نویزِ وابسته به گروه یا ورودی را وارد کنند که به عملکرد متفاوت می‌انجامد [90]. ۸

• سوگیری سردرگمی حالت هنگامی رخ می‌دهد که واسط‌های چندحالتی، اپراتورهای انسانی را دچار سردرگمی کند و آنان برداشت نادرستی از حالتی که سیستم در آن قرار دارد پیدا کنند و اقداماتی انجام دهند که برای حالتی دیگر درست، اما برای وضعیت فعلی آن‌ها نادرست است. این امر علت بسیاری از حادثه‌های مرگبار است، اما در زندگی روزمره نیز منبع سردرگمی به شمار می‌رود. ۸

• مدل بازنمایی مفهومی، ریاضی یا فیزیکیِ پدیده‌ای است که در سیستمی از اندیشه‌ها، رخدادها یا فرایندها مشاهده می‌شود. در مدل‌های محاسباتی به‌کاررفته در هوش مصنوعی (AI)، پدیده‌ها اغلب برای بازنمایی ریاضی انتزاعی می‌شوند؛ به این معنا که ویژگی‌هایی را که نمی‌توان ریاضی نشان داد، ممکن است مدل در بر نگیرد. i, v

• سوگیری انتخاب مدل سوگیری‌ای است که هنگام استفاده از داده‌ها برای برگزیدن یک مدلِ به‌ظاهر «بهترین» از میان مجموعه بزرگی از مدل‌ها که متغیرهای پیش‌بین بسیاری دارند، معرفی می‌شود. سوگیری انتخاب مدل همچنین زمانی رخ می‌دهد که یک متغیر توضیحی رابطه‌ای ضعیف با متغیر پاسخ داشته باشد [277]. ۸

• سوگیری محبوبیت شکلی از سوگیری گزینش است که هنگامی رخ می‌دهد که موارد محبوب‌تر بیشتر در معرض دید قرار گیرند و موارد کم‌محبوب‌تر به‌اندازه کافی نمایندگی نشوند [130]. ۸

• سوگیری جمعیت تحریف‌های نظام‌مند در جمعیت‌شناسی یا سایر ویژگی‌های کاربران میان جمعیتی از کاربران که در یک مجموعه‌داده یا روی یک پلتفرم نمایندگی شده و جمعیتی هدف است [144]. ۸

• سوگیری ارائه سوگیری‌هایی که از نحوه ارائه اطلاعات در وب، از طریق یک رابط کاربری، بر اثر رتبه‌بندی یا مرتب‌سازی خروجی، یا از طریق تعاملِ جانبدارانهٔ خودگزینِ کاربران پدید می‌آیند [131]. ۸

• نماینده متغیری که می‌تواند جانشین متغیر دیگری شود که معمولاً مستقیماً مشاهده‌پذیر یا اندازه‌گیری‌پذیر نیست. ۲۰

• سوگیری رتبه‌بندی شکلی از سوگیری لنگر انداختن است. این ایده که نتایج رتبه‌بالاتر مرتبط‌ترین و مهم‌ترین‌اند و بیش از سایر نتایج کلیک دریافت خواهند کرد [131, 278]. ۸

• اثر راشومون یا اصل راشومون به تفاوت‌ها در منظر، حافظه و یادآوری، «تفسیر» (Interpretation) و گزارش‌دهی درباره یک رخداد واحد از سوی چند نفر یا چند شاهد اشاره دارد. ۸

• سوگیری بازنمایی به سبک نمونه‌گیری غیرتصادفی از زیرگروه‌ها پدید می‌آید و باعث می‌شود روندهای برآوردشده برای یک جمعیت بر داده‌های گردآوری‌شده از جمعیتی جدید تعمیم‌پذیر نباشند [85]. ۸

• پیروی گزینشی گرایش تصمیم‌گیرندگان به پذیرش گزینشیِ توصیه‌های الگوریتمی وقتی است که با باورها و کلیشه‌های ازپیش‌موجود آنان هم‌خوانی دارد [215]. ۸

• پارادوکس سیمپسون پدیده‌ای آماری است که در آن همبستگی حاشیه‌ای میان دو متغیر کیفی از نظر کیفی با همبستگی جزئی میان همان دو متغیر پس از کنترل یک یا چند متغیر دیگر تفاوت دارد. برای مثال، همبستگی آماری یا همبستگی‌ای که میان دو متغیر برای یک جمعیت کامل شناسایی شده، هنگامی که جمعیت به زیرگروه‌هایی تقسیم می‌شود، ناپدید می‌شود یا وارونه می‌گردد. ۸، ۱۷

• سوگیری اجتماعی اغلب با نام سوگیری اجتماعی (social bias) شناخته می‌شود. می‌تواند مثبت یا منفی باشد و شکل‌های گوناگونی بگیرد، اما به‌طور معمول با ویژگی رودررویی یا جانب‌داری از گروه‌ها یا افراد بر پایه هویت‌های اجتماعی، عوامل جمعیت‌شناختی یا ویژگی‌های جسمانی تغییرناپذیر شناخته می‌شود. سوگیری‌های اجتماعی اغلب کلیشه‌اند. نمونه‌های رایج سوگیری‌های اجتماعی بر مفاهیمی همچون نژاد، قومیت، جنسیت، گرایش جنسی، وضعیت اجتماعی‑اقتصادی، تحصیلات و موارد دیگر استوارند. سوگیری اجتماعی اغلب در بستر مدل‌های «پردازش زبان طبیعی» (Natural Language Processing, NLP) شناسایی و بحث می‌شود. ۸

• اجتماعی‌ـ‌فناورانه (Socio-technical) اصطلاحی برای توصیف نحوه تعامل انسان‌ها با فناوری در بستر اجتماعی گسترده‌تر. ii

• اثر چراغ خیابانی سوگیری‌ای است که در آن افراد تمایل دارند تنها در جایی بجویند که جست‌وجو آسان‌ترین است [279]. ۸

• مغالطه هزینه فروفته گرایشی انسانی است که در آن افراد به دلیل منابعی که پیش‌تر خرج یا سرمایه‌گذاری کرده‌اند، همچون پول، زمان و تلاش، به ادامه یک تلاش یا رفتار تن می‌دهند، بدون توجه به این که هزینه‌ها بر منافع بچربد یا نه. برای مثال، در هوش مصنوعی، مغالطه هزینه فروفته می‌تواند به تیم‌های توسعه و سازمان‌ها این احساس را بدهد که چون پیش‌تر زمان و پول بسیاری در یک کاربرد هوش مصنوعی خاص سرمایه‌گذاری کرده‌اند، باید آن را تا بازار پیش ببرند، به‌جای اینکه تصمیم بگیرند به تلاش پایان دهند، حتی در مواجهه با بدهی فنی و/یا بدهی اخلاقی قابل‌توجه. ۸

• سوگیری بقا گرایشی در افراد به تمرکز بر موارد، مشاهدات یا افرادی که از یک فرایند گزینش «جان به در می‌برند» یا عبور می‌کنند، در حالی که مواردی را که عبور نکرده‌اند از نظر دور می‌دارند. ۸

• تکنوشوونیسم باوری که فناوری همواره راه‌حل است [35]. ۱۲

• سوگیری زمانی سوگیری‌ای که از تفاوت‌های جمعیت‌ها و رفتارها در طول زمان ناشی می‌شود [144, 280]. ۸

• سوگیری عدم‌قطعیت زمانی پدید می‌آید که الگوریتم‌های پیش‌بینی‌کننده گروه‌هایی را در اولویت قرار می‌دهند که در داده‌های آموزشی بهتر نمایندگی شده‌اند، زیرا عدم‌قطعیت مرتبط با آن پیش‌بینی‌ها کمتر خواهد بود [281]. ۸

• سوگیری تعامل کاربر زمانی پدید می‌آید که کاربر سوگیری‌ها و رفتارهای خودگزینِ خود را در جریان تعامل با داده‌ها، خروجی‌ها، نتایج و مانند آن اعمال می‌کند [131]. ۸

References

• [1] NIST, “U.S. Leadership in AI: A Plan for Federal Engagement in Developing Technical Standards and Related Tools,” National Institute of Standards and Technology, Tech. Rep., 2019. [Online]. Available: https://www.nist.gov/system/files/documents/2019/08/10/ai_standards_fedengagement_plan_9aug2019.pdf

• [2] I. Ajunwa, S. A. Friedler, C. Scheidegger, and S. Venkatasubramanian, “Hiring by Algorithm: Predicting and Preventing Disparate Impact,” undefined , 2016. [Online]. Available: /paper/Hiring-by-Algorithm%3A-Predicting-and-Preventing-Ajunwa-Friedler/bd31ad5e998629998f35db9a10d858b36e603248

• [3] S. Barocas, A. Biega, B. Fish, J. Niklas, and L. Stark, “When not to design, build, or deploy,” in Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency , ser. FAT ’20. New York, NY, USA: Association for Computing Machinery, Jan. 2020, p. 695. [Online]. Available: https://doi.org/10.1145/3351095.3375691

• [4] M. Bogen, “All the Ways Hiring Algorithms Can Introduce Bias,” Harvard Business Review , مه ۲۰۱۹ (اردیبهشت ۱۳۹۸ تا خرداد ۱۳۹۸), section: Hiring. [Online]. Available: https://hbr.org/2019/05/all-the-ways-hiring-algorithms-can-introduce-bias

• [5] J. Dastin, “Amazon scraps secret AI recruiting tool that showed bias against women,” Reuters , Oct. 2018. [Online]. Available: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G

• [6] E. Harlen and O. Schnuck, “Objective or Biased,” 2021. [Online]. Available: https://web.br.de/interaktiv/ki-bewerbung/en

• [7] J. Sanchez-Monedero, L. Dencik, and L. Edwards, “What does it mean to solve the problem of discrimination in hiring? Social, technical and legal perspectives from the UK on automated hiring systems,” arXiv:1910.06144 [cs] , Jan. 2020, arXiv: 1910.06144. [Online]. Available: http://arxiv.org/abs/1910.06144

• [8] M. Evans and A. W. Mathews, “New York Regulator Probes UnitedHealth Algorithm for Racial Bias,” Wall Street Journal , Oct. 2019. [Online]. Available: https://www.wsj.com/articles/new-york-regulator-probes-unitedhealth-algorithmfor-racial-bias-11572087601

• [9] H. Fry, Hello world: being human in the age of algorithms . WW Norton & Company, 2018.

• [10] M. A. Gianfrancesco, S. Tamang, J. Yazdany, and G. Schmajuk, “Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data,” JAMA Intern Med , vol. 178, no. 11, p. 1544, Nov. 2018. [Online]. Available: http://archinte.jamanetwork.com/article.aspx?doi=10.1001/jamainternmed.2018.3763

• [11] E. Guo and K. Hao, “This is the Stanford vaccine algorithm that left out frontline doctors,” 2020. [Online]. Available: https://www.technologyreview.com/2020/12/21/1015303/stanford-vaccine-algorithm/

• [12] H. Ledford, “Millions of black people affected by racial bias in healthcare algorithms,” Nature , vol. 574, no. 7780, pp. 608–609, Oct. 2019, number: 7780 Publisher: Nature Publishing Group. [Online]. Available: https://www.nature.com/articles/d41586-019-03228-6

• [13] T. M. Maddox, J. S. Rumsfeld, and P. R. O. Payne, “Questions for Artificial Intelligence in Health Care,” JAMA , vol. 321, no. 1, p. 31, Jan. 2019. [Online]. Available: http://jama.jamanetwork.com/article.aspx?doi=10.1001/jama.2018.18932

• [14] Z. Obermeyer, B. Powers, C. Vogeli, and S. Mullainathan, “Dissecting racial bias in an algorithm used to manage the health of populations,” Science , vol. 366, no. 6464, pp. 447–453, Oct. 2019. [Online]. Available: https://www.sciencemag.org/lookup/doi/10.1126/science.aax2342

• [15] T. Simonite, “How an Algorithm Blocked Kidney Transplants to Black Patients _|_ WIRED,” Wired , 2020. [Online]. Available: https://www.wired.com/story/how-algorithm-blocked-kidney-transplants-black-patients/

• [16] M. Singh and K. N. Ramamurthy, “Understanding racial bias in health using the Medical Expenditure Panel Survey data,” arXiv:1911.01509 [cs, stat] , Nov. 2019, arXiv: 1911.01509. [Online]. Available: http://arxiv.org/abs/1911.01509

• [17] T. M. Cruz, “Perils of data-driven equity: Safety-net care and big data’s elusive grasp on health inequality,” Big Data & Society , vol. 7, no. 1, p. 205395172092809, Jan. 2020. [Online]. Available: http://journals.sagepub.com/doi/10.1177/2053951720928097

• [18] J. Angwin, J. Larson, S. Mattu, L. Kirchner, and ProPublica, “Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks.” ProPublica , 2016.

• [19] L. Dormehl, “Algorithms Are Great and All, But They Can Also Ruin Lives,” Wired , 2014. [Online]. Available: https://www.wired.com/2014/11/algorithms-great-can-also-ruin-lives/

• [20] S. Goel, R. Shroff, J. L. Skeem, and C. Slobogin, “The Accuracy, Equity, and Jurisprudence of Criminal Risk Assessment,” SSRN Journal , 2018. [Online]. Available: https://www.ssrn.com/abstract=3306723

• [21] S. Brayne, “Enter the Dragnet,” 2020. [Online]. Available: https://logicmag.io/commons/enter-the-dragnet/

• [22] A. Chouldechova, “Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments,” Big Data , vol. 5, no. 2, pp. 153–163, Jun. 2017. [Online]. Available: http://www.liebertpub.com/doi/10.1089/big.2016.0047

• [23] EPIC, «الگوریتم‌ها در ابزارهای ارزیابی ریسک سیستم عدالت کیفری»، مرکز اطلاعات حریم خصوصی الکترونیک (EPIC)، گزارش فنی، ۲۰۲۰. [آنلاین]. قابل‌دسترس در: https://epic.org/algorithmic-transparency/crim-justice/

• [24] K. Hill, «تشخیص چهره ناقص منجر به دستگیری و زندانی شدن مردی در نیوجرسی می‌شود»، ۲۰۲۰. [آنلاین]. قابل‌دسترس در: https://www.nytimes.com/2020/12/29/technology/facial-recognition-misidentify-jail.html

• [25] J. E. Johndrow و K. Lum, «الگوریتمی برای حذف اطلاعات حساس: کاربرد در پیش‌بینی تکرار جرم مستقل از نژاد»، Ann. Appl. Stat.، جلد ۱۳، شماره ۱، صص ۱۸۹–۲۲۰، مارس ۲۰۱۹ (اسفند ۱۳۹۷ تا فروردین ۱۳۹۸). [آنلاین]. قابل‌دسترس در: https://projecteuclid.org/euclid.aoas/1554861646

• [26] F. Kamiran، A. Karim، S. Verwer و H. Goudriaan، «طبقه‌بندی داده‌های حساس اجتماعی بدون تبعیض: تحلیلی از مجموعه داده مظنونین به جرم»، در دوازدهمین کنفرانس بین‌المللی کارگاه‌های داده‌کاوی IEEE در سال ۲۰۱۲. بروکسل، بلژیک: IEEE، دسامبر ۲۰۱۲ (آذر ۱۳۹۱ تا دی ۱۳۹۱)، صص ۳۷۰–۳۷۷. [آنلاین]. قابل‌دسترس در: http://ieeexplore.ieee.org/document/6406464/

• [27] J. Kleinberg، H. Lakkaraju، J. Leskovec، J. Ludwig و S. Mullainathan، «تصمیمات انسانی و پیش‌بینی‌های ماشینی»، The quarterly journal of economics، جلد ۱۳۳، شماره ۱، صص ۲۳۷–۲۹۳، ۲۰۱۸.

• [28] A. Liptak، «ارسال به زندان توسط الگوریتم‌های مخفی یک برنامه نرم‌افزاری»، The New York Times، مه ۲۰۱۷ (اردیبهشت ۱۳۹۶ تا خرداد ۱۳۹۶). [آنلاین]. قابل‌دسترس در: https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algorithms.html

• [29] R. Wexler، «وقتی یک برنامه کامپیوتری شما را در زندان نگه می‌دارد»، The New York Times، ص ۲، ۲۰۱۷. [آنلاین]. قابل‌دسترس در: https://www.nytimes.com/2017/06/13/opinion/how-computers-are-harming-criminal-justice.html

• [30] «ایالت علیه لومیس»، ۲۰۱۶.

• [31] M. Aitken، E. Toreini، P. Carmichael، K. Coopamootoo، K. Elliott و A. van Moorsel، «ایجاد مجوز اجتماعی برای فناوری مالی: تأملاتی در مورد نقش بخش خصوصی در پیگیری شیوه‌های اخلاقی داده‌ها»، Big Data & Society، جلد ۷، شماره ۱، ص ۲۰۵۳۹۵۱۷۲۰۹۰۸۸۹، ژانویه ۲۰۲۰ (دی ۱۳۹۸ تا بهمن ۱۳۹۸). [آنلاین]. قابل‌دسترس در: http://journals.sagepub.com/doi/10.1177/2053951720908892

• [32] J. P. Bajorek، «تشخیص صدا همچنان دارای سوگیری‌های قابل‌توجه نژادی و جنسیتی است»، Harvard Business Review، ۲۰۱۹، بخش: فناوری. [آنلاین]. قابل‌دسترس در: https://hbr.org/2019/05/voice-recognition-still-has-significant-race-and-gender-biases

• [33] E. Bary، «چگونه هوش مصنوعی می‌تواند جایگزین امتیازات اعتباری شود و نحوه دریافت وام ما را تغییر دهد»، ۲۰۱۸. [آنلاین]. قابل‌دسترس در: https://www.marketwatch.com/story/ai-based-credit-scores-will-soon-give-one-billion-people-access-to-banking-services-2018-10-09 (۱۷ مهر ۱۳۹۷)

• [34] R. Benjamin، نژاد پس از فناوری: ابزارهای الغاگرایانه برای کد جیم جدید. John Wiley & Sons، ۲۰۱۹.

• [35] M. Broussard، غیرهوشمندی مصنوعی: چگونه رایانه‌ها جهان را بد می‌فهمند. MIT Press، ۲۰۱۸.

• [36] J. Boulamwini و T. Gebru، «سایه‌های جنسیتی: نابرابری‌های دقت تقاطعی در طبقه‌بندی جنسیتی تجاری»، در مجموعه مقالات تحقیقات یادگیری ماشین، ۲۰۱۸، صص ۷۷–۹۱.

• [37] C. Criado-Perez، زنان نامرئی: «سوگیری داده» (Data bias) در دنیایی که برای مردان طراحی شده است. Abrams Press، ۲۰۱۹.

• [38] C. Dwork، M. Hardt، T. Pitassi، O. Reingold و R. Zemel، «انصاف از طریق آگاهی»، arXiv:1104.3913 [cs]، نوامبر ۲۰۱۱ (آبان ۱۳۹۰ تا آذر ۱۳۹۰)، arXiv: 1104.3913. [آنلاین]. قابل‌دسترس در: http://arxiv.org/abs/1104.3913

• [39] V. Eubanks، خودکارسازی نابرابری: چگونه ابزارهای فناورانه پیشرفته فقرا را ردیابی، تحت نظارت پلیسی و مجازات می‌کنند. St. Martin’s Press، ۲۰۱۸.

• [40] M. Hardt، E. Price و N. Srebro، «برابری فرصت در یادگیری نظارت‌شده»، arXiv:1610.02413 [cs]، اکتبر ۲۰۱۶ (مهر ۱۳۹۵ تا آبان ۱۳۹۵)، arXiv: 1610.02413. [آنلاین]. قابل‌دسترس در: http://arxiv.org/abs/1610.02413

• [41] S. Noble، الگوریتم‌های سرکوب: چگونه موتورهای جستجو نژادپرستی را تقویت می‌کنند. NYU Press، ۲۰۱۸.

• [42] C. O’Neil، سلاح‌های نابودی ریاضی: چگونه کلان‌داده نابرابری را افزایش می‌دهد و دموکراسی را تهدید می‌کند. Broadway Books، ۲۰۱۷.

• [43] A. Pandey و A. Caliskan، «سوگیری اندازه اثر تکراری در تاکسی‌های اینترنتی: اندازه‌گیری سوگیری اجتماعی در قیمت‌گذاری پویا برای ۱۰۰ میلیون سفر»، arXiv:2006.04599 [cs]، ژوئن ۲۰۲۰ (خرداد ۱۳۹۹ تا تیر ۱۳۹۹)، arXiv: 2006.04599. [آنلاین]. قابل‌دسترس در: http://arxiv.org/abs/2006.04599

• [44] J. Redden، «آسیبی که داده‌ها وارد می‌کنند»، Scientific American، ۲۰۱۸. [آنلاین]. قابل‌دسترس در: https://www.scientificamerican.com/article/the-harm-that-data-do/

• [45] M. Specia، «سازمان ملل دریافت که سیری و الکسا سوگیری جنسیتی را تقویت می‌کنند»، The New York Times، مه ۲۰۱۹ (اردیبهشت ۱۳۹۸ تا خرداد ۱۳۹۸). [آنلاین]. قابل‌دسترس در: https://www.nytimes.com/2019/05/22/world/siri-alexa-ai-gender-bias.html

• [46] D. M. West، «نظرسنجی بروکینگز نگرانی‌هایی را در مورد تأثیر هوش مصنوعی بر مشاغل و حریم خصوصی شخصی و نگرانی از عقب ماندن ایالات متحده از چین نشان می‌دهد»، بروکینگز، گزارش فنی، ۲۰۱۸.

• [47] S. Furman و J. Haney، «آیا خانه من هوشمند است یا فقط متصل؟» در کنفرانس بین‌المللی تعامل انسان و کامپیوتر. Cham: Springer، ۲۰۲۰، صص ۲۷۳–۲۸۷.

• [48] A. Kerr، M. Barry و J. D. Kelleher، «انتظارات از هوش مصنوعی و کنش‌گری اخلاق: پیامدهایی برای حکمرانی ارتباطات»، Big Data & Society، جلد ۷، شماره ۱، ص ۲۰۵۳۹۵۱۷۲۰۹۱۵۹۳، ژانویه ۲۰۲۰ (دی ۱۳۹۸ تا بهمن ۱۳۹۸). [آنلاین]. قابل‌دسترس در: http://journals.sagepub.com/doi/10.1177/2053951720915939

• [49] E. Fast و E. Horvitz، «روندهای بلندمدت در درک عمومی از هوش مصنوعی»، سی و یکمین کنفرانس AAAI در مورد هوش مصنوعی، ص ۷، ۲۰۱۷.

• [50] A. Smith و M. Anderson، «اتوماسیون در زندگی روزمره»، مرکز تحقیقات پیو، گزارش فنی، ۲۰۱۷.

• [51] W. H. Ware، «Records, Computers and the Rights of Citizens»، RAND Corporation، Santa Monica, CA، گزارش فنی، ۱۹۷۳. [برخط]. موجود در: https://www.rand.org/pubs/papers/P5077.html.Alsoavailableinprintform. همچنین به‌صورت چاپی موجود است.

• [52] T. Feathers، «Major Universities Are Using Race as a "High Impact Predictor" of Student Success – The Markup»، ۲۰۲۱، بخش: News. [برخط]. موجود در: https://themarkup.org/news/2021/03/02/major-universities-are-using-race-as-a-high-impact-predictor-of-student-success

• [53] L. Kirchner و M. Goldstein، «Access Denied: Faulty Automated Background Checks Freeze Out Renters – The Markup»، ۲۰۲۰، بخش: Locked Out. [برخط]. موجود در: https://themarkup.org/locked-out/2020/05/28/access-denied-faulty-automated-background-checks-freeze-out-renters

• [54] I. Ajunwa، «The Paradox of Automation as Anti-Bias Intervention»، Cardozo L. Rev.، جلد ۴۱، ص ۱۶۷۱، ۲۰۲۰. [برخط]. موجود در: https://heinonline.org/HOL/Page?handle=hein.journals/cdozo41&id=1711&div=&collection=

• [55] M. Bogen و A. Rieke، «Help Wanted: An Examination of Hiring Algorithms, Equity, and Bias»، ۲۰۱۹. [برخط]. موجود در: https://www.upturn.org/reports/2018/hiring-algorithms

• [56] H. Schellmann، «Auditors are testing hiring algorithms for bias, but big questions remain»، ۲۰۲۱. [برخط]. موجود در: https://www.technologyreview.com/2021/02/11/1017955/auditors-testing-ai-hiring-algorithms-bias-big-questions-remain/

• [57] R. Bartlett، A. Morse، R. Stanton و N. Wallace، «Consumer-Lending Discrimination in the FinTech Era»، National Bureau of Economic Research، گزارش فنی w25943، ژوئن ۲۰۱۹ (خرداد ۱۳۹۸ تا تیر ۱۳۹۸). [برخط]. موجود در: https://www.nber.org/papers/w25943

• [58] M. Henry-Nickie، «How artificial intelligence affects financial consumers»، ۲۰۱۹. [برخط]. موجود در: https://www.brookings.edu/research/how-artificial-intelligence-affects-financial-consumers/

• [59] M. Weber، M. Yurochkin، S. Botros و V. Markov، «Black Loans Matter: Distributionally Robust Fairness for Fighting Subgroup Discrimination»، arXiv:2012.01193 [cs]، نوامبر ۲۰۲۰ (آبان ۱۳۹۹ تا آذر ۱۳۹۹)، arXiv: 2012.01193. [برخط]. موجود در: http://arxiv.org/abs/2012.01193

• [60] H. Suresh و J. V. Guttag، «A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle»، arXiv:1901.10002 [cs, stat]، ژوئن ۲۰۲۱ (خرداد ۱۴۰۰ تا تیر ۱۴۰۰)، arXiv: 1901.10002. [برخط]. موجود در: http://arxiv.org/abs/1901.10002

• [61] S. Barocas، M. Hardt و A. Narayanan، «انصاف و یادگیری ماشین» (Fairness and Machine Learning). fairmlbook.org، ۲۰۱۹.

• [62] S. Russell و P. Norvig، «هوش مصنوعی: رویکردی نوین» (Artificial Intelligence: A Modern Approach). ویرایش برخط، ۲۰۲۱، ویرایش چهارم ایالات متحده آمریکا (US)، http://aima.cs.berkeley.edu/index.html.

• [63] A. L. Samuel، «Some Studies in Machine Learning Using the Game of Checkers»، IBM Journal of Research and Development، جلد ۳، شماره ۳، صص ۲۱۰–۲۲۹، ۱۹۵۹.

• [64] S. Milano، M. Taddeo و L. Floridi، «Recommender systems and their ethical challenges»، AI & SOCIETY، جلد ۳۵، دسامبر ۲۰۲۰ (آذر ۱۳۹۹ تا دی ۱۳۹۹).

• [65] K. De Vries، «Identity, Profiling Algorithms and a World of Ambient Intelligence»، Ethics and Information Technology، جلد ۱۲، صص ۷۱–۸۵، مارس ۲۰۱۰ (اسفند ۱۳۸۸ تا فروردین ۱۳۸۹).

• [66] R. Richardson، J. M. Schultz و K. Crawford، «Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, And Justice»، New York University Law Review، جلد ۹۴، ص ۴۲، ۲۰۱۸.

• [67] D. Elliott، R. G. Lowitz و W. C. NFP، «What Is the Cost of Poor Credit?»، واشینگتن، دی‌سی: Urban Institute، ۲۰۱۸.

• [68] W. Haven، «Bias Isn't the Only Problem with Credit Scores - and, No, AI Can't Help»، MIT Technology Review، ژوئن ۲۰۲۱ (خرداد ۱۴۰۰ تا تیر ۱۴۰۰)، https://www.technologyreview.com/2021/06/17/1026519/racial-bias-noisy-data-credit-scores-mortgage-loans-fairness-machine-learning/.

• [69] L. Sarkesian و S. Singh، «HUD's New Rule Paves the Way for Rampant Algorithmic Discrimination in Housing Decisions»، New America، اکتبر ۲۰۲۰ (مهر ۱۳۹۹ تا آبان ۱۳۹۹)، https://www.newamerica.org/oti/blog/huds-new-rule-paves-the-way-for-rampant-algorithmic-discrimination-in-housing-decisions/.

• [70] OECD، «Glossary of statistical terms»، منبع برخط OECD، ژوئیه ۲۰۰۷ (تیر ۱۳۸۶ تا مرداد ۱۳۸۶)، https://stats.oecd.org/glossary/detail.asp?ID=3605.