هوش مصنوعی و سوگیری – یک ارزیابی

هوش مصنوعی و دادگاه‌ها – مواد ویژه قاضیان

«انجمن پیشبرد علوم آمریکا» (American Association for the Advancement of Science, AAAS) مفتخر است که از سوی «مؤسسه ملی استاندارد و فناوری آمریکا» (National Institute of Standards and Technology, NIST) مأموریت تهیه مواد آموزشی درباره «هوش مصنوعی» (Artificial Intelligence, AI) برای قاضیان و دادگاه‌ها را بر عهده داشته است.

از این رو AAAS این مجموعه از مواد آموزشی برای قاضیان را عرضه می‌کند که طیفی گسترده، اما مناسب، از موضوعات را در بر می‌گیرد. (ر.ک. فهرست زیر). هدف AAAS آن است که مجموعه‌ای از تعریف‌ها، تحلیل‌ها و دیدگاه‌های کاربرپسند و دقیق، اما به‌آسانی قابل فهم، درباره انواع اصطلاحات و موضوعاتی که قوه قضائیه باید با آن‌ها آشنا شود، ارائه دهد.

مواد موجود در این مجموعه توسط تیم‌هایی از کارشناسان علوم و حقوق که بر موضوعی خاص تمرکز داشتند تدوین شده است. موضوعاتی که شایسته گنجاندن تشخیص داده شدند، هم بر اساس مأموریتی که از سوی NIST ارائه شد و هم بر اساس راهنمایی‌هایی که AAAS از یک کمیته مشاوره متشکل از گروهی بزرگ و متنوع از کارشناسان حقوق و AI دریافت کرد، برگزیده شده‌اند. سپس پیش‌نویس‌های مواد برای اعضای کمیته مشاوره و «داوران» کارشناس برون‌سازمانی ارسال شد تا پیش از نهایی‌سازی سهم هر تیم از نویسندگان (مقاله، پادکست، پیوست و غیره)، هرگونه پیشنهادی برای اصلاحات به دست آید.

انتظار نمی‌رود که دادگاه‌ها در این مسائل که گاه پیچیده یا فنی هستند، کارشناس شوند. بلکه این مجموعه واقعیت‌ها و مرورهای کلی را به شیوه‌ای ارائه می‌کند که هدفش آگاه ساختن قاضیان از مسائل کلیدی و امکان‌پذیر ساختن دسترسی آسان دادگاه‌ها به اطلاعات سودمند موجود در آن است.

سرانجام، امید است که دادگاه‌ها برخی عناصر نوآورانه این اثر را ارج نهند، به‌ویژه گنجاندن پادکست‌ها را. این پادکست‌ها واقعیت‌ها و تحلیل‌هایی درباره پرسش‌های مهم را در قالبی در اختیار دادگاه‌ها می‌گذارند که می‌تواند برای آن‌ها خوشایند و — با توجه به متن‌های پیاده‌شده همراه آن‌ها — سودمند باشد. AAAS از NIST به این دلیل قدردانی می‌کند که به تیمی از کارشناسان اجازه داد در چارچوب این پروژه، رویکردی پیشرو در ارائه اطلاعات و بینش‌های موردنیاز به دادگاه‌ها به کار گیرد.

مواد این مجموعه عبارت‌اند از:

۱. هوش مصنوعی – مسائل بنیادین و واژه‌نامه

۲. هوش مصنوعی و نظام عدالت (مجموعه پادکست و متن‌های گفتار)

قسمت ۱: هوش مصنوعی و نمره‌های ریسک هوش مصنوعی (۴۹ دقیقه)

قسمت ۲: هوش مصنوعی در حوزه حقوقی – کاربردهای تجاری و غیرمنتظره (۷۰ دقیقه)

قسمت ۳: هوش مصنوعی، تصمیم‌گیری و نقش قضات (۵۸ دقیقه)

3. هوش مصنوعی، اعتمادپذیری و دادرسی

4. هوش مصنوعی، پژوهش حقوقی و تحلیل داده‌های قضایی

5. هوش مصنوعی و سوگیری – یک ارزیابی

قدردانی

انجمن پیشبرد علوم آمریکا (AAAS) مراتب قدردانی خود را از تألیف این اثر توسط Michael Karanicolas، مدیر اجرایی مؤسسه فناوری، حقوق و سیاست‌گذاری در دانشگاه کالیفرنیا، لس‌آنجلس، و Mallory Knodel، مدیر ارشد فناوری مرکز دموکراسی و فناوری، ابراز می‌کند.

ما همچنین از اعضای کمیته مشورتی برای نظرات و راهنمایی‌هایشان در طول طراحی و تولید این اثر سپاسگزاریم: Rediet Abebe، استادیار علوم رایانه، دانشگاه کالیفرنیا، برکلی؛ Theodore F. Claypoole، شریک، Womble, Bond, Dickenson, LLP؛ John Cooke، مدیر، مرکز قضایی فدرال؛ Cynthia Cwik، مشاور ارشد حقوقی، پژوهشگر پیشین دانشگاه استنفورد و شریک پیشین Jones Day و Latham & Watkins؛ Herbert B. Dixon, Jr.، قاضی (بازنشسته)، دادگاه عالی ناحیه کلمبیا و مشاور ارشد حقوقی مرکز فناوری حقوقی و دادگاه، دانشکده حقوق William & Mary؛ Finale Doshi-Velez، دانشیار علوم رایانه، دانشکده مهندسی و علوم کاربردی، دانشگاه هاروارد؛ Paul W. Grimm، قاضی دادگاه ناحیه‌ای ایالات متحده برای ناحیه مریلند؛ James Harris، مشاور فناوری، مرکز ملی دادگاه‌های ایالتی؛ Joseph Sawyer، مدیر توسعه هیئت‌علمی و یادگیری برخط، دانشکده قضایی ملی؛ Elham Tabassi، رئیس دفتر، آزمایشگاه فناوری اطلاعات، مؤسسه ملی استاندارد و فناوری آمریکا (NIST)؛ و Zachary Zarnow، مشاور ارشد مدیریت دادگاه، مرکز ملی دادگاه‌های ایالتی.

AAAS از مشارکت‌های Solomon Assefa، معاون ارشد IBM Research؛ Nicole Clark، مدیرعامل Trellis Research؛ Rebecca Crootof، دانشیار حقوق، دانشکده حقوق دانشگاه ریچموند؛ Patrick Huston، سرتیپ و معاون دادستان کل نظامی برای حقوق و عملیات نظامی، وزارت دفاع ایالات متحده؛ Maia LevyDaniel، وکیل و مشاور سیاست‌گذاری عمومی؛ Matthew Stepka، شریک مدیر Machina Ventures و مدرس دانشکده تجارت Haas، دانشگاه کالیفرنیا، برکلی؛ Peter Stone، استاد دانشکده علوم رایانه و بنیان‌گذار و مدیر گروه پژوهشی عامل‌های یادگیرنده، آزمایشگاه هوش مصنوعی، دانشگاه تگزاس، آستین؛ Rebecca Wexler، استادیار حقوق و هم‌مدیر هیئت‌علمی مرکز حقوق و فناوری برکلی، دانشگاه کالیفرنیا، برکلی؛ و دیگران به‌پاس بازبینی و نظرات ارزشمندشان بر نسخه‌های پیشین مجموعه «هوش مصنوعی و دادگاه‌ها: موارد آموزشی برای قضات» (Artificial Intelligence and the Courts: Materials for Judges) قدردانی می‌کند.

ویراستاری این مقاله بر عهده Joel Ericsen، همکار برنامه، و Alain Norman، همکار ارشد برنامه، حوزه علم و حقوق در AAAS بود. قدردانی ویژه از Theresa Harris، مدیر برنامه مسئولیت علمی، حقوق بشر و حقوق، و Nathaniel Weisenberg، همکار برنامه در AAAS، و نیز از Barbara «Bebe» Holloway از دانشگاه ویرجینیا، به‌پاس مشارکت‌هایشان.

Paula Fry، مدیر خلاقیت و برند AAAS، طرح جلد این نشریه را خلق کرد.

تولید این نشریه و دیگر منابع مجموعه «هوش مصنوعی و دادگاه‌ها: موارد آموزشی برای قضات» با بودجه مؤسسه ملی استاندارد و فناوری آمریکا (NIST) از طریق جایزه 60NANB21D031 انجام شده است.

چکیده

همان‌گونه که نویسندگان این مقاله بر آن تأکید می‌کنند، «داوران بهتر است انتظار داشته باشند که مسائل مرتبط با سوگیری به‌احتمال زیاد، به شکلی یا شکل‌های دیگر، در تقریباً هر حوزه‌ای که تصمیم‌گیری مبتنی بر هوش مصنوعی (AI) رایج شده است بروز کند.» در واقع، مسئلهٔ راه‌های بی‌شماری که سوگیری می‌تواند در هوش مصنوعی نهفته باشد، مورد توجه فزاینده‌ای قرار دارد و برای پرداختن به آن، تنوعی از دیدگاه‌ها لازم است؛ این مقاله بسیاری از دیدگاه‌های مهم و کنونی را به‌نحو احسن در بر می‌گیرد. دادگاه‌ها تمایل خواهند داشت در نظر بگیرند که سوگیری چه زمانی و چگونه با پیامدهای تبعیض‌آمیز مرتبط می‌شود (مثلاً در پرونده‌های اشتغال یا مسکن)، و نیز خاستگاه‌های گوناگون احتمالی سوگیری در یک سامانه هوش مصنوعی معیّن کدام‌اند (مثلاً مجموعه‌داده‌ها، طراحی یا استقرار). همچنین، دشواری‌های مربوط به «تبیین‌پذیری» هوش مصنوعی ممکن است اثبات قصد تبعیض‌آمیز لازم را دشوار سازد، اما چارچوب «FAccT» (انصاف، پاسخگویی و شفافیت) می‌تواند به دادگاه‌ها و نیز توسعه‌دهندگان سامانه‌های هوش مصنوعی در فهم میزان یا ماهیت سوگیری‌های ممکن کمک کند.

[ر.ک. همچنین: انتشار ویژه NIST (NIST SP) – 1270، «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence»، مارس ۲۰۲۲ (اسفند ۱۴۰۰ تا فروردین ۱۴۰۱)، در: https://www.nist.gov/publications/towards-standard-identifying-and- managing-bias-artificial-intelligence.]

نویسندگان:

Michael Karanicolas، مدیر اجرایی، Institute for Technology Law and Policy، دانشگاه کالیفرنیا، لس‌آنجلس

Mallory Knodel، مدیر ارشد فناوری، Center for Democracy and Technology

از آنجا که سهم فزاینده‌ای از زندگی ما توسط سیستم‌های هوش مصنوعی (Artificial Intelligence, AI)^۱ در حوزه‌های خصوصی و عمومی اداره می‌شود، پرسش‌های مربوط به دقت و انصاف (Fairness) آن‌ها هر روز فوری‌تر شده است. نگرانی درباره سوگیری (Bias) شاید متناقض‌نما به نظر برسد، زیرا طرفداران هوش مصنوعی اغلب به این توانایی آن اشاره می‌کنند که نشانگرهای معمول سوگیری انسانی (Human Bias) را از تصمیم‌گیری حذف کرده و ارزیابی‌های ذهنی — مثلاً درباره قابلیت اعتماد (Trustworthiness) یا نیازمندی یک فرد — را با مقادیرِ به‌صورت مکانیکی تولیدشده جایگزین می‌کند.^۲ با این حال، حجم قابل‌توجهی از پژوهش‌ها نشان می‌دهد که سیستم‌های هوش مصنوعی نه‌تنها می‌توانند آسیب‌های نو و پیامدهای تبعیض‌آمیز پدید آورند، بلکه الگوریتم‌های سوگیرانه یا تبعیض‌آمیز ممکن است حتی خطرناک‌تر از تصمیم‌گیرندگان انسانی باشند، زیرا الگوریتم‌ها پشت نقاب بی‌طرفی پنهان می‌شوند.^۳

این بخش خاستگاه سوگیری در تصمیم‌گیری خودکار و نیز پیامدهای آن را در هر دو بخش عمومی و خصوصی معرفی می‌کند. در پایان نیز به بررسی ارتباط این پیامدها با مفاهیم کلیدی حقوقی و وضعیت پژوهش‌های حقوقی در ارزیابی این پرسش‌ها می‌پردازد. هدف ما این است که به خوانندگان مقدمه‌ای کلی درباره سوگیری در بستر هوش مصنوعی ارائه دهیم؛ اینکه سوگیری‌های هوش مصنوعی چگونه بر جامعه و حوزه حقوق اثر می‌گذارند، چارچوب حقوقی کنونی چگونه به سوگیری هوش مصنوعی می‌پردازد، و داوران در مواجهه با پرسش‌های مرتبط با سوگیری هوش مصنوعی بهتر است چه ملاحظاتی را در نظر داشته باشند. این بخش با مروری بر این موضوع آغاز می‌شود که نظام حقوقی آیا از پیش به سوگیری می‌پردازد و چگونه.

برای آنکه فهم ما از سوگیری در سیستم‌های AI به‌درستی شکل گیرد، نخست لازم است چند مسیر را بررسی کنیم که از طریق آن‌ها سیستم حقوقی ما با هم سوگیری آشکار و هم سوگیری ضمنی درگیر می‌شود. در سطح فردی، معمولاً از وکلا و قضات انتظار می‌رود از رفتار تبعیض‌آمیز یا آزاردهنده پرهیز کنند. بخش «Misconduct» (سوءرفتار) در «مقررات نمونه رفتار حرفه‌ای» (Model Rules of Professional Conduct) انجمن حقوقدانان آمریکا، «رفتاری که وکیل می‌داند یا به‌طور معقول باید بداند که آزار یا تبعیض بر اساس نژاد، جنسیت، دین، ملیت، قومیت، معلولیت، سن، گرایش جنسی، هویت جنسیتی، وضعیت تأهل یا وضعیت اجتماعی‑اقتصادی در فعالیت‌های مرتبط با وکالت است» را ممنوع می‌کند.^۴ قضات نیز مکلف‌اند وظایف خود را بدون سوگیری یا پیش‌داوری انجام دهند، از بروز سوگیری یا پیش‌داوری خودداری کنند و «عدالت را بدون توجه به اشخاص اجرا کنند.»^۵

به‌طور تاریخی، رایج‌ترین پرسش‌های حقوقی مرتبط با سوگیری معمولاً حول تبعیض در اشتغال یا مسکن بروز می‌کرد.^۶ اخیراً، سیستم عدالت کیفری یکی از حوزه‌های اصلی تمرکز بوده است؛ از جمله رفتارهای تبعیض‌آمیز پلیس،^۷ وکلا،^۸ قضات،^۹ اعضای هیئت منصفه،^۱۰ شهود^۱۱ و حتی کارکنان دادگاه.^۱۲

این مقوله‌های گوناگون را می‌توان باز هم ریزتر کرد تا هم سوگیری آگاهانه و هم سوگیری ناهشیار را در بر بگیرد، که دومی همان سوگیری ضمنی (implicit bias) است و اکنون به‌طور گسترده پذیرفته شده که تأثیری گسترده و مهم بر طیفی از تصمیم‌گیری‌ها و سایر کارکردهای شناختی دارد.^۱۳ نکتهٔ مهم آن است که وجود سوگیری‌های ضمنی، حتی سوگیری‌های نیرومند، به این معنا نیست که افراد همیشه به‌شیوه‌ای سوگیرانه عمل خواهند کرد؛ به‌ویژه از آن رو که ممکن است بتوان این سوگیری‌ها را آگاهانه خنثی کرد.^۱۴ با این حال، با آنکه حرفهٔ حقوقی به تأثیر سوگیری بر تصمیم‌گیری و پیامدها پی برده است، این امر به ضرورت توجه به تأثیرات سوگیری‌های ساختاری انجامیده است، نه تلاش برای ریشه‌کنی افرادِ آشکارا دارای پیش‌داوری.

هرچند هیچ دکترین یکپارچه‌ای وجود ندارد که سیستم حقوقی برای پرداختن به سوگیری از آن استفاده کند، چند اصل وجود دارد که به ملاحظات مربوط به سوگیری مرتبط‌اند. مهم‌ترینِ آن‌ها این است که متمم چهاردهم قانون اساسی ایالات متحده (US) دولت‌های ایالتی را از محروم کردن

یک شخصِ در محدودهٔ صلاحیت قضایی آن‌ها از حمایت برابر قوانین منع می‌کند.^۱۵ در نتیجهٔ متمم پنجم، همین استانداردها بر تصمیمات دولت فدرال، از جمله تصمیمات دادستانی، اعمال می‌شود.^۱۶ با این حال، از سال ۱۹۷۶ دیوان عالی کشور الزامی کرده است که خواهان‌ها برای اثبات نقض، قصد تبعیض‌آمیز را نشان دهند،^۱۷ هرچند این استاندارد به‌دلیل قدیمی بودن، نظر به حجم شواهد مربوط به تأثیرات سوگیری ضمنی، مورد انتقاد قرار گرفته است.^۱۸ با این حال، قانون یا سیاستی که در ظاهر خنثی است، صرفاً به‌دلیل تأثیر برجسته‌تر بر یک گروهِ دارای حمایت قانونی در مقایسه با گروهی دیگر، ذیل بند حمایت برابر باطل نخواهد بود.^۱۹

قصد مستقیم در سیستم‌های AI نادر است؛ این سیستم‌ها عموماً پیامدهای سوگیرانه یا تبعیض‌آمیز را به‌عنوان بازتابی از نقص‌های داده یا طراحی بازمی‌گردانند، نه در پیامد دستورالعمل‌های آشکار. همان‌طور که در بخش بعدی با جزئیات بیشتری بحث می‌شود، «سوگیری انسانی» (Human Bias) می‌تواند در هر مرحله از توسعهٔ سیستم‌های AI وارد شود. این ویژگی‌ها در کنار هم حاکی از آن‌اند که بند حمایت برابر ممکن است منبع اصلی چندانی برای شکل‌دادن به رویهٔ قضایی در این حوزه نباشد یا، برعکس، اینکه رویهٔ قضایی موجود برای مبارزه با تبعیض در بستر اداری که به‌طور فزاینده توسط AI اداره می‌شود، چندان مناسب نیست.^۲۰

هرگاه تصمیمات از نهادهای اداری صادر شوند، حقوق آمریکا همچنین الزامی می‌کند که «ارتباط منطقی میان واقعیات و حکم» وجود داشته باشد.^۲۱ هرچند این استاندارد اکرام قابل‌توجهی برای بازبینی اقدامات نهادهای اداری قائل است، در موارد سوگیری یا خطای سیستم‌های AI بالقوه مرتبط است، بدین‌معنا که این تصمیمات ممکن است از عهدهٔ استاندارد کافیِ «شفافیت» (Transparency) و «تبیین‌پذیری» (Explainability) برنیایند.^۲۲

مطالعه‌ای در سال ۲۰۲۰ نشان داد که نزدیک به چهل‌وپنج (۴۵) درصد از نهادهای فدرال از هوش مصنوعی (AI) یا یادگیری ماشین (ML) برای طیفی از کارکردها از جمله اجرای الزامات مقرراتی و رسیدگی به مزایا و امتیازات دولتی استفاده کرده‌اند.^۲۳ ماهیت این سیستم‌ها باعث می‌شود که بازبینی معنادارِ منطقِ زیربنایی تصمیمات خاص با مقاومت روبه‌رو شود.^۲۴ این امر حاکی از آن است که حقوق آمریکا از توسعه استانداردهای قضایی جدیدی که به‌طور خاص با تصمیم‌گیری‌های مبتنی بر هوش مصنوعی و به‌ویژه با چالش‌های منحصربه‌فردِ ایجادِ حفاظت‌های مستحکم دادرسی منصفانه در بسترِ برون‌دادهای نسبتاً غیرقابل‌فهمِ یک تصمیم‌گیر هوش مصنوعی سروکار داشته باشد، سود خواهد برد.

در مواردی که تصمیمات هوش مصنوعی از نهادهای بخش خصوصی مانند بانک‌ها یا کارفرمایانِ بالقوه یا فعلی صادر شود، تصمیم‌گیریِ سوگیرانه می‌تواند مشمول «قانون حقوق شهروندی» (Civil Rights Act)،^۲۵ «قانون معلولیت آمریکا» (Americans with Disabilities Act, ADA)^۲۶ و بند ۵۰۳ قانون توان‌بخشی^۲۷ و دیگر قوانین قرار گیرد. با این حال، رویه دیوان عالی به‌طور کلی مستلزم وجود «نیت» یا «انگیزه» در تبعیض برای رفتار نامتوافت است، و انتساب این موارد به یک تصمیم‌گیر هوش مصنوعی دشوار است؛ زیرا ماشین‌ها به‌طور معمول همان‌گونه که انسان‌ها نیت‌مندند، نیت‌مندی ندارند.^۲۸

در نبودِ این «نیت» یا «انگیزه»، خواهان‌ها همچنان می‌توانند با نشان‌دادن اینکه یک رویه به‌صورت نامتوافت بر یک گروهِ تحت‌حفاظتِ خاص اثر می‌گذارد، در دعوا پیروز شوند.^۲۹ اگر این اثر نامتوافت به‌اندازه کافی اثبات شود، بار اثبات در خصوص «هماهنگی رویه با ضرورت کسب‌وکار» به طرف خوانده منتقل می‌شود. اگر مشخص شود که رویه‌ای استانداردِ ضرورت کسب‌وکار را برآورده می‌کند، خواهان همچنان می‌تواند پیروز شود، مشروط بر آنکه بتواند ثابت کند رویه‌ای کمتر تبعیض‌آمیز اما به‌اندازه آن معتبر در دسترس بوده که کارفرما از آن استفاده نکرده است.^۳۰

در ارزیابی تبعیض از سوی یک نهاد بخش خصوصی، فقدان «تبیین‌پذیری» (Explainability) در تصمیمات هوش مصنوعی می‌تواند عاملی به‌طرز قابل‌توجهی پیچیده‌کننده باشد؛ زیرا مشخص‌کردنِ «رویه»ی زیربناییِ ایجادکننده اثر نامتوافت دشوار است. یک تصمیم کلی برای گنجاندن سیستم‌های هوش مصنوعی در فرایندهای تصمیم‌گیری، به‌خودی‌خود، برای اثبات چنین نیت یا انگیزه ناروایی دشوار خواهد بود؛ زیرا عوامل نسبتاً بی‌آسیب متعددی مانند کارایی می‌تواند انگیزه یک شرکت برای به‌کارگیری هوش مصنوعی در تصمیم‌گیری‌هایش باشد. باز هم ماهیتِ انسان‌محورِ ذاتیِ سیرِ فقه حقوقی که بر نیت و منطق تکیه دارد، در کوشش برای اعمال همان استانداردها بر یک تصمیم‌گیر هوش مصنوعی با چالش روبه‌رو می‌شود.^۳۱

در پایان، شایسته است به «سوگیری» (Bias) از منظر ساختاری‌تر در حرفه حقوقی توجه شود. حقوق فعالیتی به‌روشنی انسانی است که بر ارزیابی‌های نسبتاً ذهنی از مفاهیمی مانند معقولیت، رضایت یا نیت استوار است.^۳۲ با این حال، هر فردِ درگیر در اجرای عدالت، از سیاست‌گذارانی که قوانین را تدوین می‌کنند تا وکلا و قضاتی که این مفاهیم را تفسیر می‌کنند، با مجموعه‌ای از تجربه‌های زیسته خود و تمام بارِ معنایی‌ای که می‌تواند تولید کند به این مفاهیم می‌نگرد. هیچ‌یک از ما واقعاً لوحی سفید نیستیم. اگرچه راهبردهای متعددی برای رویارویی و کاهش سوگیری وجود دارد، شناساییِ فزاینده شیوع سوگیری همچنین محرکی کلیدی برای تنوع در حرفه حقوقی بوده است، تا نمایندگیِ دیدگاه‌ها و فهم‌های گوناگون از حقوق بهبود یابد.^۳۳ در شیوه اندیشیدن ما به سوگیری در بستر هوش مصنوعی جنبه‌های بدیع بسیاری وجود دارد، اما در هسته خود، این چالش‌ها ادامه چالشی گسترده‌ترند: توسعه ساختارهای حقوقی پاسخ‌گو و نماینده که طیف تجربه‌ها و دیدگاه‌های عمومی را که قرار است به آنان خدمت کنند، بازتاب دهند.

اصطلاح «سیستم‌های هوش مصنوعی» از چند مفهوم فنی تشکیل شده است. هوش مصنوعی (Artificial Intelligence, AI) خودکارسازی‌ای است که هدف آن تقریب به توانایی انسانی است. نوآوری در هوش مصنوعی اغلب با شور و شوق افزایش نمایی سرعت و مقیاس انجام وظایف از طریق خودکارسازی پیش برده می‌شود. فنون امروزی برای دستیابی به خودکارسازی عبارت‌اند از یادگیری ماشین (Machine Learning, ML)، یادگیری عمیق (Deep Learning, DL) و یادگیری فعال.

یادگیری ماشین نوعی الگوریتم هوش مصنوعی است که بر پایه داده‌های آموزشی، خود را بهبود می‌بخشد. چنین سیستم‌هایی «از تجربه می‌آموزند». شیوه «یادگیری» ماشین به ساختار الگوریتمی سیستم بستگی دارد. یادگیری عمیق و یادگیری فعال فنون پیشرفته‌تری هستند که در آن‌ها سیستم «یاد می‌گیرد چگونه بیاموزد»، با مجموعه‌داده‌های از پیش تعیین‌شده (یادگیری عمیق) یا بدون آن‌ها (یادگیری فعال).

سیستم‌های یادگیری ماشین موتورهای استنتاج آماری عظیمی هستند با ظرفیت تولید برون‌دادها از تحلیل داده‌های ورودی انبوه. نکته مهم آن است که ماهیت وابسته به داده در فناوری یادگیری ماشین، هم بنیان ظرفیت‌ها و هم بنیان دام‌های هوش مصنوعی معاصر است. سوگیری انسانی (Human Bias) که از فرایندهای اجتماعی و تاریخی، مانند پیش‌فرض‌های نژادپرستانه، جنسیت‌گرایانه یا سنی‌سالارانه شکل گرفته است، ریشه‌کن نمی‌شود، بلکه در هر گام به فناوری‌های هوش مصنوعی راه می‌یابد و همین امر، ارکان اجتماعی آنچه معمولاً صرفاً فناورانه یا به‌تعریفی تکنوکراتیک تلقی می‌شود را آشکار می‌سازد. سوگیری یادگیری ماشین، یا آنچه در این بخش از آن با عنوان سوگیری (Bias) هوش مصنوعی یاد می‌کنیم، زمانی رخ می‌دهد که چنین الگوریتم‌هایی به دلیل مفروضات نهفته در مراحل گوناگون فرایند یادگیری ماشین، برون‌دادهایی سیستماتیک و مبتنی بر پیش‌داوری یا تبعیض‌آمیز تولید کنند.

راه‌های بسیاری وجود دارد که سوگیری می‌تواند به هوش مصنوعی راه یابد: ساختار داده‌هایی که به سیستم داده می‌شود و معماری الگوریتم هر دو در برون‌دادهای سوگیرانه‌ای که چنین سیستم‌هایی ممکن است تولید کنند نقش دارند. این امر به‌ویژه هنگامی مسئله‌ساز است که چنین سیستم‌هایی برای خودکارسازی فرایندها در نهادهای اجتماعی به کار گرفته شوند؛ زیرا اگر سوگیری موجود در سیستم برطرف نشود، فناوری‌های هوش مصنوعی با این ریسک روبه‌رو می‌شوند که نابرابری‌های نهفته در سیستم‌های اجتماعی ما را خودکار کنند.

حکمرانی هوش مصنوعی مسئله‌ای است که هنگام بررسی استقرار (Deployment) هوش مصنوعی، که مرحله پایانی، حیاتی و تکرارشونده است، بدان بازخواهیم گشت. رویکرد فناوری‌محور برای پرداختن به مسائل انصاف، پاسخگویی و شفافیت در سیستم‌های هوش مصنوعی بر چارچوبی تکیه دارد که فرایند یادگیری ماشین را به اجزای سازنده آن تفکیک می‌کند: طراحی، توسعه و استقرار. ما این فازها را یکی پس از دیگری بررسی می‌کنیم تا روشن شود سوگیری در سیستم‌های هوش مصنوعی از کجا سرچشمه می‌گیرد.^۳۴