فهرست این فصلبخش ۴، فصل ۳۱ — صفحهٔ ۱ از ۹
بخش ۴، فصل ۳۱ — صفحهٔ ۱ از ۹
بهسوی استانداردی برای شناسایی و مدیریت سوگیری در هوش مصنوعی
متن اصلی فارسی با منشأ، شناسه و پیوند استناد پایدار.
۱. هدف و دامنه
Reva Schwartz، Apostol Vassilev، Kristen Greene، Lori Perine، Andrew Burt، Patrick Hall
Reva Schwartz، آزمایشگاه فناوری اطلاعات، مؤسسه ملی استاندارد و فناوری آمریکا
Apostol Vassilev، آزمایشگاه فناوری اطلاعات، بخش امنیت رایانهای، مؤسسه ملی استاندارد و فناوری آمریکا
Kristen Greene، آزمایشگاه فناوری اطلاعات، بخش دسترسی به اطلاعات، مؤسسه ملی استاندارد و فناوری آمریکا
Lori Perine، Andrew Burt، Patrick Hall — BNH.AI
خلاصه اجرایی
با آنکه افراد و جوامع در محیطی که بهطور فزاینده مجازی شده است، در آن و با آن تعامل دارند، اغلب در برابر کالاییشدن ردپای دیجیتال خود آسیبپذیرند. مفاهیم و رفتارهایی که ذاتاً مبهم هستند در این محیط ثبت و کمّیسازی میشوند و برای دستهبندی، طبقهبندی، توصیه یا تصمیمگیری درباره زندگی افراد به کار گرفته میشوند. اگرچه بسیاری از سازمانها میکوشند از این اطلاعات به شیوهای مسئولانه بهره بگیرند، سوگیریها همچنان در فرایندهای فناوری شایعاند و صرفنظر از قصد، میتوانند به پیامدهای زیانبار بینجامند. این پیامدهای زیانبار، حتی اگر سهوی باشند، چالشهای قابلتوجهی برای پرورش اعتماد عمومی به «هوش مصنوعی» (Artificial Intelligence, AI) ایجاد میکنند.
اگرچه رویکردهای بسیاری برای اطمینان از ایمنی و امنیت فناوریهایی که هر روز از آنها استفاده میکنیم وجود دارد، عواملی خاص به هوش مصنوعی هست که منظرهای تازهای را میطلبد. سیستمهای هوش مصنوعی اغلب در بستری قرار میگیرند که در آن بیشترین اثرگذاری را دارند. اینکه این اثرگذاری سودمند است یا زیانبار، پرسشی بنیادین در حوزه هوش مصنوعی قابلاعتماد و مسئولانه است. پیامدهای زیانبار ناشی از هوش مصنوعی نهتنها در سطح فردی یا بنگاهی، بلکه قادرند تا سطح کلانتر جامعه نیز گسترش یابند. گستره خسارت و سرعتی که برنامههای کاربردی هوش مصنوعی یا از طریق تعمیم «مدلهای یادگیری ماشین» (Machine Learning, ML) بزرگ در حوزهها و صنایع گوناگون میتوانند آن را به بار آورند، مستلزم تلاشی هماهنگ است.
Fig. 1. چالش مدیریت سوگیری هوش مصنوعی
کوششهای کنونی برای مقابله با آثار زیانبار «سوگیری» (Bias) هوش مصنوعی همچنان بر عوامل محاسباتی مانند بازنماییپذیری «مجموعهدادهها» (Datasets) و «انصاف» (Fairness) الگوریتمهای یادگیری ماشین متمرکز است. این راهکارها برای کاهش سوگیری حیاتیاند و کار بیشتری نیز باقی مانده است. با این حال، همانگونه که در شکل ۱ نشان داده شده، عوامل انسانی و نهادی و اجتماعیِ ساختاری، منابع مهم دیگری برای سوگیری هوش مصنوعی بهشمار میروند و در حال حاضر نادیده گرفته میشوند. موفقیت در رویارویی با این چالش مستلزم آن است که همه اشکال سوگیری در نظر گرفته شود. این یعنی گسترش دیدگاه ما فراتر از خط لوله یادگیری ماشین برای شناخت و بررسی این موضوع که این فناوری هم درون جامعه ما ساخته میشود و هم بر آن اثر میگذارد.
هوش مصنوعیِ قابل اعتماد و مسئولانه تنها به این بستگی ندارد که یک سامانه هوش مصنوعی مشخص سوگیریدار، منصفانه یا اخلاقی است یا نیست، بلکه به این نیز بستگی دارد که آیا همان کاری را انجام میدهد که ادعا میشود. رویههای متعددی برای تولید مسئولانه هوش مصنوعی وجود دارد. اهمیت «شفافیت» (Transparency)، مجموعهدادهها، و آزمون، ارزیابی، اعتبارسنجی و تأیید (TEVV) را نمیتوان بیش از حد برجسته کرد. عوامل انسانی مانند تکنیکهای طراحی مشارکتی، رویکردهای چندذینفعی و حضور انسان در حلقه نیز برای کاهش «ریسک» (Risk)های مرتبط با «سوگیری» (Bias) در هوش مصنوعی اهمیت دارند. با این حال، هیچیک از این رویهها، جداگانه یا در کنار هم، درمانی همهجانبه در برابر سوگیری نیستند و هر یک، مجموعهای از دامهای خاص خود را به همراه دارد. آنچه در راهکارهای کنونی مغفول مانده، راهنمایی از منظر گستردهترِ «اجتماعیـفناورانه» (SOCIO-TECHNICAL) است که این رویهها را به ارزشهای اجتماعی پیوند میدهد. کارشناسان حوزه هوش مصنوعیِ قابل اعتماد و مسئولانه توصیه میکنند که برای «مدیریت» (Manage) موفقیتآمیز «ریسک» (Risk)های سوگیری در هوش مصنوعی، باید این ارزشها را عملیاتی کنیم و هنجارهای جدیدی درباره نحوه ساختهشدن و بهکارگرفتهشدن هوش مصنوعی پدید آوریم. این سند و کارهای «مؤسسه ملی استاندارد و فناوری آمریکا» (NIST) در حوزه سوگیری هوش مصنوعی، بر پایه یک دیدگاه اجتماعیـفناورانه استوار است.
هدف این سند، آشکارسازی مسائل برجسته در حوزه دشوار سوگیری هوش مصنوعی و برداشتن گام نخست در نقشه راه تدوین راهنمای تفصیلی اجتماعیـفناورانه برای شناسایی و مدیریت سوگیری هوش مصنوعی است. بهطور خاص، این نشریه ویژه:
- اهمیت و چالش سوگیری در «هوش مصنوعی» (AI) را شرح میدهد و نمونههایی از چگونگی و چرایی فرسایش تدریجی اعتماد عمومی توسط آن ارائه میکند؛
- سه دسته سوگیری در هوش مصنوعی — سیستمی، آماری و انسانی — را شناسایی میکند و شرح میدهد که این دستهها چگونه و در کجا به آسیبها دامن میزنند؛
- سه چالش کلی کاهش سوگیری — مجموعهدادهها، آزمون و ارزیابی، و عوامل انسانی — را شرح میدهد و راهنمای مقدماتی برای پرداختن به آنها ارائه میکند.
سوگیری نه پدیدهای تازه است و نه مختص هوش مصنوعی؛ و دستیابی به ریسک صفرِ سوگیری در یک سامانه هوش مصنوعی ممکن نیست. NIST قصد دارد روشهایی برای افزایش اطمینانپذیری، بهبودهای «حکمرانی» (Governance) و رویهای برای شناسایی، فهم، سنجش، مدیریت و کاهش سوگیری تدوین کند. برای دستیابی به این هدف، تکنیکهایی لازم است که انعطافپذیر باشند، بدون توجه به صنعت در بافتارهای گوناگون قابلاجرا باشند و بهآسانی برای گروههای مختلف «ذینفع» (Stakeholder) قابل انتقال باشند. برای مشارکت در رشد این حوزه نوپا، NIST کار خود را در سنجش و ارزیابی سوگیریهای محاسباتی ادامه خواهد داد و در پی ایجاد یک مرکز برای ارزیابی عوامل اجتماعیـفناورانه است. این امر شامل تدوین راهنماها و استانداردهای رسمی، حمایت از فعالیتهای توسعه استاندارد مانند کارگاهها و دورههای اظهارنظر عمومی درباره پیشنویس اسناد، و گفتوگوی مستمر درباره این موضوعات با جامعه ذینفعان خواهد بود.
واژههای کلیدی
سوگیری، «قابلیت اعتماد» (Trustworthiness)، «ایمنی» (Safety) هوش مصنوعی، چرخه حیات هوش مصنوعی، توسعه هوش مصنوعی
قدردانی
نویسندگان از همه کسانی که به فراخوان ما پاسخ دادند و دیدگاههایی درباره پیشنویس این مقاله ارسال کردند، سپاسگزاری میکنند. دیدگاههای دریافتی و منابع پیشنهادی برای بهبود مقاله و مسیر آتی این کار حیاتی بودند. همچنین از بسیاری از افرادی که در بهروزرسانی این سند همکاری کردند، از جمله همکاران ما در NIST، و دیگر داورانی که وقت گذاشتند و بازخوردهای سازنده خود را ارائه دادند، قدردانی میکنیم. از Kyle Fox بهخاطر دیدگاههای بصیرتآمیز، بحثها و مشارکتهای کمنظیرش سپاسگزاریم.
مخاطبان
مخاطب اصلی موردنظر این سند شامل افراد و گروههایی است که مسئول طراحی، توسعه، استقرار، ارزیابی و راهبری سیستمهای هوش مصنوعی (AI) هستند. این سند بر اساس بخشهایی از عموم مردم که بهعلت سوگیری در سیستمهای هوش مصنوعی آسیب یا نابرابری بالقوه را تجربه میکنند، یا از سوگیریهایی که بهتازگی توسط سیستمهای هوش مصنوعی معرفی یا تقویت میشوند متأثر هستند، شکل گرفته و انگیزه گرفته است.
پیشینه
این سند حاصل مرور گسترده ادبیات، گفتوگو با متخصصان حوزههای سوگیری هوش مصنوعی، انصاف و سامانههای اجتماعی–فنی (Socio-technical systems)، کارگاهی درباره سوگیری هوش مصنوعی،۱ و نظرات عمومی درباره نسخه پیشنویس است.۲ بینشهای بهدستآمده از نظرات عمومی در سراسر این سند ادغام شدهاند. مروری کلی و تحلیل مضامین نظرات عمومی منتشر خواهد شد.۳ کارهای پسینی میانی مرتبط با این نشریه شامل تدوین راهنمای رسمی برای ارزیابی و مدیریت ریسکهای سوگیری هوش مصنوعی و مجموعهای از کارگاههای عمومی برای بحث درباره این موضوعات با جامعه ذینفعان و ایجاد اجماع خواهد بود.
اطلاعات علائم تجاری
تمامی علائم تجاری و علائم تجاری ثبتشده متعلق به سازمانهای مربوط به خود هستند.
نشریات ویژه مؤسسه ملی استاندارد و فناوری آمریکا (NIST)
مؤسسه ملی استاندارد و فناوری آمریکا (NIST) با پیشبرد علم اندازهگیری، استانداردها و فناوری به شیوههایی که امنیت اقتصادی را تقویت و کیفیت زندگی ما را بهبود میبخشد، نوآوری و رقابتپذیری صنعتی ایالات متحده را ارتقا میدهد. در میان طیف گسترده فعالیتهای خود، NIST به پژوهشها، استانداردها، ارزیابیها و دادههای موردنیاز برای پیشبرد توسعه، استفاده و اطمینان از هوش مصنوعی قابلاعتماد کمک میکند.
آزمایشگاه فناوری اطلاعات (ITL) در NIST آزمونها، روشهای آزمون، دادههای مرجع، پیادهسازیهای اثبات مفهوم و تحلیلهای فنی را برای پیشبرد توسعه و بهرهوری فناوری اطلاعات گسترش میدهد. مسئولیتهای ITL شامل تدوین استانداردها و راهنماهای مدیریتی، اداری، فنی و فیزیکی است.
این نشریه ویژه بر پرداختن به ریسکها و مدیریت آنها در ارتباط با سوگیری در طراحی، توسعه و استفاده از هوش مصنوعی تمرکز دارد. این نشریه یکی از مجموعه اسناد و کارگاههای مرتبط با چارچوب مدیریت ریسک هوش مصنوعی (AI RMF) مؤسسه NIST است و هدف آن پیشبرد قابلیت اعتماد فناوریهای هوش مصنوعی است. همانند سایر اسناد مجموعه AI RMF، این نشریه اطلاعات مرجع و راهنمای فنی درباره اصطلاحشناسی، فرایندها و رویهها، و آزمون، ارزیابی، اعتبارسنجی و تأیید (TEVV) ارائه میدهد. هرچند راهنمای عملی۴ منتشرشده توسط NIST میتواند بهعنوان مرجعی اطلاعرسان عمل کند، این راهنما داوطلبانه باقی میماند.
محتوای این سند بازتابدهنده رویههای توصیهشده است. این سند قرار نیست بهجای مقررات، قوانین یا سایر راهنماهای الزامی موجود عمل کند یا آنها را جایگزین سازد.
چگونگی خواندن این سند
بخش ۱ هدف و دامنه کار مؤسسه ملی استاندارد و فناوری آمریکا (NIST) در زمینه سوگیری هوش مصنوعی را بیان میکند. بخش ۲ سه دسته سوگیری و چگونگی بروز احتمالی آنها در سفارشگذاری، طراحی، توسعه و استقرار فناوریهای هوش مصنوعی که میتوانند برای تولید پیشبینیها، توصیهها یا تصمیمها به کار روند (مانند استفاده از سیستمهای تصمیمگیری الگوریتمی) را شرح میدهد، و نیز چگونگی اثرگذاری سامانه هوش مصنوعی بر افراد و جوامع یا ایجاد آسیبهای اجتماعی گستردهتر را بررسی میکند. بخش ۳ چالش سوگیری را در سه حوزه اصلی شرح میدهد: مجموعهدادهها؛ آزمون، ارزیابی، اعتبارسنجی و تأیید؛ و عوامل انسانی؛ و راهنمایی عمومی برای مدیریت سوگیری هوش مصنوعی در هر یک از این حوزهها ارائه میکند.
این سند اصطلاحاتی مانند فناوری هوش مصنوعی، سامانه هوش مصنوعی و کاربردهای هوش مصنوعی را به جای یکدیگر به کار میبرد. اصطلاحات مرتبط با خط لوله یادگیری ماشین (Machine Learning, ML)، مانند مدل هوش مصنوعی یا الگوریتم نیز در این سند به جای یکدیگر استفاده شدهاند. بسته به بافت، هرگاه اصطلاح «سامانه» به کار رود، ممکن است به منظومه سازمانی و/یا اجتماعی گستردهتری که فناوری در آن طراحی، توسعه، استقرار و استفاده شده است اشاره کند، نه به کاربرد متداولتر آن در ارتباط با سختافزار یا نرمافزار محاسباتی.
نکات مهم خواندن:
- این سند شامل مجموعهای از روایتهای کوتاه است که در کادرهای قرمز نشان داده شدهاند و برای روشنسازی این موضوع که سوگیری هوش مصنوعی چگونه و چرا میتواند اعتماد عمومی را کاهش دهد، کمک میکنند. ظرافتها و جنبههای جالب در کادرهای آبی برجسته شدهاند و نکات کلیدی به صورت متن قابدار نمایش داده میشوند.
- اصطلاحاتی که در متن به صورت حروف سر مهری (small caps) نمایش داده میشوند، در واژهنامه تعریف شدهاند. با کلیک بر روی واژهای که به صورت سر مهری نشان داده شده است، برای مثال MODEL، خواننده مستقیماً به تعریف آن اصطلاح در واژهنامه هدایت میشود. از آنجا نیز میتوان با کلیک بر روی شماره صفحهای که در پایان تعریف آمده است، بازگشت.
- بهروزرسانی ۲۴ مارس ۲۰۲۲ (۴ فروردین ۱۴۰۱): تغییرات زیر نسبت به نسخه اصلی این سند که در ۱۵ مارس ۲۰۲۲ (۲۴ اسفند ۱۴۰۰) منتشر شد، اعمال شده است:
- اصلاح غلطهای تایپی در متن شکل ۵ و شکل ۷.
- حذف موارد تکراری و اصلاح مدخلهای دارای قالببندی نامناسب در منابع.
- اصلاح یک جمله در متن روایت کوتاه (VIGNETTE) در ص ۷ درباره اثر ارجاعشده در [36].
۱. هدف و دامنه
در اوت ۲۰۱۹ (مرداد ۱۳۹۸ تا شهریور ۱۳۹۸)، مؤسسه ملی استاندارد و فناوری آمریکا (NIST) در اجرای تکلیفی مقرر در یک فرمان اجرایی درباره هوش مصنوعی۵ سند «برنامهای برای مشارکت فدرال در توسعه استانداردهای فنی و ابزارهای مرتبط» [1] را منتشر کرد. این برنامه با تکیه بر نظرات گسترده بخش عمومی و خصوصی، به مشارکتی عمیقتر، منسجمتر و بلندمدت در استانداردهای هوش مصنوعی توصیه کرد «برای کمک به ایالات متحده در شتاببخشیدن به آهنگ توسعه فناوری هوش مصنوعی قابلاطمینان، استوار و اعتمادپذیر». پژوهشهای NIST در حوزه هوش مصنوعی همچنان در همین مسیر بر این موضوع متمرکز است که چگونه قابلیت اعتماد سیستمهای هوش مصنوعی و شیوههای مسئولانه طراحی، توسعه و استقرار چنین سیستمهایی را بسنجیم، ارزیابی کنیم و ارتقا دهیم. NIST با همکاری جامعه هوش مصنوعی، مشخصههای فنی و اجتماعیـفناورانه زیر را شناسایی کرده است که برای پرورش اعتماد در سیستمهای هوش مصنوعی ضرورت دارند: دقت، تبیینپذیری و تفسیرپذیری، حریم خصوصی، قابلیت اطمینان، استواری، ایمنی، و امنیت و تابآوری—و نیز اینکه سوگیریهای زیانبار کاهش یافته یا مهار شوند.
اگرچه هوش مصنوعی بهعنوان یک فناوری دگرگونکننده پتانسیل قابلتوجهی دارد، خطرهای ذاتی نیز بههمراه میآورد. از آنجا که اعتماد و ریسک پیوند نزدیکی با یکدیگر دارند، کار NIST در حوزه هوش مصنوعی اعتمادپذیر و مسئولانه بر توسعه یک چارچوب مدیریت ریسک (RMF) داوطلبانه استوار است. چالشهای منحصربهفرد هوش مصنوعی مستلزم درک عمیقتری از تفاوت ریسکهای هوش مصنوعی با سایر حوزههاست. چارچوب مدیریت ریسک هوش مصنوعی NIST با هدف پرداختن به خطرهای موجود در طراحی، توسعه، استفاده و ارزیابی محصولات، خدمات و سیستمهای هوش مصنوعی برای کارهایی همچون توصیهگری، تشخیص، بازشناسی الگو، و برنامهریزی و تصمیمگیری خودکار تدوین شده است. این چارچوب با هدف امکانپذیر ساختن توسعه و استفاده از هوش مصنوعی به شیوههایی در نظر گرفته شده که قابلیت اعتماد را افزایش دهد، سودمندی را پیش ببرد و به آسیبهای بالقوه پاسخ دهد. NIST از رویکرد چندذینفعی برای ایجاد و نگهداشت راهنماهای عملیِ قابلاجرا از طریق این چارچوب بهره میگیرد؛ راهنماهایی که بتوان آنها را بهطور گسترده بهکار بست.
مدیریت ریسک هوش مصنوعی
مدیریت ریسک هوش مصنوعی در پی کاهش حداقلیِ پیامدهای منفیِ پیشبینیشده و نوپدیدِ سیستمهای هوش مصنوعی است؛ از جمله تهدیدها برای آزادیها و حقوق مدنی. یکی از آن خطرها سوگیری است. سوگیری در قالبهای بسیاری وجود دارد، در سراسر جامعه حضور دارد و میتواند در سیستمهای خودکاری که به تصمیمگیری درباره زندگی ما کمک میکنند ریشه بدواند. اگرچه سوگیری همیشه پدیدهای منفی نیست، برخی سوگیریهای آشکارشده در مدلها و سیستمهای هوش مصنوعی میتوانند پیامدهای منفی بر افراد، سازمانها و جامعه را تداوم و تشدید کنند. این سوگیریها میتوانند بهطور غیرمستقیم اعتماد عمومی به هوش مصنوعی را نیز کاهش دهند. نمونهها کم نیستند؛ نمونههایی که در آنها سوگیری در جنبهای از فناوری هوش مصنوعی و کاربرد آن آسیب زده و بهشکل منفی بر زندگی افراد اثر گذاشته است؛ مانند حوزههای استخدام، [2–7] مراقبتهای سلامت، [8–17] و دادگستری کیفری [18–30]. در حقیقت، موارد فراوانی وجود دارد که در آنها استقرار فناوریهای هوش مصنوعی با نگرانی درباره اینکه آیا سوگیریهای اجتماعی تداوم مییابند یا تشدید میشوند و چگونه، همراه بوده است [31–46].
دیدگاههای عمومی
بسته به کاربرد، بهاحتمال زیاد بیشتر آمریکاییها آگاه نیستند که چه زمانی با فناوریِ مجهز به هوش مصنوعی در تعاملاند [47]. با این حال، این دیدگاه عمومی وجود دارد که برای هوش مصنوعی باید «استاندارد اخلاقی بالاتری» نسبت به سایر اشکال فناوری در نظر گرفته شود [48]. این امر عمدتاً از ادراکها و ترسها درباره از دست دادن کنترل و حریم خصوصی ناشی میشود [46, 49–51].
سوگیری با مفاهیم شفافیت و انصاف در جامعه پیوندی نزدیک دارد. برای بخش بزرگی از عموم مردم، پیشفرضهای نهفته در الگوریتمها بهندرت شفافاند. شبکه پیچیده کد و تصمیمهایی که در طراحی، توسعه و استقرار هوش مصنوعی دخیل بودهاند، بهندرت برای مخاطبان غیرفنی بهسادگی در دسترس یا قابلفهم است. با این همه، بسیاری از افراد بدون رضایت آنها تحت تأثیر فناوریها و سیستمهای هوش مصنوعی قرار میگیرند—یا دادههایشان بهعنوان ورودی برای آنها بهکار میرود؛ برای نمونه هنگامی که برای دانشگاه اقدام میکنند، [52] درخواست آپارتمان جدید میدهند، [53] یا در اینترنت جستوجو میکنند. هنگامی که افراد احساس کنند در هنگام درخواست شغل [2–5, 7, 54–56] یا وام [57–59] بهطور منصفانه ارزیابی نمیشوند، این امر میتواند اعتماد عمومی به فناوری هوش مصنوعی را کاهش دهد [60, 61].
هنگامی که به کاربر نهایی در بستر برخط اطلاعاتی عرضه میشود که او را بر پایه نژاد، سن یا جنسیتش طرد و تحقیر میکند، یا هویت او را بهدرستی بازنمیشناسد، آسیبی پدید میآید [34, 36, 37, 41]. مصرفکنندگان میتوانند از رویههای قیمتگذاری ناعادلانه ناشی از یک کاربرد هوش مصنوعی متأثر شوند، حتی هنگامی که آن کاربرد برای تصمیمگیریهایی که مستقیماً بر فرد اثر میگذارد بهکار نمیرود [43].
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P04-C31-S01
شناسهٔ محتوا KDJ-AI-2026E1-P04-C31-S01-9970B5DC