کتاب راهنمای چارچوب مدیریت ریسک هوش مصنوعی — حاکمیت

سیاست‌ها و رویه‌هایی برای تعریف و تمایز نقش‌ها و مسئولیت‌ها در پیکربندی‌های انسان–هوش مصنوعی و نظارت بر سامانه‌های هوش مصنوعی وجود دارد.

درباره

شناسایی و مدیریت «ریسک»‌ها و اثرهای هوش مصنوعی زمانی تقویت می‌شود که مجموعه گسترده‌ای از دیدگاه‌ها و کنشگران در سراسر چرخه عمر هوش مصنوعی، از جمله تخصص‌های فنی، حقوقی، انطباق، علوم اجتماعی و عوامل انسانی، درگیر شوند. «کنشگران هوش مصنوعی» شامل کسانی هستند که سامانه‌های هوش مصنوعی را برای وظایف پایین‌دستی به‌کار می‌گیرند، استفاده می‌کنند یا با آن‌ها تعامل دارند، یا عملکرد سامانه هوش مصنوعی را «پایش» می‌کنند. تلاش‌های اثربخش «مدیریت ریسک» شامل موارد زیر است:

• تعاریف روشن و تمایزبخش نقش‌ها و مسئولیت‌های گوناگون انسانی برای نظارت و «حکمرانی» سامانه هوش مصنوعی

• شناخت و شفاف‌سازی تفاوت‌های میان ناظران سامانه هوش مصنوعی و کسانی که از سامانه‌های هوش مصنوعی استفاده می‌کنند یا با آن‌ها تعامل دارند.

اقدامات پیشنهادی

• تدوین سیاست‌ها و رویه‌هایی که نقش‌ها و مسئولیت‌های گوناگون انسانی هنگام استفاده، تعامل یا پایش سامانه‌های هوش مصنوعی را تعریف و متمایز کنند.

• تدوین رویه‌هایی برای ثبت و «رهگیری» اطلاعات ریسک مرتبط با پیکربندی‌های انسان–هوش مصنوعی و پیامدهای مرتبط با آن‌ها.

• تدوین سیاست‌هایی برای ایجاد استانداردهای شایستگی برای کنشگران هوش مصنوعی که وظایف بهره‌برداری از سامانه و وظایف نظارت بر سامانه را انجام می‌دهند.

• تدوین پروتکل‌های آموزشی مشخص مدیریت ریسک برای کنشگران هوش مصنوعی که وظایف بهره‌برداری از سامانه و وظایف نظارت بر سامانه را انجام می‌دهند.

• تدوین سیاست‌ها و رویه‌هایی درباره نقش‌های کنشگر هوش مصنوعی و مسئولیت‌ها برای «نظارت انسانی» بر سامانه‌های مستقرشده.

• تدوین سیاست‌ها و رویه‌هایی که پیکربندی‌های انسان–هوش مصنوعی (پیکربندی‌هایی که در آن‌ها سامانه‌های هوش مصنوعی به‌صورت صریح به‌عنوان اعضای تیم در تیم‌های عمدتاً انسانی تعیین و تلقی می‌شوند) را در ارتباط با آستانه‌های تحمل ریسک سازمانی و مستندات مرتبط تعریف می‌کنند.

• تدوین سیاست‌هایی برای تقویت توضیح‌پذیری، «تفسیر» و «شفافیت» کلی سامانه‌های هوش مصنوعی.

• تدوین سیاست‌هایی برای مدیریت ریسک‌های مربوط به دشواری‌های شناخته‌شده در پیکربندی‌های انسان–هوش مصنوعی، تیم‌سازی انسان–هوش مصنوعی، و تجربه و تعامل کاربر سامانه هوش مصنوعی (UI/UX).

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• چه نوع اطلاعاتی درباره طراحی، عملیات و محدودیت‌های سامانه هوش مصنوعی برای ذی‌نفعان بیرونی، از جمله کاربران نهایی، مصرف‌کنندگان، نهادهای نظارتی و افراد متأثر از استفاده از سامانه هوش مصنوعی، در دسترس است؟

• نهاد تا چه اندازه سطح مناسبِ مشارکت انسانی در تصمیم‌گیری‌های تقویت‌شده با هوش مصنوعی را مستند کرده است؟

• انسان(های) پاسخگو چگونه تغییرات در دقت و صحت ناشی از تلاش‌های یک مهاجم برای اخلال در هوش مصنوعی یا تغییرات نامرتبط در محیط عملیاتی/کسب‌وکار را — که ممکن است بر دقت هوش مصنوعی اثر بگذارد — رسیدگی خواهند کرد؟

• نهاد تا چه اندازه نقش‌ها، مسئولیت‌ها و اختیارات تفویض‌شده را برای ذی‌نفعان مربوط شفاف کرده است؟

• نهاد چگونه ارزیابی می‌کند که آیا کارکنان مهارت‌ها، آموزش‌ها، منابع و دانش «دامنه»‌ای لازم را برای ایفای مسئولیت‌های محول‌شده دارند؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP: AI Accountability Framework for Federal Agencies & Other Entities.

• • Intel.gov: AI Ethics Framework for Intelligence Community - 2020.

• WEF Companion to the Model AI Governance Framework- 2020.

مراجع

Madeleine Clare Elish, "Moral Crumple Zones: Cautionary tales in human-robot interaction," Engaging Science, Technology, and Society, Vol. 5, 2019.

• «Human-AI Teaming: State-Of-The-Art and Research Needs»، National Academies of Sciences, Engineering, and Medicine, 2022.

Ben Green, "The Flaws Of Policies Requiring Human Oversight Of Government Algorithms," Computer Law & Security Review 45 (2022). Off. Comptroller Currency, Comptroller’s Handbook: Model Risk Management (Aug. 2021).

سیاست‌ها و رویه‌های سازمانی برای تقویت تفکر انتقادی و ذهنیت «ایمنی‌محور» (safety-first) در طراحی، توسعه، استقرار و استفاده از سامانه‌های هوش مصنوعی (AI systems) به‌منظور به حداقل رساندن پیامدهای منفی، برقرار هستند.

درباره

فرهنگ ریسک و رویه‌های همراه آن می‌توانند به سازمان‌ها کمک کنند تا به‌طور مؤثر بحرانی‌ترین ریسک‌ها را اولویت‌بندی (triage) کنند. سازمان‌ها در برخی صنایع، سه (یا بیشتر) «خط دفاعی» را پیاده‌سازی می‌کنند که در آن تیم‌های مجزا برای جنبه‌های مختلف چرخه حیات سامانه، مانند توسعه، مدیریت ریسک (Risk management) و حسابرسی، پاسخگو (Accountability) هستند. اگرچه رویکرد سنتی سه خط دفاعی ممکن است برای سازمان‌های کوچک‌تر غیرعملی باشد، رهبری سازمان می‌تواند به پرورش یک فرهنگ ریسک قوی از طریق روش‌های دیگر متعهد شود. برای مثال، «چالش مؤثر» (effective challenge)، یک رویه مبتنی بر فرهنگ است که تفکر انتقادی و پرسشگری درباره تصمیمات مهم طراحی و پیاده‌سازی را توسط متخصصانی که دارای اختیار و جایگاه لازم برای ایجاد چنین تغییراتی هستند، تشویق می‌کند.

تیم قرمز (Red-teaming) رویکرد دیگری برای سنجش و مدیریت ریسک است. این رویه شامل آزمون‌های خصمانه سامانه‌های هوش مصنوعی تحت شرایط تنش‌زا برای یافتن حالت‌های شکست یا آسیب‌پذیری‌ها (Vulnerabilities) در سامانه است. تیم‌های قرمز از متخصصان خارجی یا کارکنانی تشکیل شده‌اند که از کنشگران هوش مصنوعی (AI actors) داخلی مستقل هستند.

اقدامات پیشنهادی

• سیاست‌هایی را تدوین کنید که مستلزم گنجاندن عملکردهای نظارتی (حقوقی، انطباق، مدیریت ریسک) از همان ابتدای فرایند طراحی سامانه باشد.

• سیاست‌هایی را تدوین کنید که از طریق سازوکارهایی (mechanisms) مانند سه خط دفاعی، حسابرسی مدل، یا تیم قرمز، چالش مؤثر در تصمیمات طراحی، پیاده‌سازی و استقرار سامانه هوش مصنوعی را ترویج کند تا ریسک‌های محیط کار مانند «تفکر گروهی» (groupthink) به حداقل برسد.

• سیاست‌هایی را تدوین کنید که ذهنیت ایمنی‌محور و تفکر انتقادی و بازبینی کلی را در سطح سازمانی و رویه‌ای تشویق کند.

• برای افراد داخلی که مشکلات جدی ادراک‌شده در سامانه‌های هوش مصنوعی را گزارش می‌دهند، حمایت‌های افشاگرانه (whistleblower protections) ایجاد کنید.

• سیاست‌هایی را برای ادغام ذهنیت پیشگیری از آسیب (Harm) و ریسک در سراسر چرخه حیات هوش مصنوعی تدوین کنید.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• سازمان تا چه حد توسعه، روش‌شناسی آزمون، سنجه‌ها (Metrics) و نتایج عملکرد سامانه هوش مصنوعی را مستند کرده است؟

• آیا رویه‌های اشتراک‌گذاری اطلاعات سازمانی به‌طور گسترده دنبال می‌شوند و شفاف هستند، به‌طوری که بتوان از طراحی‌های شکست‌خورده گذشته اجتناب کرد؟

• آیا کتابچه‌های راهنمای آموزشی و سایر منابع برای انجام واکنش به رخداد (Incident) مستند و در دسترس هستند؟

• آیا فرایندهای گزارش‌دهی رخدادها و شبه‌رخدادها توسط اپراتور، مستند و در دسترس هستند؟

• آشکار کردن عدم تطابق بین عملکرد ادعاشده و عملکرد واقعی سامانه، چگونه می‌تواند به کاربران در درک محدودیت‌ها و پیش‌بینی ریسک‌ها و پیامدها کمک کند؟

منابع شفافیت هوش مصنوعی

• «برگه‌های داده برای مجموعه‌داده‌ها» (Datasheets for Datasets).

• GAO-21-519SP: AI Accountability Framework for Federal Agencies & Other Entities.

• WEF Model AI Governance Framework Assessment 2020.

مراجع

Bd. Governors Fed. Rsrv. Sys., Supervisory Guidance on Model Risk Management, SR Letter 11-7 (Apr. 4, 2011)

Patrick Hall, Navdeep Gill, and Benjamin Cox, “Responsible Machine Learning,” O’Reilly Media, 2020.

Off. Superintendent Fin. Inst. Canada, Enterprise-Wide Model Risk Management for DepositTaking Institutions, E-23 (Sept. 2017).

GAO, “Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities,” GAO@100 (GAO-21-519SP), ژوئن ۲۰۲۱ (خرداد ۱۴۰۰ تا تیر ۱۴۰۰).

Donald Sull, Stefano Turconi, and Charles Sull, “When It Comes to Culture, Does Your Company Walk the Talk?” MIT Sloan Mgmt. Rev., 2020.

Kathy Baxter, AI Ethics Maturity Model, Salesforce.

Upol Ehsan, Q. Vera Liao, Samir Passi, Mark O. Riedl, and Hal Daumé. 2024. Seamful XAI: Operationalizing Seamful Design in Explainable AI. Proc. ACM Hum.-Comput. Interact. 8, CSCW1, Article 119. https://doi.org/10.1145/3637396

تیم‌های سازمانی ریسک‌ها و تأثیرهای بالقوهٔ فناوری هوش مصنوعی‌ای را که طراحی، توسعه، استقرار، ارزیابی و استفاده می‌کنند، مستندسازی نموده و دربارهٔ تأثیرها به‌صورت گسترده‌تر ارتباط برقرار می‌کنند.

درباره

ارزیابی تأثیر یکی از رویکردهای پیش‌بردن شیوه‌های توسعهٔ مسئولانهٔ فناوری است. همچنین در یک مورد کاربردی مشخص، این ارزیابی‌ها می‌توانند ساختاری در سطح کلان برای سازمان‌ها فراهم کنند تا ریسک‌های یک الگوریتم یا استقرار معیّن را قالب‌بندی کنند. ارزیابی تأثیر همچنین می‌تواند سازوکاری برای سازمان‌ها باشد تا ریسک‌ها را بیان کرده و مستنداتی برای فعالیت‌های مدیریت و نظارت تولید کند، زمانی که آسیب‌ها به‌وقوع می‌پیوندند.

ارزیابی تأثیر می‌تواند:

• در آغاز یک فرایند به‌کار رود، اما نیز به‌صورت تکراری و منظم، زیرا اهداف و پیامدها می‌توانند در گذر زمان تحول یابند.

• شامل دیدگاه‌های کنشگران هوش مصنوعی باشد، از جمله بهره‌برداران، کاربران و جامعه‌های بالقوه متأثر (شامل جامعه‌های به‌طور تاریخی حاشیه‌نشین، افراد دارای معلولیت و افراد متأثر از شکاف دیجیتال).

• در تصمیم‌های «ادامه/توقف» (go/no-go) برای یک سامانه هوش مصنوعی یاری‌رسان باشد.

• تضاد منافع یا نفوذ ناموجه مرتبط با تیم سازمانی مورد ارزیابی را در نظر بگیرد.

برای اطلاعات بیشتر دربارهٔ ارزیابی تأثیر، ر.ک. راهنمای کتابچهٔ بازی (Playbook) نگاشت (MAP).

اقدام‌های پیشنهادی

• سیاست‌ها و فرایندهای ارزیابی تأثیر برای سامانه‌های هوش مصنوعی مورد استفادهٔ سازمان تدوین کنید.

• فعالیت‌های ارزیابی تأثیر سازمان را با الزام‌های تنظیمی یا قانونی مرتبط هم‌راستا کنید.

• راستی‌آزمایی کنید که فعالیت‌های ارزیابی تأثیر برای سنجش تأثیر منفی بالقوهٔ یک سامانه و سرعت تغییر آن مناسب هستند و ارزیابی‌ها به‌طور منظم به‌کار می‌روند.

• از ارزیابی‌های تأثیر برای آگاهی‌بخشی به ارزیابی‌های گسترده‌تر ریسک سامانه هوش مصنوعی استفاده کنید.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• نهاد چگونه تأثیرهای بالقوهٔ سوگیری در داده‌ها، از جمله پیامدهای ناعادلانه یا تبعیض‌آمیز را شناسایی و کاهش داده است؟

• نهاد چگونه خاستگاه دادهٔ سامانه هوش مصنوعی را مستند کرده است، شامل منابع، خاستگاه‌ها، دگرگونی‌ها، تقویت‌ها، برچسب‌ها، وابستگی‌ها، محدودیت‌ها و فراداده؟

• نهاد تا چه اندازه مشخصات و الزام‌های فنی سامانه هوش مصنوعی را به‌روشنی تعریف کرده است؟

• نهاد تا چه اندازه روش توسعه، روش‌شناسی آزمون، سنجه‌ها و نتایج عملکرد سامانه هوش مصنوعی را مستند و اطلاع‌رسانی کرده است؟

• آیا مستند کرده و توضیح داده‌اید که خطاهای ماشینی ممکن است با خطاهای انسانی متفاوت باشند؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP: AI Accountability Framework for Federal Agencies & Other Entities.

• Datasheets for Datasets (برگه‌های داده برای مجموعه‌داده‌ها).

منابع

Dillon Reisman, Jason Schultz, Kate Crawford, Meredith Whittaker, “Algorithmic Impact Assessments: A Practical Framework For Public Agency Accountability,” AI Now Institute, 2018.

H.R. 2231, 116th Cong. (2019).

BSA The Software Alliance (2021) Confronting Bias: BSA’s Framework to Build Trust in AI.

Anthony M. Barrett, Dan Hendrycks, Jessica Newman and Brandie Nonnecke. Actionable Guidance for High-Consequence AI Risk Management: Towards Standards Addressing AI Catastrophic Risks. ArXiv abs/2206.08966 (2022) https://arxiv.org/abs/2206.08966

David Wright, “Making Privacy Impact Assessments More Effective." The Information Society 29, 2013.

Konstantinia Charitoudi and Andrew Blyth. A Socio-Technical Approach to Cyber Risk Management and Impact Assessment. Journal of Information Security 4, 1 (2013), 33-41.

Emanuel Moss, Elizabeth Anne Watkins, Ranjit Singh, Madeleine Clare Elish, & Jacob Metcalf. 2021. “Assembling Accountability: Algorithmic Impact Assessment for the Public Interest”.

Microsoft. Responsible AI Impact Assessment Template. 2022. Microsoft. Responsible AI Impact Assessment Guide. 2022. Microsoft. Foundations of assessing harm. 2022.

Mauritz Kop, “AI Impact Assessment & Code of Conduct,” Futurium, مه ۲۰۱۹ (اردیبهشت ۱۳۹۸ تا خرداد ۱۳۹۸).

Dillon Reisman, Jason Schultz, Kate Crawford, and Meredith Whittaker, “Algorithmic Impact Assessments: A Practical Framework For Public Agency Accountability,” AI Now, Apr. 2018.

Andrew D. Selbst, “An Institutional View Of Algorithmic Impact Assessments,” Harvard Journal of Law & Technology, vol. 35, no. 1, 2021

Ada Lovelace Institute. 2022. Algorithmic Impact Assessment: A Case Study in Healthcare. Accessed ۱۴ ژوئیه ۲۰۲۲ (۲۳ تیر ۱۴۰۱).

Kathy Baxter, AI Ethics Maturity Model, Salesforce

Ravit Dotan, Borhane Blili-Hamelin, Ravi Madhavan, Jeanna Matthews, Joshua Scarpino, & Carol Anderson. (2024). A Flexible Maturity Model for AI Governance Based on the NIST AI Risk Management Framework [Technical Report]. IEEE. https://ieeeusa.org/product/aflexible-maturity-model-for-ai-governance

شیوه‌های سازمانی برای امکان‌پذیر ساختن آزمون هوش مصنوعی، شناسایی رخدادها و اشتراک‌گذاری اطلاعات مستقر هستند.

درباره

شناسایی محدودیت‌های «سامانه هوش مصنوعی» (AI system)، تشخیص و «رهگیری» (tracking) پیامدهای منفی و «رخدادها» (Incidents)، و اشتراک‌گذاری اطلاعات درباره این مسائل با «کنشگران هوش مصنوعی» (AI actors) مناسب، «مدیریت ریسک» (risk management) را بهبود خواهد داد. مسائلی مانند رانش مفهومی، «سوگیری» (bias) و تبعیض در هوش مصنوعی، یادگیری میان‌بُر یا تعریف‌نشدگی دقیق با استفاده از فرایندهای آزمون استانداردِ کنونی هوش مصنوعی به‌سختی شناسایی می‌شوند. سازمان‌ها می‌توانند سیاست‌ها و رویه‌های استفاده و آزمون درون‌سازمانی را برای شناسایی و مدیریت این مسائل وضع کنند. این تلاش‌ها می‌توانند در قالب آزمون پیش‌از‌آلفا یا پیش‌از‌بتا، یا استقرار داخلی سیستم‌ها یا محصولات توسعه‌یافته در درون سازمان شکل بگیرند. آزمون ممکن است شامل بسترهای آزمون سامانه هوش مصنوعی محدود و کنترل‌شده درون‌سازمانی یا در دسترس عموم، و دسترس‌پذیری رابط‌ها و خروجی‌های سامانه هوش مصنوعی باشد.

بدون سیاست‌ها و رویه‌هایی که آزمون‌های سازگار را ممکن سازند، تلاش‌های مدیریت ریسک ممکن است دور زده شوند یا نادیده گرفته شوند و «ریسک‌ها» (risks) را تشدید کنند یا به فعالیت‌های مدیریت ریسک ناسازگار بینجامند.

اشتراک‌گذاری اطلاعات درباره پیامدها یا رخدادهای شناسایی‌شده در جریان آزمون یا «استقرار» (deployment) می‌تواند:

• توجه را به ریسک‌ها، شکست‌ها، سوءاستفاده‌ها یا کاربردهای نادرستِ سامانه هوش مصنوعی جلب کند،

• به سازمان‌ها امکان دهد از بینش‌های حاصل از طیف گسترده‌ای از کاربردها و پیاده‌سازی‌های هوش مصنوعی بهره‌مند شوند، و

• به سازمان‌ها امکان دهد در پرهیز از حالت‌های شکست شناخته‌شده فعال‌تر عمل کنند.

سازمان‌ها می‌توانند اشتراک‌گذاری اطلاعات رخدادها با AI Incident Database، AIAAIC، کاربران، جوامع متأثر، یا پایگاه‌های داده سنتی آسیب‌پذیری سایبری مانند فهرست CVE مؤسسه MITRE را در نظر بگیرند.

اقدامات پیشنهادی

• وضع سیاست‌ها و رویه‌ها برای تسهیل و تجهیز آزمون سامانه هوش مصنوعی.

• ایجاد تعهد سازمانی به شناسایی محدودیت‌های سامانه هوش مصنوعی و اشتراک‌گذاری بینش‌ها درباره محدودیت‌ها در میان گروه‌های مناسب کنشگران هوش مصنوعی.

• وضع سیاست‌هایی برای گزارش‌دهی و مستندسازی پاسخ به رخدادها.

• وضع سیاست‌ها و فرایندهایی در مورد افشای عمومی رخدادها و اشتراک‌گذاری اطلاعات.

• وضع رهنمودهایی برای مدیریت رخدادهای مرتبط با ریسک‌ها و عملکرد سامانه هوش مصنوعی.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• آیا سازمان شما مشکلات کاربردپذیری را برطرف کرده و آزموده است که رابط‌های کاربری به هدف‌های موردنظر خود خدمت کرده‌اند؟ مشورت با جامعه یا کاربران نهایی در نخستین مراحل توسعه برای اطمینان از «شفافیت» (transparency) درباره فناوری استفاده‌شده و نحوه استقرار آن.

• آیا سازمان شما سیستمی برای مدیریت ریسک پیاده کرده است تا ریسک‌های ناشی از استقرار راه‌حل هوش مصنوعی شناسایی‌شده (مانند ریسک کارکنان یا تغییر اهداف تجاری) را برطرف کند؟

• کاربران یا طرف‌های متأثر از خروجی‌های سامانه هوش مصنوعی تا چه اندازه می‌توانند سامانه هوش مصنوعی را آزمون کرده و بازخورد ارائه دهند؟

منابع شفافیت هوش مصنوعی

• WEF Model AI Governance Framework Assessment 2020.

• WEF Companion to the Model AI Governance Framework- 2020.

منابع

Sean McGregor, “Preventing Repeated Real World AI Failures by Cataloging Incidents: The AI Incident Database,” arXiv:2011.08512 [cs], Nov. 2020, arXiv:2011.08512.

Christopher Johnson, Mark Badger, David Waltermire, Julie Snyder, and Clem Skorupka, “Guide to cyber threat information sharing,” National Institute of Standards and Technology, NIST Special Publication 800-150, Nov 2016.

Mengyi Wei, Zhixuan Zhou (2022). AI Ethics Issues in Real World: Evidence from AI Incident Database. ArXiv, abs/2206.07635.

BSA The Software Alliance (2021) Confronting Bias: BSA’s Framework to Build Trust in AI. “Using Combined Expertise to Evaluate Web Accessibility,” W3C Web Accessibility Initiative.

سیاست‌ها و رویه‌های سازمانی برای گردآوری، بررسی، اولویت‌بندی و ادغام بازخورد افرادی که بیرون از تیم توسعه‌دهنده یا به‌کاربرنده «سامانه هوش مصنوعی» (AI system) هستند، درباره پیامدهای بالقوه فردی و اجتماعی مرتبط با «ریسک‌های» هوش مصنوعی، برقرارند.

درباره

فراتر از آزمون داخلی و آزمایشگاهی سیستم، سیاست‌ها و رویه‌های سازمانی می‌توانند تناسب سامانه هوش مصنوعی با هدف را در ارتباط با «بستر استفاده» موردنظر در نظر بگیرند.

مشارکت‌جویی ذی‌نفعان یکی از انواع فعالیت‌های کیفی است که به «کنشگران هوش مصنوعی» در پاسخ به پرسش‌هایی مانند اینکه آیا باید پروژه‌ای را دنبال کرد یا چگونه با در نظر داشتن پیامدها طراحی کرد، کمک می‌کند. این نوع بازخورد، با مشارکت کارشناسان «دامنه»، همچنین می‌تواند به کنشگران هوش مصنوعی در شناسایی سناریوها و ریسک‌های نوپدید در برخی کاربردهای هوش مصنوعی یاری رساند. زمان و نحوه تشکیل یک گروه و انواع افراد، گروه‌ها یا سازمان‌های مردمی که باید در آن گنجانده شوند، فرایندی تکرارشونده است که به هدف سیستم و سطح ریسک آن پیوند دارد. عوامل دیگر به چگونگی گردآوری مشارکتی و محترمانه بازخورد و بینش کاربردی ذی‌نفعان مربوط می‌شود، به‌گونه‌ای که صرفاً یک اقدام تشریفاتی نباشد.

بهتر است این فعالیت‌ها توسط افرادی با تخصص در رویه‌های مشارکتی، روش‌های کیفی و ترجمه بازخورد زمینه‌ای برای مخاطبان فنی انجام شود.

مشارکت‌جویی تمرینی یک‌باره نیست و بهترین حالت آن این است که از همان آغاز به‌کارگیری سامانه هوش مصنوعی تا پایان چرخه عمر ادامه یابد. سازمان‌ها می‌توانند در نظر بگیرند که چگونه مشارکت‌جویی را هنگام آغاز یک پروژه و به‌عنوان بخشی از «پایش» سیستم‌ها بگنجانند. مشارکت‌جویی اغلب به‌عنوان یک رویه مشورتی به‌کار می‌رود، اما این نگاه ممکن است ناخواسته به «شست‌وشوی مشارکتی» (participation washing) بینجامد. «شفافیت» سازمانی درباره هدف و مقصود مشارکت‌جویی می‌تواند به کاهش این احتمال کمک کند.

سازمان‌ها همچنین می‌توانند مشورت هدفمند با خبرگان موضوعی را به‌عنوان مکمل یافته‌های مشارکتی در نظر بگیرند. خبرگان می‌توانند به کارکنان داخلی در شناسایی و مفهوم‌پردازی پیامدهای منفی بالقوه‌ای که پیش‌تر در نظر گرفته نشده بودند کمک کنند.

اقدامات پیشنهادی

• تعیین سیاست‌های «مدیریت ریسک» هوش مصنوعی که به‌طور صریح به «سازوکارها»ی گردآوری، ارزیابی و گنجاندن بازخورد ذی‌نفعان و کاربران بپردازند؛ سازوکارهایی که می‌توانند شامل موارد زیر باشند:

• سازوکارهای جبران برای خروجی‌های معیوب سامانه هوش مصنوعی.

• جوایز کشف خطا (bug bounty).

• طراحی «انسان‌محور».

• پژوهش‌های تعامل و تجربه کاربر.

• مشارکت‌جویی ذی‌نفعان با افراد و جوامعی که ممکن است پیامدهای منفی را تجربه کنند.

• تأیید کنید که بازخورد ذی‌نفعان، از جمله نگرانی‌های زیست‌محیطی، در نظر گرفته و رسیدگی شده است و این توجه کل جمعیت کاربران موردنظر را در بر می‌گیرد؛ از جمله جوامعی که به‌طور تاریخی کنار گذاشته شده‌اند، افراد دارای معلولیت، سالمندان و کسانی که دسترسی محدودی به اینترنت و سایر فناوری‌های اساسی دارند.

• شفاف‌سازی اصول سازمان در کاربست سامانه‌های هوش مصنوعی — با در نظر گرفتن اصولی که به‌طور عمومی پیشنهاد شده‌اند — تا ذی‌نفعان بیرونی را از ارزش‌های سازمان آگاه سازد. انتشار یا پذیرش اصول هوش مصنوعی را در نظر بگیرید.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• چه نوع اطلاعاتی درباره طراحی، عملیات و محدودیت‌های سامانه هوش مصنوعی برای ذی‌نفعان بیرونی، از جمله کاربران نهایی، مصرف‌کنندگان، نهادهای نظارتی و افرادی که از کاربرد سامانه هوش مصنوعی تأثیر می‌پذیرند، در دسترس است؟

• نهاد تا چه اندازه نقش‌ها، مسئولیت‌ها و اختیارات تفویض‌شده را برای ذی‌نفعان مربوط روشن کرده است؟

• اطلاعات در دسترس ذی‌نفعان بیرونی تا چه اندازه به‌سادگی قابل دسترس و به‌روز است؟

• برای کاهش یا کاستن از احتمال «آسیب» چه اقدامی انجام شد؟

• مشارکت ذی‌نفعان: گنجاندن دیدگاه‌های متنوع از جامعه‌ای از ذی‌نفعان در سراسر چرخه عمر هوش مصنوعی برای کاهش ریسک‌ها.

منابع شفافیت هوش مصنوعی

• «برگه‌های داده برای مجموعه‌داده‌ها» (Datasheets for Datasets).

• GAO-21-519SP: چارچوب «پاسخگویی» هوش مصنوعی برای نهادهای فدرال و سایر موجودیت‌ها.

• سیاست‌ها و ابتکارهای هوش مصنوعی، در کتاب Artificial Intelligence in Society، OECD، 2019.

• ذی‌نفعان در هوش مصنوعی توضیح‌پذیر، سپتامبر ۲۰۱۸ (شهریور ۱۳۹۷ تا مهر ۱۳۹۷).

منابع

ISO, "Ergonomics of human-system interaction — Part 210: Human-centered design for interactive systems," ISO 9241-210:2019 (2nd ed.), ژوئیه ۲۰۱۹ (تیر ۱۳۹۸ تا مرداد ۱۳۹۸).

Rumman Chowdhury و Jutta Williams، "Introducing Twitter’s first algorithmic bias bounty challenge"،

Leonard Haas و Sebastian Gießler، "In the realm of paper tigers – exploring the failings of AI ethics guidelines"، AlgorithmWatch، 2020.

Josh Kenway، Camille Francois، دکتر Sasha Costanza-Chock، Inioluwa Deborah Raji و دکتر Joy Buolamwini. 2022. Bug Bounties for Algorithmic Harms? Algorithmic Justice League. بازیابی‌شده در ۱۴ ژوئیه ۲۰۲۲ (۲۳ تیر ۱۴۰۱).

Microsoft Community Jury، راهنمای معماری کاربردهای Azure (Azure Application Architecture Guide).

«تعریف تأیید و اعتبارسنجی مستقل (IV&V)»، در IEEE 1012، استاندارد IEEE برای تأیید و اعتبارسنجی سیستم، نرم‌افزار و سخت‌افزار. ضمیمه C،