کتاب راهنمای چارچوب مدیریت ریسک هوش مصنوعی — حاکمیت

پیشگفتار درباره دفترچه راهنما

این دفترچه راهنما (Playbook) اقدامات پیشنهادی برای تحقق دستاوردهای تعیین‌شده در هسته چارچوب مدیریت ریسک هوش مصنوعی (AI RMF) (جدول‌های ۱ تا ۴ در AI RMF 1.0) را ارائه می‌دهد. پیشنهادها با هر زیرمجموعه در چهار کارکرد چارچوب مدیریت ریسک هوش مصنوعی یعنی حاکمیت (Govern)، نگاشت (Map)، سنجش (Measure) و مدیریت (Manage) هم‌راستا هستند.

این دفترچه راهنما نه فهرستی از موارد بازرسی است و نه مجموعه‌ای از گام‌ها که باید به‌طور کامل دنبال شوند. پیشنهادهای دفترچه راهنما داوطلبانه است. سازمان‌ها می‌توانند از این اطلاعات استفاده کنند و به اندازه مورد نیاز — کم یا زیاد — از پیشنهادهای مرتبط با کاربرد صنعت یا علایق خود بهره بگیرند.

حاکمیت

نگاشت

سنجش مدیریت

سیاست‌ها، فرایندها، رویه‌ها و تمرین‌های عملی مرتبط با توصیف، سنجش و مدیریت «خطرهای» AI (Risks) در سراسر سازمان در جایگاه خود قرار دارند، شفاف‌اند و به‌طور مؤثر اجرا می‌شوند.

الزامات حقوقی و قانون‌گذاری مرتبط با هوش مصنوعی درک، مدیریت و مستند می‌شوند.

درباره

سامانه‌های هوش مصنوعی می‌توانند مشمول الزامات حقوقی و قانون‌گذاری مشخص و قابل‌اجرا باشند. برخی از الزامات حقوقی می‌توانند مستندسازی، افشا و افزایش شفافیت سامانه هوش مصنوعی را الزامی کنند (برای نمونه، الزامات غیرتبعیضی و کنترل‌های حریم خصوصی و امنیت داده‌ها). این الزامات پیچیده‌اند و ممکن است در کاربردها و بافتارهای مختلف قابل‌اجرا نباشند یا با یکدیگر تفاوت داشته باشند.

برای مثال، فرایندهای آزمون سامانه هوش مصنوعی برای سنجش سوگیری، مانند «تأثیر متفاوت»، در بافتار حقوقی به‌صورت یکنواخت به‌کار نمی‌روند. تأثیر متفاوت به‌طور کلی به‌عنوان سیاست یا رویه‌ای در ظاهر خنثی تعریف می‌شود که به‌نحو نامتناسبی به گروهی بر پایه یک ویژگی تحت‌حفاظت آسیب می‌رساند. نکته قابل‌توجه آن است که برخی الگوریتم‌های مدل‌سازی یا تکنیک‌های رفع سوگیری که بر اطلاعات جمعیت‌شناختی متکی‌اند، نیز ممکن است با ممنوعیت‌های حقوقی مربوط به رفتار متفاوت (یعنی تبعیض عمدی) در تعارض قرار گیرند.

افزون بر این، برخی کاربرانِ موردنظر سامانه‌های هوش مصنوعی ممکن است دسترسی یکنواخت یا مطمئنی به فناوری‌های بنیادین اینترنت نداشته باشند (پدیده‌ای که به‌طور گسترده با عنوان «شکاف دیجیتال» توصیف می‌شود) یا ممکن است به دلیل معلولیت یا ناتوانی، در تعامل با سامانه‌های هوش مصنوعی دشواری تجربه کنند. چنین عواملی ممکن است به این معنا باشد که اجتماعات مختلف هنگام تلاش برای دسترسی به سامانه‌های هوش مصنوعی، سوگیری یا سایر اثرات منفی را تجربه می‌کنند. عدم رسیدگی به این مسائل طراحی می‌تواند ریسک‌های حقوقی ایجاد کند؛ برای مثال در فعالیت‌های مرتبط با اشتغال که بر افراد دارای معلولیت اثر می‌گذارد.

اقدامات پیشنهادی

• حفظ آگاهی از ملاحظات و الزامات حقوقی و قانون‌گذاریِ قابل‌اجرا و خاصِ صنعت، بخش و هدف تجاری، و نیز بافتار کاربرد سامانه هوش مصنوعی مستقرشده.

• همسوسازی تلاش‌های مدیریت ریسک با استانداردهای حقوقی قابل‌اجرا.

• نگهداری سیاست‌هایی برای آموزش (و آموزش مجدد) کارکنان سازمان درباره ملاحظات حقوقی یا قانون‌گذاریِ لازم که ممکن است بر فعالیت‌های طراحی، توسعه و استقرار مرتبط با هوش مصنوعی اثر بگذارد.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• موجودیت تا چه اندازه محیط قانون‌گذاری — شامل حداقل الزامات در قوانین و مقررات — را تعریف و مستند کرده است؟

• آیا انطباق سامانه با قوانین، مقررات، استانداردها و راهنماهای قابل‌اجرا بررسی شده است؟

• موجودیت تا چه اندازه محیط قانون‌گذاری — شامل الزامات قابل‌اجرا در قوانین و مقررات — را تعریف و مستند کرده است؟

• آیا انطباق سامانه با قوانین، مقررات، استانداردها و راهنماهای مرتبط و قابل‌اجرا بررسی شده است؟

منابع شفافیت هوش مصنوعی

GAO-21-519SP: AI Accountability Framework for Federal Agencies & Other Entities.

منابع

Andrew Smith, "Using Artificial Intelligence and Algorithms," FTC Business Blog (2020).

Rebecca Kelly Slaughter, "Algorithms and Economic Justice," ISP Digital Future Whitepaper & YJoLT Special Publication (2021).

Patrick Hall, Benjamin Cox, Steven Dickerson, Arjun Ravi Kannan, Raghu Kulkarni, and Nicholas Schmidt, "A United States fair lending perspective on machine learning," Frontiers in Artificial Intelligence 4 (2021).

AI Hiring Tools and the Law, Partnership on Employment & Accessible Technology (PEAT, peatworks.org).

ویژگی‌های هوش مصنوعی اعتماد‌پذیر (Trustworthy AI) در سیاست‌ها، فرایندها و رویه‌های سازمانی ادغام یافته است.

درباره

سیاست‌ها، فرایندها و رویه‌ها اجزای اصلی مدیریت ریسک (Risk management) مؤثر هوش مصنوعی (AI) و بنیان پاسخگویی (Accountability) فردی و سازمانی‌اند. همه ذی‌نفعان (Stakeholder) از سیاست‌ها، فرایندها و رویه‌هایی که پیشگیری از آسیب (Harm) را از طریق طراحی و به‌صورت پیش‌فرض الزامی می‌کنند، بهره‌مند می‌شوند.

سیاست‌ها و رویه‌های سازمانی بسته به منابع موجود و پروفایل‌های ریسک (Risk) متفاوت خواهند بود، اما می‌توانند به نظام‌مند کردن نقش‌ها و مسئولیت‌های کنشگران هوش مصنوعی (AI Actor) در سراسر چرخه حیات هوش مصنوعی کمک کنند. در غیاب چنین سیاست‌هایی، مدیریت ریسک می‌تواند در سراسر سازمان ذهنی باشد و به مرور زمان به‌جای کمینه‌سازی ریسک‌ها، آنها را تشدید کند. سیاست‌ها، یا خلاصه‌های آنها، برای کنشگران هوش مصنوعی مربوطه قابل فهم است. سیاست‌ها بازتاب‌دهنده درکی از سنجه‌ها (Metrics)، اندازه‌گیری‌ها و آزمون‌های پایه‌ای است که برای پشتیبانی از سیاست و طراحی، توسعه، استقرار (Deployment) و استفاده از سامانه هوش مصنوعی (AI system) ضروری است.

نبود اطلاعات روشن درباره مسئولیت‌ها و زنجیره‌های فرماندهی، اثربخشی مدیریت ریسک را محدود خواهد کرد.

اقدامات پیشنهادی

بهتر است سیاست‌های سازمانی مدیریت ریسک هوش مصنوعی به‌گونه‌ای طراحی شوند که:

• اصطلاحات و مفاهیم کلیدی مرتبط با سامانه‌های هوش مصنوعی و دامنه اهداف و کاربردهای موردنظر آنها را تعریف کنند.

• حکمرانی (Governance) هوش مصنوعی را به حکمرانی و کنترل‌های ریسک موجود سازمان پیوند دهند.

• با سیاست‌ها و رویه‌های گسترده‌تر حکمرانی داده (Data Governance)، به‌ویژه در استفاده از داده‌های حساس یا در غیر این صورت پرریسک، همسو باشند.

• استانداردهای طراحی آزمایشی، کیفیت داده‌ها و آموزش مدل را به‌تفصیل بیان کنند.

• فرایندها و استانداردهای نگاشت و اندازه‌گیری ریسک را ترسیم و مستند کنند.

• فرایندهای آزمون مدل (Model Testing) و اعتبارسنجی را به‌تفصیل بیان کنند.

• فرایندهای بازبینی برای کارکردهای حقوقی و ریسک را به‌تفصیل بیان کنند.

• بسامد (frequency) و جزئیات فرایندهای پایش (Monitoring)، حسابرسی و بازبینی را تعیین کنند.

• الزامات مدیریت تغییر را ترسیم کنند.

• فرایندهای تعامل با ذی‌نفعان داخلی و خارجی را ترسیم کنند.

• سیاست‌های افشاگری (whistleblower) برای تسهیل گزارش‌دادن نگرانی‌های جدی درباره سامانه هوش مصنوعی وضع کنند.

• برنامه‌های پاسخ به رخداد (Incident) را به‌تفصیل بیان و آزمون کنند.

• تأیید کنند که سیاست‌های رسمی مدیریت ریسک هوش مصنوعی با استانداردهای حقوقی موجود و بهترین شیوه‌ها و هنجارهای صنعت همسو است.

• سیاست‌های مدیریت ریسک هوش مصنوعی وضع کنند که به‌طور کلی با ویژگی‌های قابلیت اعتماد (Trustworthiness) سامانه هوش مصنوعی همسو باشد.

• تأیید کنند که سیاست‌های رسمی مدیریت ریسک هوش مصنوعی شامل سامانه‌های هوش مصنوعی مستقرشده فعلی و سامانه‌های هوش مصنوعی ثالث نیز هست.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• این سیاست‌ها تا چه حد اعتماد و اطمینان عمومی را در استفاده از سامانه هوش مصنوعی تقویت می‌کنند؟

• نهاد چه سیاست‌هایی تدوین کرده است تا اطمینان حاصل شود استفاده از سامانه هوش مصنوعی با ارزش‌ها و اصول اعلامی آن سازگار است؟

• نهاد چه سیاست‌ها و مستنداتی تدوین کرده است تا استفاده از سامانه هوش مصنوعی خود را مطابق با کاربرد موردنظر تشویق کند؟

• خروجی‌های مدل تا چه حد با ارزش‌ها و اصول نهاد برای تقویت اعتماد عمومی و عدالت سازگار است؟

منابع شفافیت هوش مصنوعی

GAO-21-519SP: AI Accountability Framework for Federal Agencies & Other Entities.

منابع

Off. Comptroller Currency, Comptroller’s Handbook: Model Risk Management (Aug. 2021).

GAO, “Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities,” GAO@100 (GAO-21-519SP), ژوئن ۲۰۲۱ (خرداد ۱۴۰۰ تا تیر ۱۴۰۰).

NIST, "U.S. Leadership in AI: A Plan for Federal Engagement in Developing Technical Standards and Related Tools". Lipton, Zachary and McAuley, Julian and Chouldechova, Alexandra, Does mitigating ML’s impact disparity require treatment disparity? Advances in Neural Information Processing Systems, 2018.

Jessica Newman (2023) “A Taxonomy of Trustworthiness for Artificial Intelligence: Connecting Properties of Trustworthiness with Risk Management and the AI Lifecycle,” UC Berkeley Center for Long-Term Cybersecurity.

Emily Hadley (2022). Prioritizing Policies for Furthering Responsible Artificial Intelligence in the United States. 2022 IEEE International Conference on Big Data (Big Data), 5029-5038.

SAS Institute, “The SAS® Data Governance Framework: A Blueprint for Success”.

ISO, “Information technology — Reference Model of Data Management, “ ISO/IEC TR 10032:200.

«Play 5: Create a formal policy»، Partnership on Employment & Accessible Technology (PEAT, peatworks.org).

"National Institute of Standards and Technology. (2018). Framework for improving critical infrastructure cybersecurity.

Kaitlin R. Boeckl and Naomi B. Lefkovitz. "NIST Privacy Framework: A Tool for Improving Privacy Through Enterprise Risk Management, Version 1.0." National Institute of Standards and Technology (NIST), ۱۶ ژانویه ۲۰۲۰ (۲۶ دی ۱۳۹۸).

«plainlanguage.gov – Home»، The U.S. Government.

فرایندها و رویه‌هایی برای تعیین سطح موردنیاز از فعالیت‌های مدیریت ریسک بر پایه تحمل ریسک سازمان در جای خود تعبیه شده است.

درباره این بخش

منابع مدیریت ریسک (Risk management) در هر سازمانی محدود است. سیاست‌های کافی حکمرانی (Governance) هوش مصنوعی، نگاشت، سنجش و اولویت‌بندی خطرها (Risks) را ترسیم می‌کنند تا منابع به سمت مهم‌ترین مسائل مربوط به سامانه هوش مصنوعی (AI system) تخصیص یابد و از این طریق مدیریت ریسک اثربخشی محقق شود. سیاست‌ها می‌توانند فرایندهای نظام‌مند را برای تخصیص خطرهای نگاشت‌شده و سنجیده‌شده به مقیاس‌های استاندارد ریسک مشخص کنند.

تحمل ریسک (Risk tolerance) هوش مصنوعی گستره‌ای از ناچیز تا بحرانی دارد — به‌ترتیب، از تقریباً هیچ ریسکی تا ریسک‌هایی که می‌توانند به زیان‌های جبران‌ناپذیر انسانی، شهرتی، مالی یا زیست‌محیطی بینجامند. سیاست‌های رتبه‌بندی تحمل ریسک منابع گوناگون ریسک را در نظر می‌گیرند (مانند ریسک‌های مالی، عملیاتی، ایمنی (Safety) و رفاهی، کسب‌وکاری، شهرتی یا ریسک مدل (model risk)). یک رویکرد معمول سنجش ریسک، ضرب یا ترکیب کیفیِ شدت سنجیده‌شده یا برآوردشدهٔ اثر و احتمال وقوع اثرها را در قالب یک امتیاز ریسک دربرمی‌گیرد (ریسک ≈ اثر × احتمال). سپس این امتیاز روی یک مقیاس ریسک قرار می‌گیرد. مقیاس‌های ریسک می‌توانند کیفی باشند، مانند طبقه‌بندی قرمز–نارنجی–سبز (Red-amber-green, RAG)، یا ممکن است شامل شبیه‌سازی یا رویکردهای اقتصادسنجی شوند. ارزیابی‌های اثر ابزاری رایج برای فهم شدت خطرهای نگاشت‌شده‌اند. در کامل‌ترین رویکردهای مدیریت ریسک هوش مصنوعی، همه مدل‌ها به یک سطح ریسک اختصاص می‌یابند.

اقدامات پیشنهادی

• وضع سیاست‌هایی برای تعریف سازوکارها (mechanisms) سنجش یا فهم اثرهای بالقوه یک سامانه هوش مصنوعی، برای مثال از طریق ارزیابی‌های منظم اثر در مراحل کلیدی چرخه عمر هوش مصنوعی، مرتبط با اثرهای سامانه و بسامد (frequency) به‌روزرسانی‌های سامانه.

• وضع سیاست‌هایی برای تعریف سازوکارهای سنجش یا فهم احتمال اثرهای یک سامانه هوش مصنوعی و بزرگی آن‌ها در مراحل کلیدی چرخه عمر هوش مصنوعی.

• وضع سیاست‌هایی که مقیاس‌های ارزیابی را برای سنجش اثر بالقوه سامانه هوش مصنوعی تعریف کنند. مقیاس‌ها می‌توانند کیفی باشند، مانند طبقه‌بندی قرمز–نارنجی–سبز (RAG)، یا ممکن است شامل شبیه‌سازی یا رویکردهای اقتصادسنجی شوند.

• وضع سیاست‌هایی برای تعیین رویکرد کلی سنجش ریسک برای یک سامانه هوش مصنوعی یا اجزای مهم آن، برای مثال از طریق ضرب یا ترکیبِ اثر و احتمال یک ریسک نگاشت‌شده (ریسک ≈ اثر × احتمال).

• وضع سیاست‌هایی برای تخصیص سامانه‌ها به مقیاس‌های یکنواخت ریسک که در سراسر سبد هوش مصنوعی سازمان معتبر باشند (مانند قالب‌های مستندسازی)، و اذعان به اینکه تحمل ریسک و سطوح ریسک ممکن است در طول چرخه عمر یک سامانه هوش مصنوعی تغییر کنند.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• سنجه‌ها (Metrics) عملکرد سامانه چگونه تصمیم‌های تحمل ریسک را روشن می‌کنند؟

• نهاد چه سیاست‌هایی را برای اطمینان از انطباق استفاده از سامانه هوش مصنوعی با تحمل ریسک سازمانی تدوین کرده است؟

• ارزیابی‌های امنیت (Security) و حریم خصوصی (Privacy) نهاد چگونه تصمیم‌های تحمل ریسک را روشن می‌کنند؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP: چارچوب پاسخگویی (Accountability) هوش مصنوعی برای نهادهای فدرال و سایر موجودیت‌ها.

مراجع

Board of Governors of the Federal Reserve System. SR 11-7: Guidance on Model Risk Management. (۴ آوریل ۲۰۱۱ (۱۵ فروردین ۱۳۹۰)).

The Office of the Comptroller of the Currency. Enterprise Risk Appetite Statement. (Nov. 20, 2019).

Brenda Boultwood, How to Develop an Enterprise Risk-Rating Approach (Aug. 26, 2021). Global Association of Risk Professionals (garp.org). Accessed Jan. 4, 2023.

GAO-17-63: Enterprise Risk Management: Selected Agencies’ Experiences Illustrate Good Practices in Managing Risk.

فرایند مدیریت ریسک (Risk Management) و پیامدهای آن از طریق سیاست‌ها، رویه‌ها و سایر کنترل‌های شفاف و بر اساس اولویت‌های ریسک سازمانی تثبیت می‌شود.

درباره

سیاست‌ها و رویه‌های روشنِ مرتبط با مستندسازی و شفافیت (Transparency)، تلاش‌ها برای اطلاع‌رسانی نقش‌ها و مسئولیت‌ها در توابع نگاشت (Map)، سنجش (Measure) و مدیریت (Manage) در سراسر چرخه حیات هوش مصنوعی (AI) را تسهیل و تقویت می‌کنند. مستندسازی استانداردشده می‌تواند به سازمان‌ها کمک کند تا فرایندهای مدیریت ریسک هوش مصنوعی را به‌شکل سیستماتیک درونی‌سازی کرده و تلاش‌های پاسخگویی (Accountability) را تقویت کنند. برای مثال، کنشگران هوش مصنوعی (AI Actors) می‌توانند با افزودن اطلاعات تماس خود به سند حاصل از کار، ارتباطات را بهبود بخشند، مالکیت خروجی‌های کاری را افزایش دهند و به‌احتمال زیاد توجه به کیفیت محصول را تقویت کنند. مستندسازی می‌تواند منافع پایین‌دستی مرتبط با بهبود بازتولیدپذیری و استواری (Robustness) سامانه ایجاد کند. رویه‌های مناسب ذخیره‌سازی و دسترسی به مستندات امکان بازیابی سریع اطلاعات حیاتی هنگام بروز یک رخداد (Incident) منفی را فراهم می‌کنند. تلاش‌های یادگیری ماشین (ML) تبیین‌پذیر (مدل‌ها و روش‌های تبیینی) ممکن است بتوانند با ارائه اطلاعات تکمیلی برای بازبینی و تفسیر (Interpretation) توسط کنشگران هوش مصنوعی، شیوه‌های مستندسازی فنی را تقویت کنند.

اقدامات پیشنهادی

• تدوین و مرور منظم سیاست‌های مستندسازی که، از جمله موارد زیر، به اطلاعات مرتبط با موضوعات زیر می‌پردازند:

• اطلاعات تماس کنشگران هوش مصنوعی

• توجیه کسب‌وکاری

• دامنه و کاربردها

• ریسک‌ها و اثرات موردانتظار و بالقوه

• مفروضات و محدودیت‌ها

• توصیف و ویژگی‌سازی داده‌های آموزشی

• روش‌شناسی الگوریتمی

• رویکردهای جایگزین ارزیابی‌شده

• توصیف داده‌های خروجی

• نتایج آزمون و اعتبارسنجی (شامل تجسم‌ها و اطلاعات تبیینی)

• وابستگی‌های پایین‌دستی و بالادستی

• برنامه‌های استقرار (Deployment)، پایش (Monitoring) و مدیریت تغییر

• برنامه‌های تعامل با ذی‌نفعان (Stakeholders)

• راستی‌آزمایی اینکه سیاست‌های مستندسازی برای سامانه‌های هوش مصنوعی در سراسر سازمان استاندارد شده و به‌روز باقی می‌مانند.

• تدوین سیاست‌ها برای یک سیستم فهرست‌برداری مستندات مدل و مرور منظم کامل‌بودن، کاربردپذیری و اثربخشی آن.

• تدوین سازوکارهایی برای مرور منظم اثربخشی فرایندهای مدیریت ریسک.

• شناسایی کنشگران هوش مصنوعیِ مسئول ارزیابی اثربخشی فرایندها و رویکردهای مدیریت ریسک و نیز اصلاح مسیر بر اساس نتایج.

• تدوین سیاست‌ها و فرایندهایی در خصوص افشای عمومی استفاده از هوش مصنوعی و مواد مرتبط با مدیریت ریسک، مانند ارزیابی‌های اثر، ممیزی‌ها، مستندات مدل و نتایج اعتبارسنجی و آزمون.

• مستندسازی و مرور استفاده و اثربخشی انواع مختلف ابزارهای شفافیت و پیروی از استانداردهای صنعت در زمان استفاده از مدل.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• به چه میزان نهاد، نقش‌ها، مسئولیت‌ها و اختیارات تفویض‌شده را برای ذی‌نفعان مربوط شفاف‌سازی کرده است؟

• نقش‌ها، مسئولیت‌ها و تفویض اختیارات کارکنانِ درگیر در طراحی، توسعه، استقرار، ارزیابی و پایش سامانه هوش مصنوعی چیست؟

• پس از استقرار هوش مصنوعی، سنجه‌های عملکرد مناسب مانند دقت چگونه پایش خواهند شد؟ چه میزان جابه‌جایی توزیعی یا انحراف مدل از عملکرد مبنای قابل‌قبول است؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP: AI Accountability Framework for Federal Agencies & Other Entities.

• Intel.gov: AI Ethics Framework for Intelligence Community - 2020.

مراجع

Bd. Governors Fed. Rsrv. Sys., Supervisory Guidance on Model Risk Management, SR Letter 11-7 (Apr. 4, 2011).

Off. Comptroller Currency, Comptroller’s Handbook: Model Risk Management (Aug. 2021).

Margaret Mitchell et al., “Model Cards for Model Reporting.” Proceedings of 2019 FATML Conference.

Timnit Gebru et al., “Datasheets for Datasets,” Communications of the ACM 64, No. 12, 2021.

Emily M. Bender, Batya Friedman, Angelina McMillan-Major (2022). A Guide for Writing Data Statements for Natural Language Processing. University of Washington. Accessed ۱۴ ژوئیه ۲۰۲۲ (۲۳ تیر ۱۴۰۱).

M. Arnold, R. K. E. Bellamy, M. Hind, et al. FactSheets: Increasing trust in AI services through supplier’s declarations of conformity. IBM Journal of Research and Development 63, 4/5 (July-سپتامبر ۲۰۱۹ (شهریور ۱۳۹۸ تا مهر ۱۳۹۸)), 6:1-6:13.

Navdeep Gill, Abhishek Mathur, Marcos V. Conde (2022). A Brief Overview of AI Governance for Responsible Machine Learning Systems. ArXiv, abs/2211.13130.

John Richards, David Piorkowski, Michael Hind, et al. A Human-Centered Methodology for Creating AI FactSheets. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering. Christoph Molnar, Interpretable Machine Learning, lulu.com.

David A. Broniatowski. 2021. Psychological Foundations of Explainability and Interpretability in Artificial Intelligence. National Institute of Standards and Technology (NIST) IR 8367. National Institute of Standards and Technology, Gaithersburg, MD. OECD (2022), “OECD Framework for the Classification of AI systems”, OECD Digital Economy Papers, No. 323, OECD Publishing, Paris.

پایش مستمر و بازبینی دوره‌ای فرایند مدیریت ریسک (Risk management) و پیامدهای آن برنامه‌ریزی شده است؛ نقش‌ها و مسئولیت‌های سازمانی به‌روشنی تعریف شده‌اند، از جمله تعیین بسامد (frequency) بازبینی دوره‌ای.

درباره

سامانه‌های هوش مصنوعی پویا هستند و ممکن است به‌محض استقرار (Deployment) یا پس از استقرار، به شیوه‌های غیرمنتظره‌ای عمل کنند. پایش مستمر فرایندی برای مدیریت ریسک است که برای رهگیری (tracking) مسائل و تغییرات عملکردی غیرمنتظره، به‌صورت بلادرنگ یا با بسامدی معین، در سراسر چرخه عمر سامانه هوش مصنوعی (AI system) به کار می‌رود.

پاسخ به رخداد (Incident) و فرایند «تجدیدنظرخواهی و لغو» از فرایندهای متداول در مدیریت فناوری اطلاعات (Information Technology) هستند. این فرایندها امکان علامت‌گذاری بلادرنگ رخدادهای بالقوه و داوری انسانی درباره پیامدهای سامانه را فراهم می‌کنند.

برقراری و نگهداشت برنامه‌های پاسخ به رخداد می‌تواند احتمال اثرات تجمعی در طول یک رخداد هوش مصنوعی را کاهش دهد. سازمان‌های کوچک‌تر که ممکن است برنامه‌های حکمرانی (Governance) جامعی نداشته باشند، می‌توانند از برنامه‌های پاسخ به رخداد برای مواجهه با خرابی سامانه، سوءاستفاده یا کاربرد نادرست بهره بگیرند.

اقدامات پیشنهادی

• سیاست‌هایی برای تخصیص منابع و ظرفیت مناسب جهت ارزیابی اثرات سامانه‌های هوش مصنوعی بر افراد، جوامع و جامعه وضع کنید.

• سیاست‌ها و رویه‌هایی برای پایش (Monitoring) و رسیدگی به عملکرد و قابلیت اعتماد (Trustworthiness) سامانه هوش مصنوعی، از جمله مسائل سوگیری (Bias) و امنیت (Security)، در سراسر چرخه عمر سامانه وضع کنید.

• سیاست‌هایی برای پاسخ به رخداد سامانه هوش مصنوعی وضع کنید، یا تأیید کنید که سیاست‌های موجود پاسخ به رخداد بر سامانه‌های هوش مصنوعی اعمال می‌شوند.

• سیاست‌هایی برای تعریف کارکردهای سازمانی و کارکنانِ مسئول فعالیت‌های پایش و پاسخ به رخداد سامانه هوش مصنوعی وضع کنید.

• سازوکارهایی (mechanisms) برای امکان‌پذیر کردن اشتراک بازخورد از افراد یا جوامع متأثر درباره اثرات منفی سامانه‌های هوش مصنوعی برقرار کنید.

• سازوکارهایی برای فراهم آوردن امکان اعتراض افراد یا جوامع متأثر به نتایج مشکل‌دار سامانه هوش مصنوعی برقرار کنید.

• سازوکارهای انصراف (opt-out) برقرار کنید.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• سامانه/نهاد تا چه اندازه به‌طور مستمر پیشرفت در جهت اهداف و مقاصد اعلام‌شده را می‌سنجد (Measure)؟

• آیا سازمان شما یک سیستم مدیریت ریسک را برای رسیدگی به ریسک‌ها (Risks)ی مرتبط با استقرار راهکار هوش مصنوعی مشخص‌شده (مانند ریسک پرسنلی یا تغییرات اهداف تجاری) پیاده‌سازی کرده است؟

• آیا سازمان شما به مسائل کاربردپذیری پرداخته و آزموده است که رابط‌های کاربری به مقاصد موردنظر خود خدمت می‌کنند؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP: AI Accountability Framework for Federal Agencies & Other Entities.

• WEF Model AI Governance Framework Assessment 2020.

منابع

National Institute of Standards and Technology. (2018). Framework for improving critical infrastructure cybersecurity.

National Institute of Standards and Technology. (2012). Computer Security Incident Handling Guide. NIST Special Publication 800-61 Revision 2.