سنجش

معیارهای عملکرد یا تضمین سامانه هوش مصنوعی به‌صورت کیفی یا کمّی سنجیده و برای شرایط مشابه بستر(های) استقرار اثبات می‌شوند. سنجش‌ها مستند می‌شوند.

درباره

محیط فعلی ریسک و تأثیر نشان می‌دهد که برآوردهای عملکرد سامانه هوش مصنوعی ناکافی‌اند و نیازمند درک عمیق‌تری از بستر استفاده در استقرار هستند. طرح‌های آزمون و ارزیابی عملکرد با تمرکز بر محاسبات، به مجموعه‌داده‌های آزمون و روش‌های درون‌رایانه‌ای محدودند. این رویکردها ریسک‌ها و تأثیرها را در محیط‌های واقعی به‌طور مستقیم ارزیابی نمی‌کنند و تنها می‌توانند بر اساس تقریبی از استفاده مورد انتظار از هوش مصنوعی، پیش‌بینی کنند چه چیزی ممکن است ایجاد تأثیر کند. برای مدیریت مناسب ریسک‌ها، اطلاعات مستقیم‌تری لازم است تا مشخص شود سامانه هوش مصنوعی مستقرشده چگونه و تحت چه شرایطی تأثیر ایجاد می‌کند، چه کسانی به‌احتمال زیاد بیشترین تأثیر را می‌پذیرند، و آن تجربه چگونه است.

اقدامات پیشنهادی

• تعامل منظم و مستمر با جوامعی که به‌احتمال زیاد تحت تأثیر قرار می‌گیرند

• حفظ تیم داخلی متنوع از نظر جمعیت‌شناختی، چندرشته‌ای و مشارکتی

• آزمون و ارزیابی منظم سامانه‌ها در شرایط بهینه‌نشده، و در همکاری با کنشگران هوش مصنوعی در نقش‌های تعامل کاربر و تجربه کاربری (UI/UX)

• ارزیابی بازخورد حاصل از فعالیت‌های تعامل با ذی‌نفعان، در همکاری با متخصصان عوامل انسانی و اجتماعی‌ـ‌فناورانه

• همکاری با متخصصان اجتماعی‌ـ‌فناورانه، عوامل انسانی و UI/UX برای شناسایی ویژگی‌های برجسته در بستر استفاده که می‌توانند به سناریوهای آزمون سامانه ترجمه شوند

• سنجش سامانه‌های هوش مصنوعی پیش از استقرار در شرایطی مشابه سناریوهای مورد انتظار

• سنجش و مستندسازی معیارهای عملکرد مانند روایی (نرخ مثبت کاذب، نرخ کاذب منفی و غیره) و کارایی (زمان‌های آموزش، تأخیر پیش‌بینی و غیره) مرتبط با حقیقت مبنایی درون بستر استفاده در استقرار

• سنجش معیارهای تضمین مانند شایستگی و تجربه کنشگران هوش مصنوعی

• مستندسازی تفاوت‌های میان بستر سنجش و محیط(های) استقرار

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• چه آزمایش‌هایی در ابتدا روی این مجموعه‌داده اجرا شد؟ آزمایش‌های روی سامانه هوش مصنوعی تا چه میزان مستند شده‌اند؟

• سامانه/نهاد تا چه حد به‌طور مستمر پیشرفت در جهت اهداف و مقاصد اعلام‌شده را می‌سنجد؟

• پس از استقرار هوش مصنوعی، سنجه‌های عملکرد مناسب مانند دقت چگونه پایش خواهند شد؟ چه میزان جابه‌جایی توزیعی یا رانش مدل نسبت به عملکرد مبنا قابل قبول است؟

• با گذر زمان و تغییر شرایط، آیا داده‌های آموزش همچنان نماینده محیط عملیاتی هستند؟

• نهاد چه آزمون‌هایی، در صورت وجود، روی سامانه هوش مصنوعی برای شناسایی خطاها و محدودیت‌ها (یعنی آزمون‌های خصمانه یا تنشی) انجام داده است؟

منابع شفافیت هوش مصنوعی

• Artificial Intelligence Ethics Framework For The Intelligence Community.

• WEF Companion to the Model AI Governance Framework- WEF - Companion to the Model AI Governance Framework, 2020.

• Datasheets for Datasets.

مراجع

Trevor Hastie, Robert Tibshirani, and Jerome Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd ed. Springer-Verlag, 2009.

Jessica Zosa Forde, A. Feder Cooper, Kweku Kwegyir-Aggrey, Chris De Sa, and Michael Littman. "Model Selection's Disparate Impact in Real-World Deep Learning Applications." arXiv preprint, submitted ۷ سپتامبر ۲۰۲۱ (۱۶ شهریور ۱۴۰۰). Inioluwa Deborah Raji, I. Elizabeth Kumar, Aaron Horowitz, and Andrew Selbst. “The Fallacy of AI Functionality.” FAccT '22: 2022 ACM Conference on Fairness, Accountability, and Transparency, ژوئن ۲۰۲۲ (خرداد ۱۴۰۱ تا تیر ۱۴۰۱), 959–72.

Amandalynne Paullada, Inioluwa Deborah Raji, Emily M. Bender, Emily Denton, and Alex Hanna. “Data and Its (Dis)Contents: A Survey of Dataset Development and Use in Machine Learning Research.” Patterns 2, no. 11 (2021): 100336.

Christopher M. Bishop. Pattern Recognition and Machine Learning. New York: Springer, 2006.

Md Johirul Islam, Giang Nguyen, Rangeet Pan, and Hridesh Rajan. "A Comprehensive Study on Deep Learning Bug Characteristics." arXiv preprint, submitted ۳ ژوئن ۲۰۱۹ (۱۳ خرداد ۱۳۹۸).

Swaroop Mishra, Anjana Arunkumar, Bhavdeep Sachdeva, Chris Bryan, and Chitta Baral. "DQI: Measuring Data Quality in NLP." arXiv preprint, submitted ۲ مه ۲۰۲۰ (۱۳ اردیبهشت ۱۳۹۹).

Doug Wielenga. "Paper 073-2007: Identifying and Overcoming Common Data Mining Mistakes." SAS Global Forum 2007: Data Mining and Predictive Modeling, SAS Institute, 2007.

منابع نرم‌افزاری

• کتابخانهٔ Drifter (ارزیابی عملکرد)

• کتابخانهٔ Manifold (ارزیابی عملکرد)

• کتابخانهٔ MLextend (ارزیابی عملکرد)

• کتابخانهٔ PiML (مدل‌های توضیح‌پذیر، ارزیابی عملکرد)

• کتابخانهٔ SALib (ارزیابی عملکرد)

• ابزار What-If (ارزیابی عملکرد)

کارکرد و رفتار «سامانه هوش مصنوعی» (AI system) و اجزای آن — همان‌گونه که در عملکرد «نگاشت» (MAP) مشخص شده — در حین بهره‌برداری در محیط تولید، پایش می‌شود.

درباره

سامانه‌های هوش مصنوعی ممکن است در حین بهره‌برداری در محیط تولید، با مسائل و خطرهای جدیدی مواجه شوند، زیرا محیط در گذر زمان تغییر می‌کند. این اثر که اغلب با عنوان «رانش» (drift) شناخته می‌شود، به این معناست که سامانه‌های هوش مصنوعی دیگر با مفروضات و محدودیت‌های طراحی اولیه منطبق نیستند. پایش منظم به «کنشگران هوش مصنوعی» (AI Actors) امکان می‌دهد کارکرد و رفتار سامانه هوش مصنوعی و اجزای آن — همان‌گونه که در عملکرد نگاشت مشخص شده — را رصد کنند و سرعت و اثربخشی مداخلات ضروری سامانه را افزایش دهند.

اقدامات پیشنهادی

• نحوهٔ تفاوت سنجه‌ها و شاخص‌های عملکردی مشاهده‌شده در محیط تولید با همان سنجه‌های گردآوری‌شده در آزمون‌های پیش از استقرار را پایش و مستند کنید. هنگام مشاهدهٔ تفاوت‌ها، خطرهای انتشار خطا و حلقه‌های بازخورد را در نظر بگیرید.

• از آزمون فرضیه یا تخصص دامنه‌ای انسانی برای سنجش تفاوت‌های توزیع پایش‌شده در داده‌های جدید ورودی یا خروجی نسبت به محیط‌های آزمون استفاده کنید.

• ناهنجاری‌ها را با رویکردهایی مانند حدود کنترل، فواصل اطمینان، قیود یکپارچگی و الگوریتم‌های ML پایش کنید. هنگام مشاهدهٔ ناهنجاری‌ها، خطرهای انتشار خطا و حلقه‌های بازخورد را در نظر بگیرید.

• بررسی کنید که هشدارهایی برای مواقعی که توزیع داده‌های ورودی جدید یا پیش‌بینی‌های تولیدشدهٔ مشاهده‌شده در محیط تولید با نتایج آزمون پیش از استقرار تفاوت دارد، یا هنگام شناسایی ناهنجاری‌ها، در جای خود مستقر شده باشند.

• دقت و کیفیت خروجی‌های تولیدشده را در برابر اطلاعات groundtruth جدیدِ گردآوری‌شده، هر زمان که در دسترس قرار می‌گیرد، ارزیابی کنید.

• از بازبینی انسانی برای ردیابی پردازش داده‌های غیرمنتظره و قابلیت اطمینان خروجی‌های تولیدشده استفاده کنید؛ به کاربران سامانه هنگامی که خروجی‌ها ممکن است غیرقابل‌اعتماد باشند هشدار دهید. بررسی کنید که ناظران انسانیِ مسئول این فرایندها، مسئولیت‌های مشخص و آموزش لازم برای وظایف تعیین‌شده دارند.

• مطابق با سیاست‌های سازمانی و الزامات قانونی یا رشته‌ای (مانند رضایت آگاهانه، تأیید هیئت بازبینی نهادی، «حفاظت از پژوهش‌های انسانی» (Human Research Protections))، موارد کاربرد را از محیط عملیاتی برای فعالیت‌های آزمون و پایش سامانه گردآوری کنید.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• خروجی هر جزء تا چه اندازه برای زمینهٔ عملیاتی مناسب است؟

• چه توجیهاتی، در صورت وجود، نهاد برای مفروضات، مرزها و محدودیت‌های سامانه هوش مصنوعی ارائه کرده است؟

• پس از «استقرار» (Deployment)، سنجه‌های عملکردی مناسب، مانند دقت، چگونه پایش خواهند شد؟

• با گذر زمان و تغییر شرایط، آیا داده‌های آموزشی همچنان نمایندهٔ محیط عملیاتی هستند؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities.

• Artificial Intelligence Ethics Framework For The Intelligence Community.

منابع

Luca Piano, Fabio Garcea, Valentina Gatteschi, Fabrizio Lamberti, and Lia Morra. “Detecting Drift in Deep Learning: A Methodology Primer.” IT Professional 24, no. 5 (2022): 53–60.

Larysa Visengeriyeva, et al. “Awesome MLOps.“ GitHub.

سامانه هوش مصنوعیِ آماده استقرار، دارای روایی و قابلیت اطمینانِ اثبات‌شده است. محدودیت‌های تعمیم‌پذیری فراتر از شرایطی که فناوری در آن‌ها توسعه یافته است، مستند می‌شود.

درباره

سامانه‌ای که اعتبارسنجی نشده باشد یا در اعتبارسنجی ناکام بماند، ممکن است نادقیق یا ناقابل‌اطمینان باشد یا ممکن است به داده‌ها و شرایط خارج از فرایند آموزش خود تعمیم ضعیفی نشان دهد؛ در نتیجه خطرهای هوش مصنوعی را ایجاد و افزایش می‌دهد و قابلیت اعتماد را کاهش می‌دهد. کنشگران هوش مصنوعی می‌توانند با ایجاد فرایندهایی برای بررسی و مستندسازی محدودیت‌های سامانه، روایی آن را بهبود بخشند. این امر شامل توجه گسترده به اهداف و کاربردهایی است که سامانه برای آن‌ها طراحی نشده است.

خطرهای اعتبارسنجی شامل استفاده از شاخص‌های جایگزین (proxies) یا دیگر شاخص‌هاست که معمولاً توسط تیم‌های توسعه هوش مصنوعی برای عملیاتی‌سازی پدیده‌هایی ساخته می‌شوند که یا مستقیماً مشاهده‌پذیر نیستند یا مستقیماً اندازه‌گیری‌پذیر نیستند (مثلاً انصاف، شایستگی استخدام، صداقت، احتمال ارتکاب جرم). تیم‌ها می‌توانند این خطرها را با اثبات اینکه شاخص، مفهومی را می‌سنجد که ادعای سنجش آن را دارد، کاهش دهند (که به آن روایی سازه (construct validity) نیز گفته می‌شود). بدون این اعتبارسنجی و سایر انواع آن، ویژگی‌ها یا اثرات منفی گوناگونی ممکن است کشف نشوند؛ از جمله حضور متغیرهای مداخله‌گر، همبستگی‌های کاذب احتمالی، یا انتشار خطا و اثر احتمالی آن بر سایر سامانه‌های به‌هم‌پیوسته.

اقدامات پیشنهادی

• تعریف شرایط بهره‌برداری و بستر اجتماعی‌ـ‌فناورانه‌ای که سامانه هوش مصنوعی در آن اعتبارسنجی خواهد شد.

• تعریف و مستندسازی فرایندهایی برای تعیین شرایط بهره‌برداری و محدودیت‌های سامانه.

• ایجاد یا شناسایی و مستندسازی رویکردهایی برای سنجش انواع روایی، از جمله:

• روایی سازه (آزمون مفهومی را می‌سنجد که ادعای سنجش آن را دارد)

• روایی درونی (رابطه‌ای که آزمون می‌شود تحت تأثیر عوامل یا متغیرهای دیگر قرار نمی‌گیرد)

• روایی بیرونی (نتایج فراتر از شرایط آموزش قابل تعمیم هستند)

• استفاده از اصول طرح آزمایش و تحلیل‌ها و مدل‌سازی‌های آماری.

• ارزیابی و مستندسازی واریانس سامانه. رویکردهای استاندارد شامل بازه اطمینان، انحراف معیار، خطای معیار، بوت‌استرپینگ یا اعتبارسنجی متقابل است.

• ایجاد یا شناسایی و مستندسازی اقدامات سنجش استواری.

• ایجاد یا شناسایی و مستندسازی اقدامات سنجش قابلیت اطمینان.

• ایجاد رویه‌هایی برای تعیین و مستندسازی مفروضات نهفته در مدل‌های اندازه‌گیری به‌گونه‌ای که شاخص‌های جایگزین، مفهوم در حال سنجش را به‌طور دقیق بازتاب دهند.

• استفاده از رویکردهای استاندارد آزمون نرم‌افزار (مثلاً آزمون واحد، یکپارچگی، کارکردی و آشوب، موارد آزمایشی تولیدشده توسط رایانه و غیره).

• استفاده از روش‌های آماری استاندارد برای آزمون سوگیری، روابط استنباطی، همبستگی و کوواریانس در مدل‌های اندازه‌گیری پذیرفته‌شده.

• استفاده از روش‌های آماری استاندارد برای آزمون واریانس و قابلیت اطمینان پیامدهای سامانه.

• پایش شرایط بهره‌برداری برای شناسایی عملکرد سامانه خارج از محدوده‌های تعریف‌شده.

• شناسایی رویکردهای آزمون، ارزیابی، اعتبارسنجی و تأیید (TEVV) برای بررسی محدودیت‌های سامانه هوش مصنوعی، از جمله سناریوهای آزمایشی متفاوت با محیط بهره‌برداری. مشورت با خبرگان آگاه از بستر استفاده مشخص.

• تعریف اقدامات پس از هشدار. ممکن است اقداماتی شامل موارد زیر باشد:

• هشدار به سایر کنشگران هوش مصنوعی مرتبط پیش از اقدام،

• درخواست بازبینی انسانیِ بعدی نسبت به اقدام،

• هشدار به کاربران پایین‌دستی و ذی‌نفعان مبنی بر اینکه سامانه خارج از محدوده روایی تعریف‌شده خود در حال کار است،

• رهگیری و کاهش خطای احتمالیِ در حال انتشار

• ثبت وقایع اقدامات

• ثبت داده‌های ورودی و اطلاعات پیکربندی مرتبط سامانه، هر زمان که تلاشی برای استفاده از سامانه فراتر از دامنه به‌خوبی تعریف‌شده روایی سامانه صورت گیرد.

• اصلاح سامانه در گذر زمان برای گسترش دامنه روایی آن به شرایط بهره‌برداری جدید.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• این موجودیت چه آزمون‌هایی، در صورت وجود، بر روی سامانه هوش مصنوعی برای شناسایی خطاها و محدودیت‌ها (یعنی آزمون‌های خصمانه یا تنش) انجام داده است؟

• با توجه به هدف این هوش مصنوعی، بازه زمانی مناسبی برای بررسی اینکه آیا هنوز دقیق، بدون سوگیری، توضیح‌پذیر و غیره است چیست؟ بررسی‌های مربوط به این مدل کدام‌اند؟

• این موجودیت چگونه اثرات بالقوه سوگیری در داده‌ها، از جمله پیامدهای ناعادلانه یا تبعیض‌آمیز را شناسایی و کاهش داده است؟

• رویه‌های برقرارشده تا چه اندازه در کاهش سوگیری، نابرابری و سایر دغدغه‌های ناشی از سامانه اثربخش هستند؟

• این موجودیت از طراحی، توسعه و/یا استقرار سامانه هوش مصنوعی به تحقق چه اهداف و مقاصدی امیدوار است؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities.

منابع

Abigail Z. Jacobs and Hanna Wallach. “Measurement and Fairness.” FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, مارس ۲۰۲۱ (اسفند ۱۳۹۹ تا فروردین ۱۴۰۰), 375–85.

Debugging Machine Learning Models. Proceedings of ICLR 2019 Workshop, ۶ مه ۲۰۱۹ (۱۶ اردیبهشت ۱۳۹۸), New Orleans, Louisiana. Patrick Hall. “Strategies for Model Debugging.” Towards Data Science, ۸ نوامبر ۲۰۱۹ (۱۷ آبان ۱۳۹۸).

Suchi Saria و Adarsh Subbaswamy. «Tutorial: Safe and Reliable Machine Learning.» پیش‌چاپ arXiv، ارسال‌شده در ۱۵ آوریل ۲۰۱۹ (۲۶ فروردین ۱۳۹۸).

Google Developers. «Overview of Debugging ML Models.» دوره‌های بنیادین یادگیری ماشین (Machine Learning, ML) Google Developers، بی‌تاریخ.

R. Mohanani، I. Salman، B. Turhan، P. Rodríguez و P. Ralph، «Cognitive Biases in Software Engineering: A Systematic Mapping Study»، در IEEE Transactions on Software Engineering، جلد ۴۶، شماره ۱۲، صص. ۱۳۱۸–۱۳۳۹، دسامبر ۲۰۲۰ (آذر ۱۳۹۹ تا دی ۱۳۹۹).

منابع نرم‌افزاری

• کتابخانه Drifter (ارزیابی عملکرد)

• کتابخانه Manifold (ارزیابی عملکرد)

• کتابخانه MLextend (ارزیابی عملکرد)

• کتابخانه PiML (مدل‌های قابل‌تفسیر، ارزیابی عملکرد)

• کتابخانه SALib (ارزیابی عملکرد)

• ابزار What-If Tool (ارزیابی عملکرد)

سامانه هوش مصنوعی به‌صورت منظم از نظر ریسک‌های ایمنی — آن‌گونه که در کارکرد «نگاشت» (Map) شناسایی شده است — ارزیابی می‌شود. نشان داده می‌شود که سامانه هوش مصنوعیِ در شرف «استقرار» (Deployment) ایمن است، ریسک منفی باقی‌ماندهٔ آن از «تحمل ریسک» (Risk tolerance) فراتر نمی‌رود، و می‌تواند به‌صورت ایمن از کار بیفتد؛ به‌ویژه اگر وادار به کارکردن فراتر از «محدودیت‌های دانش» (Knowledge Limits) خود شود. «سنجه‌ها»ی (Metrics) ایمنی با «قابلیت اطمینان» (Reliability) و «استواری» (Robustness) سیستم، «پایش» (Monitoring) بلادرنگ، و زمان‌های پاسخ به خرابی‌های سامانه هوش مصنوعی مرتبط هستند.

دربارهٔ

بسیاری از سامانه‌های هوش مصنوعی به محیط‌هایی مانند حمل‌ونقل، تولید یا امنیت معرفی می‌شوند که در آن‌ها خرابی‌ها می‌توانند آسیب‌های جسمی یا زیست‌محیطی گوناگونی به بار آورند. سامانه‌های هوش مصنوعی که ممکن است جان انسان، سلامت، اموال یا محیط‌زیست را به خطر بیندازند، پیش از استقرار به‌طور کامل آزمون می‌شوند و به‌صورت منظم ارزیابی می‌گردند تا تأیید شود سامانه در حین عملیات عادی و نیز در شرایطی فراتر از کاربرد پیشنهادی و محدودیت‌های دانش آن ایمن است.

فعالیت‌های سنجش ایمنی اغلب به آزمون جامع در زمینه‌های توسعه و استقرار، درک محدودیت‌های رفتار مطمئن، استوار و ایمنِ سیستم، و پایش بلادرنگ جنبه‌های گوناگون عملکرد سیستم مربوط می‌شود. این فعالیت‌ها معمولاً همراه با سایر وظایف نگاشت، مدیریت و «حکمرانی» (Governance) ریسک انجام می‌شوند؛ مانند پرهیز از طراحی‌های ناموفق پیشین، تدوین و تمرین برنامه‌های پاسخ به «رخداد» (Incident) که امکان پاسخ سریع به مشکلات سیستم را فراهم می‌کنند، ایجاد قابلیت‌های افزونگی برای پوشش خرابی‌ها، و حکمرانی شفاف و پاسخگو. رخدادها یا خرابی‌های ایمنی سیستم اغلب به پویایی‌ها و فرهنگ سازمانی مرتبط گزارش شده‌اند. ممیزان مستقل ممکن است دیدگاه‌های مستقل مهمی برای بازبینی شواهد ایمنی سامانه هوش مصنوعی ارائه دهند.

اقدامات پیشنهادی

• عملکرد سیستم را در زمینه‌های توسعه و استقرار و نیز تحت شرایط تنش به‌طور کامل بسنجید.

• پیش از آزمون در محیط عملیاتی، از ارزیابی داده‌های آزمون و شبیه‌سازی‌ها استفاده کنید. سنجه‌های متعدد کیفیت عملکرد و خطا را ردیابی کنید.

• عملکرد سیستم را با مشورت متخصصان «دامنه» (domain)، تحت سناریوهای به‌احتمال زیاد (مثلاً رانش مفهومی، بار بالا) و فراتر از محدودیت‌های شناخته‌شده، آزمون تنش کنید.

• سیستم را تحت شرایطی مشابه موارد مرتبط با رخدادهای شناخته‌شدهٔ پیشین یا شبه‌رخدادها آزمون کنید و عملکرد سیستم و ویژگی‌های ایمنی را بسنجید.

• رویکردهای مهندسی آشوب را برای آزمون سیستم‌ها در شرایط حدی و سنجش پاسخ‌های غیرمنتظره به کار ببرید.

• دامنهٔ شرایطی را که سیستم در آن‌ها آزمون شده و نشان داده شده است که به‌صورت ایمن از کار می‌افتد، مستند کنید.

• عملکرد سیستم را بلادرنگ بسنجید و پایش کنید تا امکان پاسخ سریع هنگام شناسایی رخدادهای سامانه هوش مصنوعی فراهم شود.

• آمار مرتبط با ایمنی (مثلاً عملکرد خارج از محدوده، زمان‌های پاسخ به رخداد، زمان ازکارافتادگی سیستم، آسیب‌ها و غیره) را در پیش‌بینی اشتراک‌گذاری احتمالی اطلاعات با جوامع متأثر یا طبق الزامات کارکنان ناظر بر سامانه هوش مصنوعی گردآوری کنید.

• سنجش را با هدف بهبود مستمر هم‌راستا کنید. کوشش کنید از طریق اصلاحات سیستم در پاسخ به آزمون‌ها و رخدادهای درون‌محیط عملیاتی، دامنهٔ شرایطی را که سیستم می‌تواند در آن‌ها به‌صورت ایمن از کار بیفتد افزایش دهید.

• برنامه‌های پاسخ به رخداد برای رخدادهای سامانه هوش مصنوعی را مستند کنید، تمرین نمایید و بسنجید؛ از جمله سنجش زمان‌های پاسخ و ازکارافتادگی.

• اطلاعات مستندشدهٔ آزمون و پایش ایمنی را به‌صورت مستمر با تحمل‌های ریسک تعیین‌شده مقایسه کنید.

• برای اطلاعات تفصیلی مرتبط با مدیریت ریسک‌های ایمنی به بخش «مدیریت» (Manage) مراجعه کنید.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• چه آزمون‌هایی، در صورت وجود، برای شناسایی خطاها و محدودیت‌ها (یعنی آزمون خصمانه یا آزمون تنش) بر روی سامانه هوش مصنوعی انجام داده‌اید؟

• توسعهٔ سامانه هوش مصنوعی، روش‌شناسی آزمون، سنجه‌ها و نتایج عملکرد آن تا چه اندازه مستند شده است؟

• آیا «سازوکارها»یی (mechanisms) برای تسهیل قابلیت ممیزی سامانه هوش مصنوعی (مثلاً قابلیت ردیابی فرایند توسعه، منشأ داده‌های آموزشی، و ثبت فرایندها، نتایج و تأثیرات مثبت و منفی سامانه هوش مصنوعی) برقرار کرده‌اید؟

• آیا اطمینان حاصل کرده‌اید که سامانه هوش مصنوعی می‌تواند توسط اشخاص ثالث مستقل ممیزی شود؟

• آیا فرایندی برای گزارش «آسیب‌پذیری»ها (Vulnerabilities)، ریسک‌ها یا سوگیری‌های احتمالی سامانه هوش مصنوعی توسط اشخاص ثالث (مثلاً تأمین‌کنندگان، کاربران نهایی، موضوعات، توزیع‌کنندگان/فروشندگان یا کارگران) برقرار کرده‌اید؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities.

• Artificial Intelligence Ethics Framework For The Intelligence Community.

مراجع

AI Incident Database. 2022.

AIAAIC Repository. 2022.

Netflix. Chaos Monkey.

IBM. “IBM's Principles of Chaos Engineering.” IBM, n.d.

Suchi Saria and Adarsh Subbaswamy. "Tutorial: Safe and Reliable Machine Learning." arXiv preprint, submitted ۱۵ آوریل ۲۰۱۹ (۲۶ فروردین ۱۳۹۸).

Daniel Kang, Deepti Raghavan, Peter Bailis, and Matei Zaharia. "Model assertions for monitoring and improving ML models." Proceedings of Machine Learning and Systems 2 (2020): 481-496.

Larysa Visengeriyeva, et al. “Awesome MLOps.“ GitHub.

McGregor, S., Paeth, K., & Lam, K.T. (2022). Indexing AI Risks with Incidents, Issues, and Variants. ArXiv, abs/2211.10384.

امنیت و تاب‌آوری سامانه هوش مصنوعی — چنان‌که در کارکرد نگاشت شناسایی شده — ارزیابی و مستند می‌شود.

درباره

از سامانه‌های هوش مصنوعی، و نیز زیست‌بوم‌هایی که در آن‌ها مستقر می‌شوند، می‌توان گفت تاب‌آورند اگر بتوانند در برابر رخدادهای ناگوار غیرمنتظره یا تغییرات غیرمنتظره در محیط یا کاربرد خود مقاومت کنند — یا اگر بتوانند کارکردها و ساختار خود را در مواجهه با تغییرات درونی و بیرونی حفظ کنند و در صورت لزوم، به‌صورت ایمن و تدریجی کارایی خود را کاهش دهند. نگرانی‌های رایج امنیتی به نمونه‌های خصمانه، مسموم‌سازی داده، و بیرون‌کشی مدل‌ها، داده‌های آموزشی یا سایر مالکیت‌های فکری از طریق نقاط انتهایی سامانه هوش مصنوعی مربوط می‌شود. از سامانه‌های هوش مصنوعی که می‌توانند محرمانگی، یکپارچگی و در دسترس‌بودن را از طریق سازوکارهای حفاظتی که از دسترسی و استفادهٔ غیرمجاز جلوگیری می‌کند حفظ کنند، می‌توان گفت امن هستند.

امنیت و تاب‌آوری ویژگی‌هایی مرتبط اما متمایزند. تاب‌آوری توانایی بازگشت به عملکرد عادی پس از یک رخداد ناگوار غیرمنتظره است، در حالی که امنیت تاب‌آوری را در بر می‌گیرد اما سازوکارهایی برای اجتناب از حملات، محافظت در برابر آن‌ها، پاسخ به آن‌ها یا بازیابی از آن‌ها را نیز دربرمی‌گیرد. تاب‌آوری به استواری مربوط می‌شود و استفادهٔ غیرمنتظره یا خصمانه (یا سوءاستفاده یا کاربرد نادرست) از مدل یا داده‌ها را دربرمی‌گیرد.

کنش‌های پیشنهادی

• برقراری و ردیابی آزمون‌ها و سنجه‌های امنیتی سامانه هوش مصنوعی (مانند فعالیت‌های تیم قرمز، بسامد و نرخ رخدادهای ناهنجار، زمان ازکارافتادگی سیستم، زمان‌های پاسخ به رخداد، زمان دورزدن، و غیره).

• استفاده از تمرین‌های تیم قرمز برای آزمون فعالانهٔ سیستم در شرایط خصمانه یا تنش‌زا، سنجش پاسخ سیستم، ارزیابی حالت‌های خرابی یا تعیین اینکه آیا سیستم می‌تواند پس از یک رخداد ناگوار غیرمنتظره به عملکرد عادی بازگردد.

• مستندسازی نتایج تمرین‌های تیم قرمز به‌عنوان بخشی از تلاش‌های بهبود مستمر، از جمله دامنهٔ شرایط آزمون امنیتی و نتایج آن‌ها.

• استفاده از تمرین‌های تیم قرمز برای ارزیابی عدم تطابق‌های احتمالی میان عملکرد ادعاشده و واقعی سیستم.

• استفاده از اقدامات متقابل (مانند احراز هویت، محدودسازی نرخ، حریم خصوصی تفاضلی، و رویکردهای یادگیری ماشین استوار) برای افزایش دامنهٔ شرایط امنیتی که سیستم تحت آن‌ها قادر به بازگشت به عملکرد عادی است.

• اصلاح رویه‌های امنیتی سیستم و اقدامات متقابل برای افزایش استواری و تاب‌آوری در برابر حملات، در پاسخ به آزمون‌ها و رخدادهای تجربه‌شده در محیط عملیاتی.

• راستی‌آزمایی اینکه اطلاعات مربوط به خطاها و الگوهای حمله با پایگاه‌های دادهٔ رخداد، سایر سازمان‌های دارای سیستم‌های مشابه، و کاربران و ذی‌نفعان سیستم به اشتراک گذاشته می‌شود (MANAGE-4.1).

• ایجاد و حفظ رویه‌های اشتراک اطلاعات با کنشگران هوش مصنوعی سازمان‌های دیگر برای آموختن از حملات رایج.

• راستی‌آزمایی اینکه منابع و کارکنان هوش مصنوعی طرف ثالث، ممیزی‌های امنیتی و غربالگری را پشت سر می‌گذارند. شاخص‌های ریسک می‌تواند شامل ناکامی طرف‌های ثالث در ارائهٔ اطلاعات امنیتی مرتبط باشد.

• بهره‌گیری از فناوری‌های واترمارک‌گذاری به‌عنوان عاملی بازدارنده در برابر حملات استخراج داده و استخراج مدل.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• برنامه تا چه اندازه به‌طور خاص به ریسک‌های مرتبط با تدارکات، تهیهٔ نرم‌افزار بسته‌بندی‌شده از فروشندگان، کنترل‌های امنیت سایبری، زیرساخت محاسباتی، داده‌ها، علم داده، سازوکارهای استقرار، و خرابی سیستم می‌پردازد؟

• چه ارزیابی‌هایی دربارهٔ امنیت داده و پیامدهای حریم خصوصی مرتبط با سامانه هوش مصنوعی انجام داده‌اید؟

• چه فرایندهایی برای تولید، تدارک/گردآوری، امنیت، نگهداشت، و اشاعهٔ داده‌ها وجود دارد؟

• چه آزمون‌هایی — در صورت وجود — دربارهٔ سامانه هوش مصنوعی برای شناسایی خطاها و محدودیت‌ها (یعنی آزمون خصمانه یا تنش‌زا) انجام داده‌اید؟

• اگر هوش مصنوعی توسط طرف ثالث ایجاد شده است، چگونه سطحی از تبیین‌پذیری یا تفسیرپذیری را تضمین خواهید کرد؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities.

• Artificial Intelligence Ethics Framework For The Intelligence Community.

مراجع

Matthew P. Barrett. “Framework for Improving Critical Infrastructure Cybersecurity Version 1.1.” National Institute of Standards and Technology (NIST), ۱۶ آوریل ۲۰۱۸ (۲۷ فروردین ۱۳۹۷).

Nicolas Papernot. "A Marauder's Map of Security and Privacy in Machine Learning." arXiv preprint, submitted on ۳ نوامبر ۲۰۱۸ (۱۲ آبان ۱۳۹۷).

Gary McGraw, Harold Figueroa, Victor Shepardson, and Richie Bonett. “BIML Interactive Machine Learning Risk Framework.” Berryville Institute of Machine Learning (BIML), 2022. Mitre Corporation. “Mitre/Advmlthreatmatrix: Adversarial Threat Landscape for AI Systems.” GitHub, 2023.

National Institute of Standards and Technology (NIST). “Cybersecurity Framework.” NIST, 2023.

Upol Ehsan, Q. Vera Liao, Samir Passi, Mark O. Riedl, and Hal Daumé. 2024. Seamful XAI: Operationalizing Seamful Design in Explainable AI. Proc. ACM Hum.-Comput. Interact. 8, CSCW1, Article 119. https://doi.org/10.1145/3637396

منابع نرم‌افزاری

• adversarial-robustness-toolbox

• counterfit

• foolbox

• ml_privacy_meter

• robustness

• tensorflow/privacy

• projectGuardRail