مدیریت

مدل‌های ازپیش‌آموزش‌دیده‌ای که برای توسعه استفاده می‌شوند، به‌عنوان بخشی از پایش و نگهداری منظم سامانه هوش مصنوعی پایش می‌شوند.

درباره

رویکرد رایج در توسعه هوش مصنوعی، یادگیری انتقالی است که طی آن یک مدل ازپیش‌آموزش‌دیدهٔ موجود برای استفاده در کاربردی متفاوت، اما مرتبط، تطبیق داده می‌شود. کنشگران هوش مصنوعی در وظایف توسعه اغلب از مدل‌های ازپیش‌آموزش‌دیدهٔ نهادهای طرف ثالث برای کارهایی مانند طبقه‌بندی تصویر، پیش‌بینی زبان و شناسایی موجودیت‌ها استفاده می‌کنند، زیرا منابع لازم برای ساخت چنین مدل‌هایی ممکن است برای بیشتر سازمان‌ها به‌سادگی در دسترس نباشد. مدل‌های ازپیش‌آموزش‌دیده معمولاً برای حل مسائل گوناگون طبقه‌بندی یا پیش‌بینی، با استفاده از مجموعه‌داده‌های بسیار بزرگ و منابع محاسباتی فشرده آموزش دیده‌اند. استفاده از مدل‌های ازپیش‌آموزش‌دیده می‌تواند پیش‌بینی پیامدها یا اثرات منفی سامانه را دشوار سازد. نبود مستندسازی یا ابزارهای شفافیت، دشواری و پیچیدگی کلی هنگام استقرار مدل‌های ازپیش‌آموزش‌دیده را افزایش می‌دهد و تحلیل‌های علت ریشه‌ای را مختل می‌کند.

اقدامات پیشنهادی

• شناسایی مدل‌های ازپیش‌آموزش‌دیده در فهرست موجودی سامانه هوش مصنوعی به‌منظور رهگیری ریسک.

• ایجاد فرایندهایی برای پایش مستقل و مستمر عملکرد و قابلیت اعتماد مدل‌های ازپیش‌آموزش‌دیده، به‌عنوان بخشی از رهگیری ریسک طرف ثالث.

• پایش عملکرد و قابلیت اعتماد اجزای سامانه هوش مصنوعی متصل به مدل‌های ازپیش‌آموزش‌دیده، به‌عنوان بخشی از رهگیری ریسک طرف ثالث.

• شناسایی، مستندسازی و رفع خطرهای ناشی از اجزای سامانه هوش مصنوعی و مدل‌های ازپیش‌آموزش‌دیده مطابق با رویه‌های مدیریت ریسک سازمانی، و به‌عنوان بخشی از رهگیری ریسک طرف ثالث.

• از رده خارج کردن اجزای سامانه هوش مصنوعی و مدل‌های ازپیش‌آموزش‌دیده‌ای که از آستانه‌های تحمل ریسک فراتر می‌روند، به‌عنوان بخشی از رهگیری ریسک طرف ثالث.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• نهاد چگونه منشأ داده سامانه هوش مصنوعی را مستند کرده است، از جمله منابع، منشأها، تبدیل‌ها، غنی‌سازی‌ها، برچسب‌ها، وابستگی‌ها، محدودیت‌ها و فراداده‌ها؟

• آیا این رویه گردآوری/پردازش مجموعه‌داده، انگیزهٔ بیان‌شده برای ایجاد مجموعه‌داده در بخش نخست این برگهٔ داده را محقق می‌سازد؟

• نهاد چگونه اطمینان می‌یابد که داده‌های گردآوری‌شده نسبت به هدف موردنظر کافی، مرتبط و نه مازاد هستند؟

• اگر مجموعه‌داده منسوخ شود، این موضوع چگونه اعلام خواهد شد؟

منابع شفافیت هوش مصنوعی

• Artificial Intelligence Ethics Framework For The Intelligence Community.

• WEF - Companion to the Model AI Governance Framework – Implementation and SelfAssessment Guide for Organizations.

• Datasheets for Datasets.

منابع

Larysa Visengeriyeva et al. “Awesome MLOps,“ GitHub. Accessed ۹ ژانویه ۲۰۲۳ (۱۹ دی ۱۴۰۱).

برنامه‌های پایش سامانه هوش مصنوعی پس از استقرار پیاده‌سازی می‌شوند؛ از جمله سازوکارهایی برای دریافت و ارزیابی داده‌های ورودی از کاربران و سایر کنشگران هوش مصنوعی مرتبط، درخواست تجدیدنظر و لغو، خروج از سرویس، پاسخ به رخدادها، بازیابی و مدیریت تغییر.

درباره

عملکرد و قابلیت اعتماد سامانه هوش مصنوعی می‌تواند به‌واسطه عوامل گوناگونی تغییر کند. پایش منظم سامانه هوش مصنوعی می‌تواند به مستقرکنندگان در شناسایی افت عملکرد، حملات خصمانه، رفتارهای غیرمنتظره و غیرمعمول، پیش‌امدهای نزدیک به خطا و اثرها کمک کند. گنجاندن بازخورد بیرونی پیش و پس از استقرار درباره عملکرد سامانه هوش مصنوعی می‌تواند آگاهی سازمانی از اثرهای مثبت و منفی را افزایش دهد و زمان پاسخ به ریسک‌ها و آسیب‌ها را کاهش دهد.

اقدامات پیشنهادی

• ایجاد و نگهداشت رویه‌هایی برای پایش عملکرد سامانه هوش مصنوعی به‌منظور شناسایی ریسک‌ها و اثرهای منفی و مثبت مرتبط با ویژگی‌های قابلیت اعتماد.

• انجام وظایف TEVV پس از استقرار برای ارزیابی روایی و قابلیت اطمینان سامانه هوش مصنوعی، سوگیری و انصاف، حریم خصوصی، و امنیت و تاب‌آوری.

• ارزیابی قابلیت اعتماد سامانه هوش مصنوعی در شرایطی مشابه بستر استفادهٔ استقرار، و پیش از استقرار.

• ایجاد و اجرای تمرین‌های تیم قرمز در توالی زمانی از‌پیش‌تعریف‌شده، و ارزیابی اثربخشی آن‌ها.

• ایجاد رویه‌هایی برای رهگیری تغییرات مجموعه‌داده‌ها، مانند درخواست‌های حذف یا اصلاح داده‌ها.

• ایجاد سازوکارهایی برای ارتباط و بازخورد منظم میان کنشگران هوش مصنوعی مرتبط و ذی‌نفعان داخلی یا بیرونی، به‌منظور گردآوری اطلاعات درباره عملکرد، قابلیت اعتماد و اثر سامانه.

• اشتراک‌گذاری اطلاعات درباره خطاها، پیش‌امدهای نزدیک به خطا و الگوهای حمله با پایگاه‌های داده رخدادها، سایر سازمان‌های دارای سامانه‌های مشابه، و کاربران و ذی‌نفعان سامانه.

• پاسخ‌دادن و مستندسازی اثرها یا مسائل منفی شناسایی‌شده یا گزارش‌شده در عملکرد و قابلیت اعتماد سامانه هوش مصنوعی.

• خارج‌کردن از سرویس سامانه‌هایی که از آستانه‌های تحمل ریسک تعیین‌شده فراتر می‌روند.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• این موجودیت تا چه اندازه روش‌شناسی آزمون، سنجه‌ها و نتایج عملکرد سامانه هوش مصنوعی پس از استقرار را مستند کرده است؟

• اطلاعات در دسترس ذی‌نفعان بیرونی تا چه حد به‌سهولت قابل دسترسی و به‌روز است؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities،

• Datasheets for Datasets (برگه‌های داده برای مجموعه‌داده‌ها).

منابع

Navdeep Gill, Patrick Hall, Kim Montgomery, and Nicholas Schmidt. "A Responsible Machine Learning Workflow with Focus on Interpretable Models, Post-hoc Explanation, and Discrimination Testing." Information 11, no. 3 (2020): 137.

فعالیت‌های قابل‌اندازه‌گیری برای بهبود مستمر در به‌روزرسانی‌های سامانه هوش مصنوعی ادغام می‌شوند و شامل تعامل منظم با ذی‌نفعانِ علاقه‌مند، از جمله «کنشگران هوش مصنوعی» (AI actors) مربوطه است.

درباره

فرایندهای «پایش» (Monitoring) منظم امکان به‌روزرسانی سیستم‌ها را برای ارتقای عملکرد و کارکرد مطابق با چارچوب‌های قانونی و مقرراتی، و نیز ارزش‌ها و هنجارهای سازمانی و بستر، فراهم می‌کنند. این فرایندها همچنین تحلیل‌های مربوط به ریشه‌های اصلی، افت سیستم، رانش، نزدیک‌رخدادها و خطاها، و همچنین پاسخ به «رخداد» (Incident) و مستندسازی را تسهیل می‌کنند.

«کنشگران» (Actors) هوش مصنوعی در سراسر چرخه حیات فرصت‌های بسیاری برای ثبت و ادغام بازخوردهای بیرونی درباره عملکرد، محدودیت‌ها و اثرات سیستم، و اجرای بهبودهای مستمر دارند. بهبودها لزوماً همیشه مربوط به خط لوله مدل یا فرایندهای سیستم نیستند و ممکن است به‌جای آن بر سنجه‌هایی فراتر از دقت یا دیگر سنجه‌های عملکرد کیفی استوار باشند. در چنین مواردی، بهبودها ممکن است مستلزم سازگارسازی رویه‌ها یا شیوه‌های کسب‌وکاری یا سازمانی باشند. از سازمان‌ها تشویق می‌شود بهبودهایی را توسعه دهند که قابلیت ردیابی و «شفافیت» (Transparency) را برای توسعه‌دهندگان، کاربران نهایی، حسابرسان و کنشگران هوش مصنوعی مربوطه حفظ کنند.

اقدامات پیشنهادی

• ادغام ویژگی‌های «قابلیت اعتماد» (Trustworthiness) در پروتکل‌ها و «سنجه‌ها» (Metrics) مورد استفاده برای بهبود مستمر.

• ایجاد فرایندهایی برای ارزیابی بازخوردها و ادغام آن‌ها در بهبودهای سامانه هوش مصنوعی.

• ارزیابی و سنجش همسویی بهبودهای پیشنهادی با چارچوب‌های قانونی و مقرراتی مربوطه

• ارزیابی و سنجش همسویی بهبودهای پیشنهادی با ارزش‌ها و هنجارهای موجود در «بستر استفاده» (Context of use).

• مستندسازی مبنای تصمیمات اتخاذشده نسبت به بده‌بستان‌ها میان ویژگی‌های قابل‌اعتماد، «خطرها» (Risks) سیستم و فرصت‌های سیستم

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• تعامل کاربران و دیگر اشکال تعامل با ذی‌نفعان چگونه در فرایند توسعه مدل و بازبینی منظم عملکرد پس از استقرار ادغام خواهد شد؟

• کاربران یا طرف‌های متأثر از خروجی‌های سامانه هوش مصنوعی تا چه اندازه می‌توانند سامانه هوش مصنوعی را آزمایش کرده و بازخورد ارائه دهند؟

• نهاد تا چه اندازه محیط مقرراتی — از جمله حداقل الزامات در قوانین و مقررات — را تعریف و مستند کرده است؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities,

• Artificial Intelligence Ethics Framework For The Intelligence Community.

منابع

Yen, Po-Yin, et al. "Development and Evaluation of Socio-Technical Metrics to Inform HIT Adaptation."

Carayon, Pascale, and Megan E. Salwei. "Moving toward a sociotechnical systems approach to continuous health information technology design: the path forward for improving electronic health record usability and reducing clinician burnout." Journal of the American Medical Informatics Association 28.5 (2021): 1026-1028.

Mishra, Deepa, et al. "Organizational capabilities that enable big data and predictive analytics diffusion and organizational performance: A resource-based perspective." Management Decision (2018).

رخدادها و خطاها به کنشگران هوش مصنوعی مرتبط، از جمله جوامع متأثر، اطلاع‌رسانی می‌شوند. فرایندهای رهگیری، پاسخ‌دهی و بازیابی از رخدادها و خطاها دنبال و مستند می‌شوند.

درباره

مستندسازی منظم شرحی دقیق و شفاف از خطاهای شناسایی‌شده و گزارش‌شده می‌تواند فعالیت‌های مدیریت ریسک هوش مصنوعی را تقویت کند. نمونه‌ها شامل موارد زیر است:

• نحوه شناسایی خطاها،
• رخدادهای مرتبط با خطا،
• اینکه آیا خطا ترمیم شده است، و
• نحوه توزیع ترمیم‌ها میان همه ذی‌نفعان و کاربران متأثر.

اقدامات پیشنهادی

• رویه‌هایی برای اشتراک‌گذاری منظم اطلاعات مربوط به خطاها، رخدادها و پیامدهای منفی با ذی‌نفعان مرتبط، بهره‌برداران، متخصصان و کاربران، و طرف‌های متأثر تدوین کنید.

• یک پایگاه‌داده از خطاهای گزارش‌شده، موارد نزدیک به خطا، رخدادها و پیامدهای منفی شامل تاریخ گزارش، تعداد گزارش‌ها، ارزیابی شدت و اثر، و پاسخ‌ها نگهداری کنید.

• یک پایگاه‌داده از تغییرات سامانه، دلیل تغییر و جزئیات نحوه انجام، آزمون و استقرار تغییر نگهداری کنید.

• اطلاعات تاریخچه نسخه‌ها و فراداده را برای پشتیبانی از فرایندهای بهبود مستمر نگهداری کنید.

• تأیید کنید که کنشگران هوش مصنوعی مرتبطِ مسئول شناسایی ریسک‌های پیچیده یا نوپدید، به‌درستی دارای منابع و اختیارات هستند.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• نهاد برای ارتقای کیفیت، دقت، قابلیت اطمینان و نمایندگی‌پذیری داده‌ها چه اقدامات اصلاحی انجام داده است؟

• نهاد تا چه اندازه اهداف و مقاصد راهبردی هوش مصنوعی خود را با جامعه ذی‌نفعان در میان می‌گذارد؟ اطلاعات در دسترس ذی‌نفعان بیرونی چقدر به‌سادگی قابل دسترسی و به‌روز است؟

• چه نوع اطلاعاتی درباره طراحی، عملیات و محدودیت‌های سامانه هوش مصنوعی برای ذی‌نفعان بیرونی، از جمله کاربران نهایی، مصرف‌کنندگان، نهادهای نظارتی و افرادی که از استفاده سامانه هوش مصنوعی متأثر می‌شوند، قابل دسترسی است؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP: Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities،

منابع

Wei, M., & Zhou, Z. (2022). AI Ethics Issues in Real World: Evidence from AI Incident Database. ArXiv, abs/2206.07635.

McGregor, Sean. "Preventing repeated real world AI failures by cataloging incidents: The AI incident database." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 35. No. 17. 2021.

Macrae, Carl. "Learning from the failure of autonomous and intelligent systems: Accidents, safety, and sociotechnical sources of risk." Risk analysis 42.9 (2022): 1999-2025.

نگاشت

زمینه برقرار و فهمیده شده است.