اقدامات پیشنهادی زیر، ریسک‌های منحصربه‌فرد GAI یا ریسک‌هایی که به‌واسطه GAI تشدید می‌شوند را هدف قرار می‌دهند.
علاوه بر اقدامات پیشنهادی زیر، فعالیت‌ها و اقدامات مدیریت ریسک هوش مصنوعی («مدیریت ریسک»، Risk Management) مندرج در AI RMF نسخه ۱٫۰ و Playbook از پیش برای مدیریت ریسک‌های GAI قابل‌اجرا هستند. از سازمان‌ها تشویق می‌شود هنگام مدیریت ریسک «سامانه هوش مصنوعی» (AI System)های GAI، فعالیت‌های پیشنهادی AI RMF و Playbook آن را به‌کار گیرند.
نحوه اجرای اقدامات پیشنهادی بسته به نوع ریسک، ویژگی‌های سیستم‌های GAI، مرحله چرخه حیات GAI و کنشگران هوش مصنوعی مرتبط درگیر، متفاوت خواهد بود.
اقدامات پیشنهادی برای مدیریت ریسک‌های GAI را می‌توان در جدول‌های زیر یافت:
- اقدامات پیشنهادی بر اساس زیرمجموعه‌های مرتبط «چارچوب مدیریت ریسک هوش مصنوعی» (AI RMF) سازمان‌دهی شده‌اند تا این فعالیت‌ها هم‌راستا با اجرای AI RMF ساده‌سازی شوند.
- هر زیرمجموعه AI RMF در این سند گنجانده نشده است.۱۳ اقدامات پیشنهادی تنها برای برخی زیرمجموعه‌ها فهرست شده‌اند.
- هر اقدام پیشنهادی بر همه «کنشگران هوش مصنوعی» (AI Actors)۱۴ قابل‌اجرا نیست یا برای هر وظیفه کنشگر هوش مصنوعی مرتبط نیست. برای مثال، اقدامات پیشنهادی مرتبط با توسعه‌دهندگان GAI ممکن است برای به‌کارگیرندگان GAI مرتبط نباشد. قابلیت اجرای اقدامات پیشنهادی برای کنشگران هوش مصنوعی مرتبط را می‌توان بر اساس ملاحظات سازمانی و کاربردهای منحصربه‌فرد آن‌ها از سیستم‌های GAI تعیین کرد.
هر جدول از اقدامات پیشنهادی شامل موارد زیر است:
- شناسه اقدام (Action ID): هر شناسه اقدام متناظر با تابع و زیرمجموعه مربوطه AI RMF است (برای مثال، GV1.1-001 متناظر با اولین اقدام پیشنهادی برای Govern 1.1 و GV-1.1-002 متناظر با دومین اقدام پیشنهادی برای Govern 1.1 است). توابع AI RMF به‌صورت زیر برچسب‌گذاری شده‌اند: GV = حاکمیت (Govern)؛ MP = نگاشت (Map)؛ MS = سنجش (Measure)؛ MG = مدیریت (Manage).
- اقدام پیشنهادی: گام‌هایی که یک سازمان یا کنشگر هوش مصنوعی می‌تواند برای مدیریت ریسک‌های GAI بردارد.
- ریسک‌های GAI: برچسب‌هایی که اقدامات پیشنهادی را با ریسک‌های مرتبط GAI پیوند می‌دهند.
- وظایف کنشگر هوش مصنوعی: وظایف کنشگر هوش مصنوعی مرتبط برای هر زیرمجموعه. لزوماً همه وظایف کنشگر هوش مصنوعی فهرست‌شده برای هر اقدام پیشنهادی در آن زیرمجموعه قابل‌اجرا نیستند (یعنی برخی برای توسعه هوش مصنوعی و برخی برای استقرار هوش مصنوعی کاربرد دارند).
جدول‌های زیر با زیرمجموعه AI RMF که با رنگ آبی نشان داده شده است آغاز می‌شوند و سپس اقدامات پیشنهادی می‌آیند.
GOVERN 1.1: الزامات حقوقی و قانونی مرتبط با هوش مصنوعی درک، مدیریت و مستند شده‌اند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-1.1-001 | توسعه و استفاده از GAI را با قوانین و مقررات قابل‌اجرا، از جمله قوانین مربوط به حریم خصوصی داده‌ها، کپی‌رایت و مالکیت فکری هم‌راستا کنید. | Data Privacy; Harmful Bias and Homogenization; Intellectual Property |
AI Actor Tasks: Governance and Oversight
GOVERN 1.2: ویژگی‌های «هوش مصنوعی اعتماد‌پذیر» (Trustworthy AI) در سیاست‌ها، فرایندها، رویه‌ها و شیوه‌های سازمانی ادغام شده‌اند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-1.2-001 | سیاست‌ها و فرایندهای «شفافیت» (Transparency) برای مستندسازی خاستگاه و تاریخچه داده‌های آموزشی و داده‌های تولیدشده برای کاربردهای GAI به‌منظور پیشبرد «شفافیت محتوای دیجیتال» (Digital Content Transparency) تدوین کنید، با حفظ توازن نسبت به ماهیت انحصاری رویکردهای آموزشی. | Data Privacy; Information Integrity; Intellectual Property |
| GV-1.2-002 | سیاست‌هایی برای ارزیابی قابلیت‌های مرتبط با ریسک GAI و «استواری» (Robustness) تدابیر «ایمنی» (Safety)، هم پیش از «استقرار» (Deployment) و هم به‌صورت مستمر، از طریق ارزیابی‌های داخلی و خارجی تدوین کنید. | CBRN Information or Capabilities; Information Security |
AI Actor Tasks: Governance and Oversight
GOVERN 1.3: فرایندها، رویه‌ها و شیوه‌هایی به‌منظور تعیین سطح موردنیاز از فعالیت‌های مدیریت ریسک بر اساس «تحمل ریسک» (Risk Tolerance) سازمان در جای خود قرار دارند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-1.3-001 | هنگام به‌روزرسانی یا تعریف سطوح ریسک برای GAI، عوامل زیر را در نظر بگیرید: سوءاستفاده‌ها و آسیب‌ها به یکپارچگی اطلاعات؛ وابستگی‌های میان GAI و سایر سیستم‌های IT یا داده‌ها؛ آسیب به حقوق بنیادین یا ایمنی عمومی؛ ارائه خروجی‌های فاحش، ناپسند، توهین‌آمیز، تبعیض‌آمیز، نامعتبر یا نادرست؛ پیامدهای روانی برای انسان‌ها (مانند انسان‌انگاری، گریز الگوریتمی، درگیری عاطفی)؛ امکان استفاده بدخواهانه؛ ایجاد آسیب‌پذیری‌های امنیتی جدید و مهم توسط سیستم؛ اثر پیش‌بینی‌شده سیستم بر برخی گروه‌ها در مقایسه با سایر گروه‌ها؛ قابلیت‌های تصمیم‌گیری ناپایدار، روایی، سازگاری و تغییرپذیری عملکرد سامانه GAI در طول زمان. | Information Integrity; Obscene, Degrading, and/or Abusive Content; Value Chain and Component Integration; Harmful Bias and Homogenization; Dangerous, Violent, or Hateful Content; CBRN Information or Capabilities |
| GV-1.3-002 | حداقل آستانه‌هایی برای معیارهای عملکرد یا تضمین تعیین کنید و بازبینی آن‌ها را جزء سیاست‌ها، رویه‌ها و فرایندهای تأیید استقرار («انجام‌بده / انجام‌نده») قرار دهید، به‌گونه‌ای که فرایندهای بازبینی‌شده و آستانه‌های تأیید بازتاب‌دهنده سنجش قابلیت‌ها و ریسک‌های GAI باشند. | CBRN Information or Capabilities; Confabulation; Dangerous, Violent, or Hateful Content |
| GV-1.3-003 | پیش از توسعه مدل‌های بسیار توانمند، یک طرح آزمون و سیاست پاسخ تدوین کنید تا به‌طور دوره‌ای ارزیابی شود که آیا مدل می‌تواند اطلاعات یا قابلیت‌های CBRN و/یا قابلیت‌های سایبری تهاجمی را مورد سوءاستفاده قرار دهد یا خیر. | CBRN Information or Capabilities; Information Security |
| GV-1.3-004 | دریافت بازخورد از انجمن‌های ذی‌نفع برای شناسایی کاربردهای غیرقابل‌قبول، مطابق با فعالیت‌های وظیفه نگاشت چارچوب مدیریت ریسک هوش مصنوعی (AI RMF). | CBRN Information or Capabilities; Obscene, Degrading, and/or Abusive Content; Harmful Bias and Homogenization; Dangerous, Violent, or Hateful Content |
| GV-1.3-005 | حفظ یک سلسله‌مراتب به‌روز از ریسک‌های شناسایی‌شده و موردانتظار GAI که به زمینه‌های پیشرفت و کاربرد مدل‌های GAI پیوند خورده است؛ این سلسله‌مراتب می‌تواند شامل سطوح ریسک تخصصی برای سامانه‌های GAI باشد که موضوع‌هایی مانند فروپاشی مدل و تک‌کشتی الگوریتمی را پوشش دهد. | Harmful Bias and Homogenization |
| GV-1.3-006 | بازارزیابی آستانه‌های تحمل ریسک سازمانی به‌منظور لحاظ ریسک منفی غیرقابل‌قبول (مانند مواردی که پیامدهای منفی قابل‌توجه قریب‌الوقوع‌اند، آسیب‌های شدید در حال وقوع‌اند، یا ریسک‌های گسترده ممکن است بتوانند رخ دهند)؛ و ریسک‌های منفی گسترده GAI، از جمله: فرهنگ‌های نابالغ ایمنی یا ریسک مرتبط با طراحی، توسعه و استقرار هوش مصنوعی و GAI، ریسک‌های تمامیت اطلاعات عمومی از جمله تأثیرات بر فرایندهای دموکراتیک، و ویژگی‌های عملکردی بلندمدت ناشناخته GAI. | Information Integrity; Dangerous, Violent, or Hateful Content; CBRN Information or Capabilities |
| GV-1.3-007 | طراحی برنامه‌ای برای توقف توسعه یا استقرار سامانه GAI که ریسک منفی غیرقابل‌قبولی ایجاد می‌کند. | CBRN Information and Capability; Information Security; Information Integrity |
وظایف کنشگر هوش مصنوعی: حکمرانی و نظارت
GOVERN 1.4: فرایند مدیریت ریسک و پیامدهای آن از طریق سیاست‌ها، رویه‌ها و سایر کنترل‌های شفاف، بر اساس اولویت‌های ریسک سازمانی، برقرار می‌شود.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-1.4-001 | برقراری سیاست‌ها و سازوکارها برای جلوگیری از تولید CSAM، NCII یا محتوای خلاف قانون توسط سامانه‌های GAI. | Obscene, Degrading, and/or Abusive Content; Harmful Bias and Homogenization; Dangerous, Violent, or Hateful Content |
| GV-1.4-002 | تدوین سیاست‌های شفاف استفادهٔ قابل‌قبول برای GAI که کاربردها یا استفاده‌های غیرقانونی از GAI را دربرگیرند. | CBRN Information or Capabilities; Obscene, Degrading, and/or Abusive Content; Data Privacy; Civil Rights violations |
وظایف کنشگر هوش مصنوعی: توسعه هوش مصنوعی، استقرار هوش مصنوعی، حکمرانی و نظارت
GOVERN 1.5: پایش مستمر و بازبینی دوره‌ای فرایند مدیریت ریسک و پیامدهای آن برنامه‌ریزی می‌شود و نقش‌ها و مسئولیت‌های سازمانی به‌روشنی تعریف می‌گردند، از جمله تعیین بسامد بازبینی‌های دوره‌ای.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-1.5-001 | تعریف مسئولیت‌های سازمانی برای بازبینی دوره‌ای منشأ محتوا و پایش رخدادها برای سامانه‌های GAI. | Information Integrity |
| GV-1.5-002 | تدوین سیاست‌ها و رویه‌های سازمانی برای مرورهای پس از رخداد در پاسخ به رخدادهای سامانه‌های GAI و افشای رخدادها، به‌منظور شناسایی شکاف‌ها؛ و به‌روزرسانی فرایندهای پاسخ به رخداد و افشای رخداد در صورت الزام. | Human-AI Configuration; Information Security |
| GV-1.5-003 | حفظ سیاست نگهداری اسناد برای نگهداری تاریخچه آزمون، ارزیابی، اعتبارسنجی و تأیید (TEVV)، و روش‌های شفافیت محتوای دیجیتال برای GAI. | Information Integrity; Intellectual Property |
وظایف کنشگر هوش مصنوعی: حکمرانی و نظارت، بهره‌برداری و پایش
GOVERN 1.6: سازوکارهایی برای فهرست‌برداری از سامانه‌های هوش مصنوعی برقرار است و مطابق با اولویت‌های ریسک سازمانی، منابع لازم به آن‌ها اختصاص می‌یابد.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-1.6-001 | برشماری سامانه‌های GAI سازمانی جهت گنجاندن در فهرست سامانه‌های هوش مصنوعی و تنظیم الزامات فهرست سامانه‌های هوش مصنوعی به‌منظور لحاظ ریسک‌های GAI. | Information Security |
| GV-1.6-002 | تعریف معافیت‌های فهرست‌برداری در سیاست‌های سازمانی برای سامانه‌های GAI جاسازی‌شده در نرم‌افزارهای کاربردی. | Value Chain and Component Integration |
| GV-1.6-003 | علاوه بر اطلاعات عمومی مدل، حکمرانی و ریسک، لحاظ موارد زیر در مدخل‌های فهرست سامانه‌های GAI: اطلاعات خاستگاه داده (مانند منبع، امضاها، نسخه‌بندی، واترمارک‌ها)؛ مسائل شناخته‌شده گزارش‌شده از رهگیری خطاهای داخلی یا منابع اشتراک اطلاعات بیرونی (مانند AI incident database، AVID، CVE، NVD یا OECD AI incident monitor)؛ نقش‌ها و مسئولیت‌های نظارت انسانی؛ حقوق و ملاحظات ویژه برای مالکیت فکری، آثار دارای مجوز، یا داده‌های شخصی، ممتاز، اختصاصی یا حساس؛ مدل‌های پایه زیرین، نسخه‌های مدل‌های زیرین، و شیوه‌های دسترسی. | Data Privacy; Human-AI Configuration; Information Integrity; Intellectual Property; Value Chain and Component Integration |
وظایف کنشگر هوش مصنوعی: حکمرانی و نظارت
GOVERN 1.7: فرایندها و رویه‌هایی برای از رده خارج‌سازی و کنار گذاشتن ایمن سامانه‌های هوش مصنوعی به گونه‌ای که ریسک‌ها را افزایش ندهد یا قابلیت اعتماد سازمان را کاهش ندهد، برقرار است.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-1.7-001 | برقراری پروتکل‌هایی برای اطمینان از امکان غیرفعال‌سازی سامانه‌های GAI هنگام لزوم. | Information Security; Value Chain and Component Integration |
| GV-1.7-002 | لحاظ عوامل زیر هنگام از رده خارج‌سازی سامانه‌های GAI: الزامات نگهداری داده‌ها؛ امنیت داده‌ها، مانند مهار و پروتکل‌ها، نشت داده پس از از رده خارج‌سازی؛ وابستگی‌های میان داده‌های بالادستی، پایین‌دستی یا سایر داده‌ها، سامانه‌های اینترنت اشیا (IOT) یا سامانه‌های هوش مصنوعی؛ استفاده از داده‌ها یا مدل‌های متن‌باز؛ درگیری عاطفی کاربران با کارکردهای GAI. | Human-AI Configuration; Information Security; Value Chain and Component Integration |
وظایف کنشگر هوش مصنوعی: استقرار هوش مصنوعی، بهره‌برداری و پایش
GOVERN 2.1: نقش‌ها و مسئولیت‌ها و خطوط ارتباطی مرتبط با نگاشت، سنجش و مدیریت ریسک‌های هوش مصنوعی مستند شده‌اند و برای افراد و تیم‌ها در سراسر سازمان روشن هستند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-2.1-001 | تعیین نقش‌ها، سیاست‌ها و رویه‌های سازمانی برای اطلاع‌رسانی رخدادهای GAI و عملکرد آن به «کنشگران هوش مصنوعی» (AI Actors) و ذی‌نفعان پایین‌دستی (از جمله افرادی که به‌طور بالقوه متأثر می‌شوند) از طریق منابع اجتماعی یا رسمی (مانند پایگاه داده رخدادهای AI، AVID، CVE، NVD یا پایشگر رخدادهای AI سازمان OECD). | پیکربندی انسان–هوش مصنوعی؛ زنجیره ارزش و یکپارچه‌سازی مؤلفه‌ها |
| GV-2.1-002 | ایجاد رویه‌هایی برای به‌کارگیری تیم‌های پاسخ به رخدادهای سیستم GAI با ترکیب متنوع و مسئولیت‌هایی متناسب با نوع خاص رخداد. | سوگیری زیان‌بار و یکسان‌سازی |
| GV-2.1-003 | ایجاد فرایندهایی برای راستی‌آزمایی این موضوع که کنشگران هوش مصنوعیِ انجام‌دهنده وظایف پاسخ به رخدادهای GAI مهارت‌ها و آموزش‌های مناسب را نشان می‌دهند و حفظ می‌کنند. | پیکربندی انسان–هوش مصنوعی |
| GV-2.1-004 | هنگامی که سیستم‌ها ممکن است ریسک‌هایی برای امنیت ملی ایجاد کنند، متخصصان امنیت ملی در نگاشت، سنجش و مدیریت آن ریسک‌ها مشارکت داده شوند. | اطلاعات یا قابلیت‌های CBRN؛ محتوای خطرناک، خشونت‌آمیز یا نفرت‌انگیز؛ امنیت |
| GV-2.1-005 | ایجاد «سازوکارها» (mechanisms) برای ارائه حمایت به افشاگرانی که بر اساس باور معقول گزارش می‌دهند سازمان قوانین مربوطه را نقض می‌کند یا ریسک منفی مشخص و از نظر تجربی به‌خوبی مستندشده‌ای برای ایمنی عمومی ایجاد می‌کند (یا آسیبی وارد کرده است). | اطلاعات یا قابلیت‌های CBRN؛ محتوای خطرناک، خشونت‌آمیز یا نفرت‌انگیز |
وظایف کنشگران: حکمرانی و نظارت
GOVERN 3.2: سیاست‌ها و رویه‌هایی برای تعریف و تفکیک نقش‌ها و مسئولیت‌ها در پیکربندی‌های انسان–هوش مصنوعی و نظارت بر سیستم‌های هوش مصنوعی وجود دارد.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-3.2-001 | سیاست‌هایی برای تقویت نظارت بر سیستم‌های GAI با ارزیابی‌ها یا سنجش‌های مستقل از مدل‌ها یا سیستم‌های GAI وجود دارد، به‌گونه‌ای که نوع و «استواری» (Robustness) ارزیابی‌ها متناسب با ریسک‌های شناسایی‌شده باشد. | اطلاعات یا قابلیت‌های CBRN؛ سوگیری زیان‌بار و یکسان‌سازی |
| GV-3.2-002 | بررسی تنظیم نقش‌ها و اجزای سازمانی در چرخه‌های حیات سیستم‌های GAI بزرگ یا پیچیده، شامل: آزمون و ارزیابی، اعتبارسنجی و تیم قرمز (red-teaming) سیستم‌های GAI؛ تعدیل محتوای GAI؛ توسعه و مهندسی سیستم GAI؛ افزایش دسترسی‌پذیری ابزارها، رابط‌ها و سیستم‌های GAI؛ پاسخ به رخداد و مهار آن. | پیکربندی انسان–هوش مصنوعی؛ امنیت؛ سوگیری زیان‌بار و یکسان‌سازی |
| GV-3.2-003 | تعریف سیاست‌های استفاده پذیرفتنی برای رابط‌ها، حالت‌ها (modalities) و پیکربندی‌های انسان–هوش مصنوعی GAI (یعنی برای چت‌بات‌ها و وظایف تصمیم‌گیری)، شامل معیارهایی برای انواع پرس‌وجوهایی که کاربردهای GAI بهتر است به آن‌ها پاسخ ندهند. | پیکربندی انسان–هوش مصنوعی |
| GV-3.2-004 | تعیین سیاست‌هایی برای سازوکارهای بازخورد کاربران برای سیستم‌های GAI که شامل دستورالعمل‌های کامل و هرگونه سازوکار جبران باشد. | پیکربندی انسان–هوش مصنوعی |
| GV-3.2-005 | انجام مدل‌سازی تهدید برای پیش‌بینی ریسک‌های بالقوه سیستم‌های GAI. | اطلاعات یا قابلیت‌های CBRN؛ امنیت |
کنشگران هوش مصنوعی: طراحی AI
GOVERN 4.1: سیاست‌ها و رویه‌های سازمانی برای پرورش ذهنیت تفکر نقادانه و ایمنی‌محور در طراحی، توسعه، استقرار و کاربردهای سیستم‌های هوش مصنوعی، به‌منظور کمینه‌سازی اثرات منفی بالقوه، وجود دارد.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-4.1-001 | تعیین سیاست‌ها و رویه‌هایی که به فرایندهای بهبود مستمر برای سنجش ریسک GAI بپردازند. پرداختن به ریسک‌های عمومی مرتبط با فقدان «تبیین‌پذیری» (Explainability) و «شفافیت» (Transparency) در سیستم‌های GAI با استفاده از مستندسازی کافی و فن‌هایی مانند: کاربرد انتساب‌های مبتنی بر گرادیان، کاهش انسداد/عبارت، پرامپت‌های عینیت‌ساز (counterfactual) و مهندسی پرامپت، و تحلیل تعبیه‌ها (embeddings)؛ سنجش و به‌روزرسانی رویکردهای سنجش ریسک در فواصل زمانی منظم. | «برساختگی» (Confabulation) |
| GV-4.1-002 | تعیین سیاست‌ها، رویه‌ها و فرایندهایی برای تفصیل سنجش ریسک در «بستر استفاده» (Context of use) با پروتکل‌های سنجش استانداردشده و تمرین‌های ساختاریافته بازخورد عمومی مانند تیم قرمز AI یا ارزیابی‌های مستقل بیرونی. | اطلاعات و قابلیت CBRN؛ زنجیره ارزش و یکپارچه‌سازی مؤلفه‌ها |
| GV-4.1-003 | تعیین سیاست‌ها، رویه‌ها و فرایندهایی برای کارکردهای نظارتی (مانند رهبری ارشد، حقوقی، «انطباق» (Compliance)، از جمله ارزیابی داخلی) در سراسر چرخه حیات GAI، از «صورت‌بندی مسئله» (Problem formulation) و زنجیره‌های تأمین تا خروج سیستم از مدار. | زنجیره ارزش و یکپارچه‌سازی مؤلفه‌ها |
وظایف کنشگران هوش مصنوعی: استقرار AI، طراحی AI، توسعه AI، بهره‌برداری و پایش
GOVERN 4.2: تیم‌های سازمانی ریسک‌ها و اثرات بالقوه فناوری هوش مصنوعی را که طراحی، توسعه، استقرار، ارزیابی و استفاده می‌کنند مستند کرده و درباره این اثرات به‌صورت گسترده‌تر ارتباط برقرار می‌کنند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-4.2-001 | تعیین شرایط استفاده و شرایط خدمت برای سیستم‌های GAI. | مالکیت فکری؛ محتوای خطرناک، خشونت‌آمیز یا نفرت‌انگیز؛ محتوای مستهجن، تحقیرآمیز و/یا آزاردهنده |
| GV-4.2-002 | مشارکت دادن کنشگران هوش مصنوعی مرتبط در فرایند شناسایی ریسک سیستم GAI. | پیکربندی انسان–هوش مصنوعی |
| GV-4.2-003 | راستی‌آزمایی اینکه اثرات پایین‌دستی سیستم GAI (مانند استفاده از افزونه‌های «طرف ثالث» (Third-Party)) در فرایند مستندسازی اثرات گنجانده شده‌اند. | زنجیره ارزش و یکپارچه‌سازی مؤلفه‌ها |
وظایف کنشگران: استقرار AI، طراحی AI، توسعه AI، بهره‌برداری و پایش
GOVERN 4.3: رویه‌های سازمانی برای امکان‌پذیر کردن آزمون هوش مصنوعی، شناسایی رخدادها و اشتراک اطلاعات وجود دارد.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV4.3--001 | تدوین سیاست‌هایی برای سنجش اثربخشی روش‌های به‌کاررفته «منشأ» (Provenance) محتوا (مانند رمزنگاری، «واترمارک‌گذاری» (Watermarking)، پنهان‌نگاری و غیره) | یکپارچگی اطلاعات |
| GV-4.3-002 | ایجاد رویه‌های سازمانی برای شناسایی حداقل مجموعه معیارهای لازم برای گزارش «رخداد» (Incident) سامانه GAI، مانند: شناسه سیستم (به‌احتمال زیاد به‌صورت خودکار تولید می‌شود)، عنوان، گزارش‌دهنده، سیستم/منبع، داده‌های گزارش‌شده، تاریخ رخداد، شرح، تأثیر(ها)، ذی‌نفع(های) متأثر. | امنیت اطلاعات |
| GV-4.3-003 | راستی‌آزمایی سازوکارهای اشتراک اطلاعات و بازخورد میان افراد و سازمان‌ها درباره هرگونه تأثیر منفی ناشی از سامانه‌های GAI. | یکپارچگی اطلاعات؛ حریم خصوصی داده‌ها |
AI Actor Task f i s: AI Impact Assessment, Affected Individuals and Communities, Governance an f i d Oversight
GOVERN 5.1: سیاست‌ها و رویه‌های سازمانی برای گردآوری، در نظر گرفتن، اولویت‌بندی و ادغام بازخوردهای افراد خارج از تیمی که «سامانه هوش مصنوعی» (AI system) را توسعه داده یا مستقر کرده است، درباره تأثیرهای بالقوه فردی و اجتماعی مرتبط با «ریسک» (Risk)های هوش مصنوعی، در جای خود قرار دارند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-5.1-001 | تخصیص زمان و منابع برای فرایندهای ارتباط با ذی‌نفع‌ها، بازخورد و جبران خسارت در توسعه سامانه GAI. | Human-AI Configuration؛ سوگیری مضر و یکسان‌سازی |
| GV-5.1-002 | مستندسازی تعامل‌ها با سامانه‌های GAI برای کاربران پیش از فعالیت‌های تعاملی، به‌ویژه در بسترهای مستلزم ریسک‌های جدی‌تر. | Human-AI Configuration؛ «برساختگی» (Confabulation) |
AI Actor Tasks: AI Design, AI Impact Assessment, Affected Individuals and Communities, Governance and Oversight
GOVERN 6.1: سیاست‌ها و رویه‌هایی که ریسک‌های هوش مصنوعی مرتبط با نهادهای «طرف ثالث» (Third-Party)، از جمله ریسک‌های نقض مالکیت فکری یا سایر حقوق یک طرف ثالث را دربر می‌گیرند، در جای خود قرار دارند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-6.1-001 | دسته‌بندی انواع مختلف محتوای GAI با حقوق طرف ثالث مرتبط (مانند کپی‌رایت، مالکیت فکری، حریم خصوصی داده‌ها). | حریم خصوصی داده‌ها؛ مالکیت فکری؛ زنجیره ارزش و یکپارچگی اجزا |
| GV-6.1-002 | برگزاری فعالیت‌ها و رویدادهای آموزشی مشترک در همکاری با طرف‌های ثالث برای ترویج بهترین شیوه‌های «مدیریت ریسک» (Risk Management) GAI. | زنجیره ارزش و یکپارچگی اجزا |
| GV-6.1-003 | توسعه و اعتبارسنجی رویکردهایی برای سنجش موفقیت تلاش‌های مدیریت منشأ محتوا با طرف‌های ثالث (مانند رخدادهای شناسایی‌شده و زمان‌های پاسخ). | یکپارچگی اطلاعات؛ زنجیره ارزش و یکپارچگی اجزا |
| GV-6.1-004 | تنظیم و نگهداری قراردادها و «توافق‌نامه‌های سطح خدمات» (Service Level Agreements, SLAs) روشن و دقیق که مالکیت محتوا، حقوق استفاده، استانداردهای کیفیت، الزامات «امنیت» (Security) و انتظارات منشأ محتوا را برای سامانه‌های GAI مشخص می‌کنند. | یکپارچگی اطلاعات؛ امنیت اطلاعات؛ مالکیت فکری |
| GV-6.1-005 | پیاده‌سازی چارچوب ارزیابی ریسک تأمین‌کننده مبتنی بر موارد استفاده برای ارزیابی و «پایش» (Monitoring) عملکرد نهادهای طرف ثالث و پایبندی آن‌ها به استانداردها و فناوری‌های منشأ محتوا به‌منظور شناسایی ناهنجاری‌ها و تغییرات غیرمجاز؛ مدیریت ریسک تحصیل خدمات و زنجیره ارزش؛ و «انطباق» (Compliance) حقوقی. | حریم خصوصی داده‌ها؛ یکپارچگی اطلاعات؛ امنیت اطلاعات؛ مالکیت فکری؛ زنجیره ارزش و یکپارچگی اجزا |
| GV-6.1-006 | گنجاندن بندهایی در قراردادها که به سازمان امکان ارزیابی فرایندها و استانداردهای GAI طرف ثالث را بدهد. | یکپارچگی اطلاعات |
| GV-6.1-007 | تهیه فهرست کامل تمام نهادهای طرف ثالث دارای دسترسی به محتوای سازمانی و ایجاد فهرست‌های فناوری‌های GAI و ارائه‌دهندگان خدمات تأییدشده. | زنجیره ارزش و یکپارچگی اجزا |
| GV-6.1-008 | نگهداری سوابق تغییرات اعمال‌شده بر محتوا توسط طرف‌های ثالث به‌منظور ترویج منشأ محتوا، شامل منابع، مهرهای زمانی و «فراداده» (metadata). | یکپارچگی اطلاعات؛ زنجیره ارزش و یکپارچگی اجزا؛ مالکیت فکری |
| GV-6.1-009 | به‌روزرسانی و ادغام فرایندهای راستی‌آزمایی دقیق (Due Diligence) برای ارزیابی‌های فروشندگان تحصیل و تدارکات GAI به‌منظور شمول مالکیت فکری، حریم خصوصی داده‌ها، امنیت و سایر ریسک‌ها. برای مثال، به‌روزرسانی فرایندها به‌منظور: پرداختن به راهکارهایی که ممکن است بر فناوری‌های GAI تعبیه‌شده تکیه کنند؛ پرداختن به پایش مستمر، ارزیابی‌ها و هشداردهی، ارزیابی‌های پویای ریسک و ابزارهای گزارش‌دهی بلادرنگ برای پایش ریسک‌های GAI طرف ثالث؛ در نظر گرفتن تعدیل سیاست‌ها در کتابخانه‌ها، ابزارها و APIهای مدل‌سازی GAI، مدل‌های تنظیم‌شده دقیق و ابزارهای تعبیه‌شده؛ ارزیابی فروشندگان GAI، ابزارهای GAI متن‌باز یا مالکیتی، یا ارائه‌دهندگان خدمات GAI در برابر پایگاه‌های داده رخدادها یا آسیب‌پذیری‌ها. | حریم خصوصی داده‌ها؛ Human-AI Configuration؛ امنیت اطلاعات؛ مالکیت فکری؛ زنجیره ارزش و یکپارچگی اجزا؛ سوگیری مضر و یکسان‌سازی |
| GV-6.1-010 | به‌روزرسانی سیاست‌های استفاده قابل قبول GAI به‌منظور پرداختن به فناوری‌ها و داده‌های GAI مالکیتی و متن‌باز، و پیمانکاران، مشاوران و سایر کارکنان طرف ثالث. | مالکیت فکری؛ زنجیره ارزش و یکپارچگی اجزا |
AI Actor Task i ii s: Operation and Monitoring, Procurement, Third-party entities
GOVERN 6.2: فرایندهای مواجهه با شرایط اضطراری برای مدیریت خرابی‌ها یا رخدادها در داده‌های طرف ثالث یا «سامانه‌های هوش مصنوعی» (AI systems) طرف ثالث که پرخطرو تلقی می‌شوند، در جای خود قرار دارند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| GV-6.2-001 | مستندسازی ریسک‌های GAI مرتبط با زنجیره ارزش سیستم برای شناسایی اتکای بیش از حد به داده‌های طرف ثالث و شناسایی راهکارهای جایگزین (fallback). | زنجیره ارزش و یکپارچگی اجزا |
| GV-6.2-002 | مستندسازی رخدادهای دربرگیرنده داده‌ها و سیستم‌های GAI طرف ثالث، از جمله داده‌های باز و نرم‌افزار متن‌باز. | مالکیت فکری؛ زنجیره ارزش و یکپارچگی اجزا |
| GV-6.2-003 | برنامه‌های پاسخ به رخداد برای فناوری‌های GAI طرف ثالث تدوین کنید: هم‌راستاسازی برنامه‌های پاسخ به رخداد با اثرات فهرست‌شده در MAP 5.1؛ اطلاع‌رسانی برنامه‌های پاسخ به رخداد GAI طرف ثالث به همه کنشگران هوش مصنوعی مرتبط؛ تعریف مالکیت کارکردهای پاسخ به رخداد GAI؛ تمرین برنامه‌های پاسخ به رخداد GAI طرف ثالث در فواصل زمانی منظم؛ بهبود برنامه‌های پاسخ به رخداد بر اساس یادگیری گذشته‌نگر؛ و بازنگری برنامه‌های پاسخ به رخداد از نظر هم‌راستایی با مقررات مربوط به گزارش‌دهی نقض داده‌ها، حفاظت از داده‌ها، حریم خصوصی داده‌ها یا دیگر قوانین. | حریم خصوصی داده‌ها؛ پیکربندی انسان–هوش مصنوعی؛ امنیت اطلاعات؛ یکپارچگی زنجیره ارزش و مؤلفه‌ها؛ سوگیری زیان‌بار و همگن‌سازی |
| GV-6.2-004 | سیاست‌ها و رویه‌هایی برای پایش مستمر سامانه‌های GAI طرف ثالث در حال استقرار تدوین کنید. | یکپارچگی زنجیره ارزش و مؤلفه‌ها |
| GV-6.2-005 | سیاست‌ها و رویه‌هایی تدوین کنید که به افزونگی داده‌های GAI، از جمله وزن‌های مدل و سایر مصنوعات سیستم، بپردازد. | سوگیری زیان‌بار و همگن‌سازی |
| GV-6.2-006 | سیاست‌ها و رویه‌هایی برای آزمون و مدیریت ریسک‌های مرتبط با فناوری‌های جایگزینی و بازگشت (rollover و fallback) برای سامانه‌های GAI تدوین کنید، با این اذعان که جایگزینی و بازگشت می‌تواند پردازش دستی را نیز در بر بگیرد. | یکپارچگی اطلاعات |
| GV-6.2-007 | قراردادهای فروشندگان را بازبینی کنید و از خاتمه خودسرانه یا غیرمنطقی فناوری‌های حیاتی GAI یا خدمات فروشندگان و نیز شرایط غیراستانداردی که ممکن است مسئولیت را به شیوه‌های غیرمنتظره تشدید یا به تأخیر اندازد و/یا به گردآوری داده‌های غیرمجاز توسط فروشندگان یا طرف‌های ثالث (مثلاً استفاده ثانویه از داده‌ها) بینجامد، پرهیز کنید. موارد زیر را در نظر بگیرید: تخصیص روشن مسئولیت و پاسخگویی در قبال رخدادها و تغییرات سامانه GAI در طول زمان (مثلاً fine-tuning، رانش، افت). موارد زیر را درخواست کنید: اطلاع‌رسانی و افشای رخدادهای جدی ناشی از داده‌ها و سیستم‌های طرف ثالث؛ توافق‌نامه‌های سطح خدمات (SLAs) در قراردادهای فروشندگان که پاسخ به رخدادها، زمان‌های پاسخگویی و دسترس‌پذیری پشتیبانی حیاتی را پوشش دهند. | پیکربندی انسان–هوش مصنوعی؛ امنیت اطلاعات؛ یکپارچگی زنجیره ارزش و مؤلفه‌ها |
وظایف کنشگران هوش مصنوعی: i ii استقرار هوش مصنوعی، بهره‌برداری و پایش، TEVV، نهادهای طرف ثالث
MAP 1.1: اهداف موردنظر، کاربردهای بالقوه سودمند، قوانین، هنجارها و انتظارات خاص هر بستر، و محیط‌های پیش‌بینی‌شده‌ای که سامانه هوش مصنوعی در آن‌ها مستقر خواهد شد، درک و مستند شده‌اند. ملاحظات شامل موارد زیر است: مجموعه یا انواع خاص کاربران به همراه انتظارات آن‌ها؛ اثرات بالقوه مثبت و منفی کاربردهای سامانه بر افراد، جوامع، سازمان‌ها، جامعه و سیاره زمین؛ مفروضات و محدودیت‌های مرتبط درباره اهداف، کاربردها و ریسک‌های سامانه هوش مصنوعی در سراسر چرخه حیات توسعه یا محصول؛ و سنجه‌ها و کارکردهای TEVV و سیستم مرتبط.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| MP-1.1-001 | هنگام شناسایی اهداف موردنظر، عواملی مانند استفاده داخلی در برابر خارجی، دامنه کاربرد محدود در برابر گسترده، fine-tuning و تنوع منابع داده (مثلاً grounding، تولید افزوده‌شده با بازیابی) را در نظر بگیرید. | حریم خصوصی داده‌ها؛ مالکیت فکری |
| MP-1.1-002 | بستر استفاده مورد انتظار و قابل قبول سامانه GAI را در همکاری با کارشناسان اجتماعی–فرهنگی و سایر دامنه‌ها تعیین و مستند کنید، از طریق ارزیابی موارد زیر: مفروضات و محدودیت‌ها؛ ارزش مستقیم برای سازمان؛ محیط عملیاتی موردنظر و الگوهای مشاهده‌شده استفاده؛ اثرات بالقوه مثبت و منفی بر افراد، ایمنی عمومی، گروه‌ها، جوامع، سازمان‌ها، نهادهای دموکراتیک و محیط فیزیکی؛ هنجارها و انتظارات اجتماعی. | سوگیری زیان‌بار و همگن‌سازی |
| MP-1.1-003 | برنامه‌های سنجش ریسک را برای پرداختن به ریسک‌های شناسایی‌شده مستند کنید. برنامه‌ها در صورت لزوم می‌توانند شامل موارد زیر باشند: سوگیری‌های شناختی فردی و گروهی (مثلاً سوگیری تأیید، سوگیری تأمین مالی، تفکر گروهی) برای کنشگران هوش مصنوعی درگیر در طراحی، پیاده‌سازی و استفاده از سامانه‌های GAI؛ رخدادها و حالت‌های خرابی شناخته‌شده پیشین سامانه‌های GAI؛ استفاده در بستر و سوءاستفاده، بدرفتاری و کاربرد خارج از برچسبِ قابل پیش‌بینی؛ اتکای بیش از حد به سنجه‌ها و روش‌های کمّی بدون آگاهی کافی از محدودیت‌های آن‌ها در بستر(های) استفاده؛ رویکردهای استاندارد سنجش و بازخورد ساختاریافته انسانی؛ پیکربندی‌های پیش‌بینی‌شده انسان–هوش مصنوعی. | پیکربندی انسان–هوش مصنوعی؛ سوگیری زیان‌بار و همگن‌سازی؛ محتوای خطرناک، خشونت‌آمیز یا نفرت‌پراکن |
| MP-1.1-004 | کاربردهای غیرقانونی قابل پیش‌بینی سامانه GAI را که از آستانه‌های تحمل ریسک سازمانی فراتر می‌روند، شناسایی و مستند کنید. | اطلاعات یا قابلیت‌های CBRN؛ محتوای خطرناک، خشونت‌آمیز یا نفرت‌پراکن؛ محتوای رکیک، تحقیرآمیز و/یا آزاردهنده |
وظایف کنشگران هوش مصنوعی: استقرار هوش مصنوعی
MAP 1.2: کنشگران هوش مصنوعی میان‌رشته‌ای، شایستگی‌ها، مهارت‌ها و ظرفیت‌های لازم برای ایجاد بستر، تنوع جمعیت‌شناختی و تخصص گسترده در دامنه‌ها و تجربه کاربران را منعکس می‌کنند و مشارکت آن‌ها مستند شده است. فرصت‌های همکاری میان‌رشته‌ای در اولویت قرار گرفته‌اند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| MP-1.2-001 | تیم‌های میان‌رشته‌ای را در سراسر سازمان تشکیل دهید و توانمند سازید که طیف گسترده‌ای از قابلیت‌ها، شایستگی‌ها، گروه‌های جمعیت‌شناختی، تخصص‌های دامنه‌ای، پیشینه‌های تحصیلی، تجربه‌های زیسته، حرفه‌ها و مهارت‌ها را منعکس کنند تا کارکردهای سنجش و مدیریت ریسک را هدایت و اجرا کنند. | پیکربندی انسان–هوش مصنوعی؛ سوگیری زیان‌بار و همگن‌سازی |
| MP-1.2-002 | بررسی کنید که داده‌ها یا معیارهای مرجع به‌کاررفته در سنجش ریسک، و کاربران، مشارکت‌کنندگان یا موضوعات درگیر در تمرین‌های ساختاریافته بازخورد عمومی GAI، نماینده جمعیت‌های کاربری متنوع در بستر استفاده باشند. | پیکربندی انسان–هوش مصنوعی؛ سوگیری زیان‌بار و همگن‌سازی |
وظایف کنشگران هوش مصنوعی: استقرار هوش مصنوعی
MAP 2.1: وظایف و روش‌های مشخصی که برای اجرای وظایفی که سامانه هوش مصنوعی از آن‌ها پشتیبانی خواهد کرد به کار می‌رود تعریف شده است (مانند طبقه‌بندها، مدل‌های مولد، توصیه‌گرها).
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| MP-2.1-001 | فرض‌ها و رویه‌های شناخته‌شده برای تعیین منشأ داده‌ها و تبار محتوا، به‌منظور مستندسازی و ارزیابی، برقرار شود. | Information Integrity |
| آزمون و ارزیابی جریان‌های داده و محتوا درون سیستم GAI تدوین شود، | | |
| MP-2.1-002 | | Intellectual Property; Data Privacy |
AI Actor Tasks: TEVV
MAP 2.2: اطلاعاتی درباره محدودیت‌های دانش سامانه هوش مصنوعی و نحوه استفاده و نظارت انسانی بر خروجی سیستم مستند شده است. مستندات اطلاعات کافی برای کمک به کنشگران هوش مصنوعی مرتبط هنگام تصمیم‌گیری و انجام اقدامات بعدی ارائه می‌دهد.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| MP-2.2-001 | نحوه وابستگی سیستم به منابع داده بالادستی، از جمله در مورد منشأ محتوا، و نیز اینکه آیا سیستم به‌عنوان یک وابستگی بالادستی برای سایر سیستم‌ها عمل می‌کند، شناسایی و مستند شود. | Information Integrity; Value Chain and Component Integration |
| MP-2.2-002 | نحوه تعامل سیستم GAI با شبکه‌های بیرونی مشاهده و تحلیل شود و هرگونه احتمال پیامدهای منفی خارجی، به‌ویژه در مواردی که منشأ محتوا ممکن است به خطر بیفتد، شناسایی گردد. | Information Integrity |
AI Actor Tasks: End Users
MAP 2.3: ملاحظات تمامیت علمی و TEVV شناسایی و مستند می‌شوند، از جمله ملاحظات مرتبط با طراحی آزمایش، گردآوری و انتخاب داده‌ها (مانند در دسترس بودن، نمایندگی‌پذیری، تناسب)، قابلیت اعتماد سیستم، و اعتبارسنجی سازه.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|
| MP-2.3-001 | دقت، کیفیت، قابلیت اطمینان، و اصالت خروجی GAI از طریق مقایسه آن با مجموعه‌ای از داده‌های حقیقت مرجع شناخته‌شده و با استفاده از روش‌های ارزیابی گوناگون (مانند نظارت انسانی و ارزیابی خودکار، تکنیک‌های رمزنگاری اثبات‌شده، بازبینی ورودی‌های محتوا) سنجیده شود. | Information Integrity |
| MP-2.3-002 | دقت، نمایندگی‌پذیری، ارتباط، و تناسب داده‌های استفاده‌شده در مراحل مختلف چرخه حیات هوش مصنوعی بازبینی و مستند شود. | Harmful Bias and Homogenization; Intellectual Property |
| MP-2.3-003 | تکنیک‌های راستی‌آزمایی برای بررسی دقت و صحت اطلاعات تولیدشده توسط سیستم‌های GAI به‌کار گرفته و مستند شود، به‌ویژه زمانی که اطلاعات از منابع متعدد (یا ناشناخته) می‌آید. | Information Integrity |
| MP-2.3-004 | تکنیک‌های آزمون برای شناسایی محتوای تولیدشده توسط GAI (مانند رسانه‌های مصنوعی) که ممکن است از محتوای تولیدشده توسط انسان قابل‌تفکیک نباشد، توسعه و پیاده‌سازی شود. | Information Integrity |
| MP-2.3-005 | برنامه‌هایی برای آزمون‌های منظم مخاصمانه سیستم‌های GAI به‌منظور شناسایی آسیب‌پذیری‌ها و دستکاری یا سوءاستفاده بالقوه اجرا شود. | Information Security |
AI Actor Tasks: AI Development, Domain Experts, TEVV
