فهرست این فصلبخش ۲، فصل ۱۳ — صفحهٔ ۵ از ۷
بخش ۲، فصل ۱۳ — صفحهٔ ۵ از ۷
چارچوب مدیریت ریسک هوش مصنوعی: نمایهٔ هوش مصنوعی مولد
متن اصلی فارسی با منشأ، شناسه و پیوند استناد پایدار.
ادامهٔ بخش «۳. اقدامات پیشنهادی برای مدیریت ریسک‌های GAI» — بخش ۳ از ۳
MEASURE 3.2: رویکردهای رهگیری ریسک برای بسترهایی در نظر گرفته می‌شوند که ارزیابی ریسک‌های هوش مصنوعی با تکنیک‌های سنجش کنونی دشوار است یا سنجه‌ها هنوز در دسترس نیستند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MS-3.2-001 | برقراری فرایندهایی برای شناسایی ریسک‌های نوپدید سامانه‌های GAI از جمله مشورت با کنشگران هوش مصنوعی بیرونی. | Human-AI Configuration; Confabulation |
AI Actor Tasks i: AI Impact Assessment, Domain Experts, Operation and Monitoring, TEVV
MEASURE 3.3: فرایندهای بازخورد برای کاربران نهایی و جوامع تأثیرپذیر به‌منظور گزارش مشکلات و اعتراض به پیامدهای سامانه برقرار و در سنجه‌های ارزیابی سامانه هوش مصنوعی ادغام می‌شوند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MS-3.3-001 | انجام ارزیابی تأثیر درباره چگونگی تأثیرگذاری محتوای تولیدشده توسط هوش مصنوعی بر گروه‌های گوناگون اجتماعی، اقتصادی و فرهنگی. | Harmful Bias and Homogenization |
| MS-3.3-002 | انجام مطالعاتی برای فهم چگونگی ادراک و تعامل کاربران نهایی با محتوای GAI و منشأ محتوای همراه آن در بستر استفاده. ارزیابی اینکه آیا محتوا با انتظارات آنان هم‌راستاست و چگونه ممکن است بر پایه اطلاعات ارائه‌شده عمل کنند. | Human-AI Configuration; Information Integrity |
| MS-3.3-003 | ارزیابی سوگیری‌ها و کلیشه‌های بالقوه‌ای که ممکن است از محتوای تولیدشده توسط هوش مصنوعی پدید آیند، با استفاده از روش‌شناسی‌های مناسب شامل روش‌های آزمون محاسباتی و نیز ارزیابی داده‌های ورودی بازخورد ساختاریافته. | Harmful Bias and Homogenization |
| MS-3.3-004 | ارائه داده‌های ورودی برای مواد آموزشی درباره قابلیت‌ها و محدودیت‌های سامانه‌های GAI مرتبط با شفافیت محتوای دیجیتال برای کنشگران هوش مصنوعی، سایر متخصصان و عموم مردم درباره تأثیرات اجتماعی هوش مصنوعی و نقش تولید محتوای متنوع و فراگیر. | Human-AI Configuration; Information Integrity; Harmful Bias and Homogenization |
| MS-3.3-005 | ثبت و ادغام بازخورد ساختاریافته درباره منشأ محتوا از اپراتورها، کاربران و جوامع بالقوه تأثیرپذیر از طریق روش‌هایی مانند مطالعات پژوهش کاربر، گروه‌های کانونی یا انجمن‌های اجتماعی. جست‌وجوی فعالانه بازخورد درباره کیفیت محتوای تولیدشده و سوگیری‌های بالقوه. ارزیابی میزان آگاهی عمومی میان کاربران نهایی و جوامع تأثیرپذیر از در دسترس بودن این کانال‌های بازخورد. | Human-AI Configuration; Information Integrity; Harmful Bias and Homogenization |
AI Actor Tasks: f i i AI Deployment, Affected Individuals and Communities, End-Users, Operation an f i i d Monitoring, TEVV
MEASURE 4.2: نتایج سنجش مربوط به قابلیت اعتماد سامانه هوش مصنوعی در بستر (بسترهای) استقرار و در سراسر چرخه حیات هوش مصنوعی، با داده‌های ورودی از متخصصان دامنه و کنشگران مرتبط هوش مصنوعی آگاه می‌شود تا راستی‌آزمایی شود که آیا سامانه به‌طور یکنواخت مطابق مقصود عمل می‌کند. نتایج مستند می‌شوند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MS-4.2-001 | انجام آزمون‌های خصمانه با تناوب منظم به‌منظور نگاشت و سنجش ریسک‌های GAI، شامل آزمون‌هایی برای رسیدگی به تلاش‌ها برای فریب یا دستکاری کاربرد تکنیک‌های منشأ یا سایر سوءاستفاده‌ها. شناسایی آسیب‌پذیری‌ها و فهم سناریوهای بالقوه سوءاستفاده و خروجی‌های ناخواسته. | Information Integrity; Information Security |
| MS-4.2-002 | ارزیابی عملکرد سامانه GAI در سناریوهای دنیای واقعی به‌منظور مشاهده رفتار آن در محیط‌های عملی و آشکارسازی مسائلی که ممکن است در محیط‌های آزمون کنترل‌شده و بهینه‌شده ظاهر نشوند. | Human-AI Configuration; Confabulation; Information Security |
| MS-4.2-003 | پیاده‌سازی روش‌های تفسیرپذیری و تبیین‌پذیری به‌منظور ارزیابی تصمیم‌های سامانه GAI و راستی‌آزمایی هم‌راستایی با هدف موردنظر. | Information Integrity; Harmful Bias and Homogenization |
| MS-4.2-004 | پایش و مستندسازی مواردی که اپراتورهای انسانی یا سایر سامانه‌ها تصمیم‌های GAI را نادیده می‌گیرند (لغو می‌کنند). ارزیابی این موارد برای فهم اینکه آیا این نادیده‌گرفتن‌ها به مسائل مربوط به منشأ محتوا پیوند دارند. | Information Integrity |
| MS-4.2-005 | راستی‌آزمایی و مستندسازی ادغام نتایج تمرین‌های ساختاریافته بازخورد عمومی در طراحی، پیاده‌سازی، تأیید استقرار (تصمیم‌های «برو»/«نرو»)، پایش و تصمیم‌های خروج از خدمت. | Human-AI Configuration; Information Security |
AI Actor Tasks: i AI Deployment, Domain Experts, End-Users, Operation and Monitoring, TEVV
MANAGE 1.3: پاسخ‌ها به ریسک‌های هوش مصنوعی با اولویت بالا – آن‌گونه که توسط کارکرد نگاشت شناسایی شده‌اند – توسعه، برنامه‌ریزی و مستند می‌شوند. گزینه‌های پاسخ به ریسک می‌تواند شامل کاهش، انتقال، پرهیز یا پذیرش باشد.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MG-1.3-001 | موازنه‌ها، فرایندهای تصمیم‌گیری، و نتایج اندازه‌گیری و بازخورد مربوطه را برای ریسک‌هایی که از «تحمل ریسک» (Risk tolerance) سازمانی فراتر نمی‌روند، مستند کنید؛ برای نمونه، در بستر انتشار مدل: رویکردهای مختلف برای انتشار مدل را در نظر بگیرید، برای مثال، بهره‌گیری از رویکرد انتشار مرحله‌ای. رویکردهای انتشار را در بستر مدل و موارد استفاده پیش‌بینی‌شده آن در نظر بگیرید. ریسک‌هایی را که از تحمل ریسک سازمانی فراتر می‌روند، کاهش دهید، منتقل کنید یا از آن‌ها اجتناب کنید. | امنیت |
| MG-1.3-002 | «استواری» (Robustness) و اثربخشی کنترل‌های ریسک و برنامه‌های کاهش ریسک را پایش کنید (برای مثال، از طریق تیم‌های قرمز، «آزمون میدانی» (Field Testing)، تعاملات مشارکتی، ارزیابی‌های عملکرد، سازوکارهای بازخورد کاربر). | پیکربندی انسان-هوش مصنوعی |
وظایف کنشگران هوش مصنوعی: توسعه هوش مصنوعی، استقرار هوش مصنوعی، «ارزیابی تأثیر» (Impact Assessment)، عملیات و «پایش» (Monitoring)
MANAGE 2.2: سازوکارهایی برای حفظ ارزش سیستم‌های هوش مصنوعی مستقر، در جای خود قرار دارند و اعمال می‌شوند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MG-2.2-001 | خروجی‌های سیستم GAI را با تحمل ریسک، دستورالعمل‌ها و اصول از پیش تعیین‌شده سازمان مقایسه کنید، و محتوای تولیدشده توسط هوش مصنوعی را در برابر این دستورالعمل‌ها بازبینی و آزمایش کنید. | اطلاعات یا قابلیت‌های CBRN؛ محتوای مستهجن، تحقیرآمیز و/یا توهین‌آمیز؛ سوگیری زیان‌بار و همگن‌سازی؛ محتوای خطرناک، خشونت‌آمیز یا نفرت‌انگیز |
| MG-2.2-002 | منابع داده‌های آموزشی را مستند کنید تا اصل و «منشأ» (Provenance) محتوای تولیدشده توسط هوش مصنوعی رهگیری شود. | یکپارچگی اطلاعات |
| MG-2.2-003 | حلقه‌های بازخورد بین منشأ محتوای سیستم GAI و بازبینان انسانی را ارزیابی کنید و در صورت نیاز به‌روزرسانی نمایید. سیستم‌های پایش بلادرنگ را پیاده‌سازی کنید تا تأیید شود که پروتکل‌های منشأ محتوا اثربخش باقی می‌مانند. | یکپارچگی اطلاعات |
| MG-2.2-004 | محتوا و داده‌های GAI را از نظر سوگیری‌های بازنمایی ارزیابی کنید و از تکنیک‌هایی مانند نمونه‌برداری مجدد، رتبه‌بندی مجدد، یا آموزش خصمانه برای کاهش سوگیری‌ها در محتوای تولیدشده استفاده نمایید. | امنیت؛ سوگیری زیان‌بار و همگن‌سازی |
| MG-2.2-005 | برای تحلیل خروجی GAI از نظر محتوای زیان‌بار، اطلاعات نادرست احتمالی، و محتوای مرتبط با CBRN یا NCII، «راستی‌آزمایی» (Due diligence) انجام دهید. | اطلاعات یا قابلیت‌های CBRN؛ محتوای مستهجن، تحقیرآمیز و/یا توهین‌آمیز؛ سوگیری زیان‌بار و همگن‌سازی؛ محتوای خطرناک، خشونت‌آمیز یا نفرت‌انگیز |
| MG-2.2-006 | از بازخورد «کنشگران هوش مصنوعی» (AI Actors) داخلی و خارجی، کاربران، افراد و جوامع برای ارزیابی تأثیر محتوای تولیدشده توسط هوش مصنوعی استفاده کنید. | پیکربندی انسان-هوش مصنوعی |
| MG-2.2-007 | در مواردی که می‌توان اثبات کرد ابزارهای حسابرسی بلادرنگ به «رهگیری» (tracking) و اعتبارسنجی تبار و «اصالت» (authenticity) داده‌های تولیدشده توسط هوش مصنوعی کمک می‌کنند، از آن‌ها استفاده کنید. | یکپارچگی اطلاعات |
| MG-2.2-008 | از سازوکارهای بازخورد ساختاریافته برای درخواست و ثبت ورودی کاربر درباره محتوای تولیدشده توسط هوش مصنوعی استفاده کنید تا تغییرات جزئی در کیفیت یا همسویی با ارزش‌های اجتماعی و جامعه شناسایی شود. | پیکربندی انسان-هوش مصنوعی؛ سوگیری زیان‌بار و همگن‌سازی |
| MG-2.2-009 | فرصت‌های استفاده مسئولانه از داده‌های مصنوعی و سایر تکنیک‌های تقویت‌کننده «حریم خصوصی» (Privacy) را در توسعه GAI در نظر بگیرید؛ در جایی که مناسب و قابل‌اجرا است، «ویژگی‌ها» (properties) آماری داده‌های دنیای واقعی را بدون افشای اطلاعات قابل شناسایی شخصی یا کمک به همگن‌سازی، مطابقت دهید. | حریم خصوصی داده‌ها؛ مالکیت معنوی؛ یکپارچگی اطلاعات؛ «برساختگی» (Confabulation)؛ سوگیری زیان‌بار و همگن‌سازی |
وظایف کنشگران هوش مصنوعی: i استقرار هوش مصنوعی، ارزیابی تأثیر هوش مصنوعی، «حکمرانی» (Governance) و نظارت، عملیات و پایش
MANAGE 2.3: رویه‌هایی برای پاسخگویی و بازیابی از یک ریسک ناشناخته قبلی، پس از شناسایی آن، دنبال می‌شوند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MG-2.3-001 | برنامه‌ها و رویه‌های پاسخ به «رخداد» (Incident) و بازیابی سیستم GAI را برای رسیدگی به موارد زیر توسعه داده و به‌روزرسانی کنید: بازبینی و نگهداری سیاست‌ها و رویه‌ها برای لحاظ کردن موارد استفاده تازه مواجه‌شده؛ بازبینی و نگهداری سیاست‌ها و رویه‌ها برای تشخیص موارد استفاده پیش‌بینی‌نشده؛ تأیید اینکه برنامه‌های پاسخ و بازیابی، زنجیره ارزش سیستم GAI را در نظر می‌گیرند؛ تأیید اینکه برنامه‌های پاسخ و بازیابی برای «کنشگران» (Actors) پایین‌دست سیستم GAI به‌روزرسانی شده و شامل جزئیات لازم برای برقراری ارتباط هستند: «افراد رابط» (Points-of-Contact, POC)، اطلاعات تماس، قالب اطلاع‌رسانی. | زنجیره ارزش و یکپارچه‌سازی مؤلفه‌ها |
وظایف کنشگران هوش مصنوعی i: استقرار هوش مصنوعی، عملیات و پایش
MANAGE 2.4: سازوکارهایی در جای خود قرار دارند و اعمال می‌شوند، و مسئولیت‌ها تعیین شده و درک می‌شوند تا سیستم‌های هوش مصنوعی که عملکرد یا نتایجی ناسازگار با استفاده موردنظر نشان می‌دهند، جایگزین، قطع یا غیرفعال شوند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MG-2.4-001 | برنامه‌های ارتباطی را برای اطلاع‌رسانی به ذینفعان هوش مصنوعی به‌عنوان بخشی از فرایند غیرفعال‌سازی یا قطع یک سیستم GAI خاص (شامل مدل‌های متن‌باز) یا بستر استفاده، ایجاد و نگهداری کنید؛ این شامل دلایل، راه‌حل‌های جایگزین، حذف دسترسی کاربر، فرایندهای جایگزین، اطلاعات تماس و غیره است. | پیکربندی انسان-هوش مصنوعی |
| MG-2.4-002 | رویه‌هایی را برای ارجاع رخدادهای سیستم GAI به مرجع «مدیریت ریسک» (Risk management) سازمانی، هنگامی که معیارهای خاص برای غیرفعال‌سازی یا قطع برای یک بستر استفاده خاص یا برای کل سیستم GAI برآورده می‌شود، ایجاد و نگهداری کنید. | امنیت |
| MG-2.4-003 | رویه‌هایی را برای اصلاح مسائلی که فرایندهای پاسخ به رخداد را برای استفاده از یک سیستم GAI فعال می‌کنند، ایجاد و نگهداری کنید، و جدول زمانی مرتبط با برنامه اصلاحی را در اختیار ذینفعان قرار دهید. | امنیت |
| MG-2.4-004 | معیارهای خاصی را که غیرفعال‌سازی سیستم‌های GAI را مطابق با تحمل ریسک و اشتهای ریسک تعیین‌شده توجیه می‌کند، ایجاد و به‌طور منظم بازبینی کنید. | امنیت |
کنشگر هوش مصنوعی، وظایف: استقرار هوش مصنوعی، حکمرانی و نظارت، بهره‌برداری و پایش
MANAGE 3.1: ریسک‌ها و منافع هوش مصنوعی ناشی از منابع طرف ثالث به‌طور منظم پایش می‌شوند و کنترل‌های ریسک اعمال و مستند می‌گردند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MG-3.1-001 | اعمال تحمل ریسک و کنترل‌های سازمانی (برای مثال: فرایندهای تحصیل و تدارکات؛ ارزیابی مدارک و صلاحیت‌های پرسنل و انجام بررسی سوابق؛ پالایش ورودی‌ها و خروجی‌های GAI، زمینه‌سازی، تنظیم دقیق، تولید افزوده با بازیابی) بر منابع GAI طرف ثالث: اعمال تحمل ریسک سازمانی بر بهره‌برداری از مجموعه‌داده‌های طرف ثالث و سایر منابع GAI؛ اعمال تحمل ریسک‌های سازمانی بر مدل‌های تنظیم‌دقیق‌شده طرف ثالث؛ اعمال تحمل ریسک سازمانی بر مدل‌های موجود طرف ثالث که به دامنه‌ای جدید تطبیق یافته‌اند؛ ارزیابی مجدد سنجه‌های ریسک پس از تنظیم دقیق مدل‌های GAI طرف ثالث. | زنجیره ارزش و یکپارچه‌سازی اجزا؛ مالکیت فکری |
| MG-3.1-002 | آزمودن ریسک‌های زنجیره ارزش سامانه هوش مصنوعی مولد (برای مثال: مسموم‌سازی داده، بدافزار، سایر آسیب‌پذیری‌های نرم‌افزاری و سخت‌افزاری؛ رویه‌های کاری؛ انطباق حریم خصوصی داده و بومی‌سازی داده؛ هم‌راستایی ژئوپلیتیک). | حریم خصوصی داده؛ امنیت اطلاعات؛ زنجیره ارزش و یکپارچه‌سازی اجزا؛ سوگیری زیان‌بار و همگن‌سازی |
| MG-3.1-003 | ارزیابی مجدد ریسک‌های مدل پس از پیاده‌سازی تنظیم دقیق یا تولید افزوده با بازیابی، و برای هر مدل GAI طرف ثالثی که برای کاربردها و/یا موارد استفاده‌ای به‌کار گرفته می‌شود که در آزمون اولیه ارزیابی نشده‌اند. | زنجیره ارزش و یکپارچه‌سازی اجزا |
| MG-3.1-004 | اتخاذ تدابیر معقول برای بازبینی داده‌های آموزشی از نظر اطلاعات CBRN و مالکیت فکری، و در صورت لزوم، حذف آن‌ها. پیاده‌سازی تدابیر معقول برای پیشگیری، علامت‌گذاری یا اقدام دیگر در واکنش به خروجی‌هایی که داده‌های آموزشی خاصی را بازتولید می‌کنند (برای مثال: محتوای سرقت‌شده، دارای علامت تجاری، دارای ثبت اختراع، دارای مجوز یا مواد محرمانه تجاری). | مالکیت فکری؛ اطلاعات یا قابلیت‌های CBRN |
| MG-3.1-005 | بازبینی انواع مصنوعات شفافیت (برای مثال: کارت‌های سیستم و کارت‌های مدل) برای مدل‌های طرف ثالث. | یکپارچگی اطلاعات؛ امنیت اطلاعات؛ زنجیره ارزش و یکپارچه‌سازی اجزا |
AI Actor Tasks: i ii استقرار هوش مصنوعی، بهره‌برداری و پایش، نهادهای طرف ثالث
MANAGE 3.2: مدل‌های ازپیش‌آموزش‌دیده‌ای که برای توسعه استفاده می‌شوند، به‌عنوان بخشی از پایش و نگهداری منظم سامانه هوش مصنوعی پایش می‌شوند.
| شناسه اقدام | اقدام پیشنهادی | ریسک‌های GAI |
|---|---|---|
| MG-3.2-001 | به‌کارگیری تکنیک‌های هوش مصنوعی توضیح‌پذیر (XAI) (برای مثال: تحلیل تعبیه‌ها، فشرده‌سازی/تقطیر مدل، انتساب‌های مبتنی بر گرادیان، کاهش انسداد/واژه، پرامپت‌های متقابل، ابر واژه‌ها) به‌عنوان بخشی از فرایندهای بهبود مستمر جاری برای کاهش ریسک‌های مرتبط با سامانه‌های GAI توضیح‌ناپذیر. | سوگیری زیان‌بار و همگن‌سازی |
| MG-3.2-002 | مستندسازی چگونگی تطبیق مدل‌های ازپیش‌آموزش‌دیده (برای مثال: تنظیم دقیق یا تولید افزوده با بازیابی) برای وظیفه مولد مشخص، شامل هرگونه افزایش داده، تنظیم پارامترها یا سایر تغییرات. دسترسی به مدل‌های تنظیم‌نشده (پایه) از اشکال‌زدایی اثر نسبی وزن‌های ازپیش‌آموزش‌دیده در مقایسه با وزن‌های مدل تنظیم‌دقیق‌شده یا سایر به‌روزرسانی‌های سیستم پشتیبانی می‌کند. | یکپارچگی اطلاعات؛ حریم خصوصی داده |
| MG-3.2-003 | مستندسازی منابع و انواع داده‌های آموزشی و منشأ آن‌ها، سوگیری‌های بالقوه موجود در داده‌ها مرتبط با کاربرد GAI و منشأ محتوای آن، معماری و فرایند آموزش مدل ازپیش‌آموزش‌دیده، شامل اطلاعاتی درباره ابرپارامترها، مدت آموزش، و هرگونه فرایند تنظیم دقیق یا تولید افزوده با بازیابی اعمال‌شده. | یکپارچگی اطلاعات؛ سوگیری زیان‌بار و همگن‌سازی؛ مالکیت فکری |
| MG-3.2-004 | ارزیابی محتوای مسئله‌دارِ گزارش‌شده توسط کاربران و ادغام بازخوردها در به‌روزرسانی‌های سیستم. | پیکربندی انسان-هوش مصنوعی، محتوای خطرناک، خشونت‌آمیز یا نفرت‌پراکن |
| MG-3.2-005 | پیاده‌سازی پالایه‌های محتوا برای جلوگیری از تولید محتوای نامناسب، زیان‌بار، نادرست، غیرقانونی یا خشونت‌آمیز مرتبط با کاربرد GAI، از جمله برای CSAM و NCII. این پالایه‌ها می‌توانند مبتنی بر قاعده باشند یا از مدل‌های یادگیری ماشین اضافی برای علامت‌گذاری ورودی‌ها و خروجی‌های مسئله‌دار بهره بگیرند. | i یکپارچگی اطلاعات؛ سوگیری زیان‌بار و همگن‌سازی؛ محتوای خطرناک، خشونت‌آمیز یا نفرت‌پراکن؛ محتوای نامتعارف، تحقیرآمیز و/یا آزاردهنده |
| MG-3.2-006 | پیاده‌سازی فرایندهای پایش بی‌درنگ برای تحلیل عملکرد محتوای تولیدشده و ویژگی‌های قابلیت اعتماد مرتبط با منشأ محتوا، به‌منظور شناسایی انحرافات از استانداردهای مطلوب و فعال‌سازی هشدارها برای مداخله انسانی. | یکپارچگی اطلاعات |
| MG-3.2-007 | بهره‌گیری از بازخوردها و توصیه‌های هیئت‌ها یا کمیته‌های سازمانی مرتبط با استقرار کاربردهای GAI و منشأ محتوا، هنگام استفاده از مدل‌های ازپیش‌آموزش‌دیده طرف ثالث. | یکپارچگی اطلاعات؛ زنجیره ارزش و یکپارچه‌سازی اجزا |
| MG-3.2-008 | استفاده از سیستم‌های تعدیل انسانی در صورت لزوم برای بازبینی محتوای تولیدشده مطابق با سیاست‌های پیکربندی انسان-هوش مصنوعی تعیین‌شده در کارکرد حاکمیت، هم‌راستا با هنجارهای اجتماعی-فرهنگی در بستر استفاده، و برای تنظیماتی که در آن‌ها عملکرد ضعیف مدل‌های هوش مصنوعی اثبات شده است. | پیکربندی انسان-هوش مصنوعی |
| MG-3.2-009 | استفاده از تحمل ریسک سازمانی برای ارزیابی ریسک‌ها و سنجه‌های عملکرد قابل‌قبول، و از رده خارج کردن یا بازآموزی مدل‌های ازپیش‌آموزش‌دیده‌ای که خارج از حدود تعریف‌شده عملکرد دارند. | اطلاعات یا قابلیت‌های CBRN؛ برساختگی |
AI Actor Tasks: i ii استقرار هوش مصنوعی، بهره‌برداری و پایش، نهادهای طرف ثالث
MANAGE 4.1: برنامه‌های پایش سامانه هوش مصنوعی پس از استقرار اجرا می‌شوند؛ از جمله سازوکارهایی برای گردآوری و ارزیابی بازخورد کاربران و سایر کنشگران هوش مصنوعی ذی‌ربط، درخواست تجدیدنظر و لغو تصمیم، خروج از رده، پاسخ به رخداد، بازیابی، و مدیریت تغییر.
| شناسه کنش | کنش پیشنهادی | خطرهای GAI |
|---|---|---|
| MG-4.1-001 | همکاری با پژوهشگران خارجی، متخصصان صنعت، و نمایندگان جامعه به‌منظور حفظ آگاهی از بهترین شیوه‌ها و فناوری‌های نوظهور در سنجش و مدیریت خطرهای شناسایی‌شده. | یکپارچگی اطلاعات؛ سوگیری زیان‌بار و همگن‌سازی |
| MG-4.1-002 | ایجاد، نگهداشت، و ارزیابی اثربخشی فرایندها و رویه‌های سازمانی برای پایش سامانه‌های GAI پس از استقرار، به‌ویژه در خصوص برساختگی احتمالی، خطرهای CBRN، یا خطرهای سایبری. | اطلاعات یا قابلیت‌های CBRN؛ برساختگی؛ امنیت اطلاعات |
| MG-4.1-003 | ارزیابی استفاده از تحلیل احساسات برای سنجش احساسات کاربران نسبت به عملکرد و اثر محتوای GAI، و کار در همکاری با کنشگران هوش مصنوعی باتجربه در پژوهش و تجربه کاربر. | پیکربندی انسان–هوش مصنوعی |
| MG-4.1-004 | به‌کارگیری تکنیک‌های یادگیری فعال برای شناسایی مواردی که مدل شکست می‌خورد یا خروجی‌های غیرمنتظره تولید می‌کند. | برساختگی |
| MG-4.1-005 | اشتراک‌گذاری گزارش‌های شفافیت با ذینفعان داخلی و خارجی که گام‌های برداشته‌شده برای به‌روزرسانی سامانه GAI را به‌تفصیل شرح می‌دهند تا شفافیت و پاسخگویی افزایش یابد. | پیکربندی انسان–هوش مصنوعی؛ سوگیری زیان‌بار و همگن‌سازی |
| MG-4.1-006 | رهگیری تغییرات مجموعه‌داده‌ها برای منشأ از طریق پایش حذف داده‌ها، درخواست‌های اصلاح، و سایر تغییراتی که ممکن است بر قابلیت راستی‌آزمایی منشأ محتوا اثر بگذارد. | یکپارچگی اطلاعات |
| MG-4.1-007 | راستی‌آزمایی شود که کنشگران هوش مصنوعی مسئول پایش مسئله‌های گزارش‌شده می‌توانند عملکرد سامانه GAI را به‌طور مؤثر ارزیابی کنند، از جمله به‌کارگیری تکنیک‌های رهگیری داده‌های اصالت و منشأ محتوا، و مسئله‌ها را برای پاسخ، سریعاً به سطوح بالاتر ارجاع دهند. | پیکربندی انسان–هوش مصنوعی؛ یکپارچگی اطلاعات |
وظایف کنشگران هوش مصنوعی: استقرار هوش مصنوعی، افراد و جوامع متأثر، متخصصان دامنه، کاربران نهایی، عوامل انسانی، بهره‌برداری و پایش
MANAGE 4.2: فعالیت‌های قابل‌اندازه‌گیری برای بهبود مستمر در به‌روزرسانی‌های سامانه هوش مصنوعی ادغام می‌شوند و شامل تعامل منظم با ذینفعان، از جمله کنشگران هوش مصنوعی ذی‌ربط، هستند.
| شناسه کنش | کنش پیشنهادی | خطرهای GAI |
|---|---|---|
| MG-4.2-001 | پایش منظم سامانه‌های GAI انجام و گزارش‌هایی حاوی جزئیات عملکرد، بازخوردهای دریافتی، و بهبودهای اعمال‌شده منتشر شود. | سوگیری زیان‌بار و همگن‌سازی |
| MG-4.2-002 | تمرین و دنبال‌کردن برنامه‌های پاسخ به رخداد برای مقابله با تولید محتوای نامناسب یا زیان‌بار، و انطباق فرایندها بر اساس یافته‌ها برای پیشگیری از وقوع‌های آتی. انجام تحلیل پس از رخداد با کنشگران هوش مصنوعی ذی‌ربط برای فهم علت‌های ریشه‌ای و اجرای اقدامات پیشگیرانه. | پیکربندی انسان–هوش مصنوعی؛ محتوای خطرناک، خشونت‌آمیز، یا تنفرآمیز |
| MG-4.2-003 | استفاده از تجسم‌ها یا روش‌های دیگر برای نمایش رفتار مدل GAI به‌منظور آسان‌کردن درک ذینفعان غیرفنی از عملکرد سامانه GAI. | پیکربندی انسان–هوش مصنوعی |
وظایف کنشگران هوش مصنوعی: استقرار هوش مصنوعی، طراحی هوش مصنوعی، توسعه هوش مصنوعی، افراد و جوامع متأثر، کاربران نهایی، بهره‌برداری و پایش، TEVV
MANAGE 4.3: رخدادها و خطاها به کنشگران هوش مصنوعی ذی‌ربط، از جمله جوامع متأثر، اطلاع داده می‌شوند. فرایندهای رهگیری، پاسخ‌دهی، و بازیابی از رخدادها و خطاها دنبال و مستند می‌شوند.
| شناسه کنش | کنش پیشنهادی | خطرهای GAI |
|---|---|---|
| MG-4.3-001 | انجام ارزیابی‌های پس از عملکرد برای رخدادهای سامانه GAI به‌منظور راستی‌آزمایی اینکه فرایندهای پاسخ به رخداد و بازیابی دنبال و مؤثر بوده‌اند، از جمله دنبال‌کردن رویه‌های اطلاع‌رسانی رخدادها به کنشگران هوش مصنوعی ذی‌ربط و در صورت لزوم، نهادهای حقوقی و مقرراتی ذی‌ربط. | امنیت اطلاعات |
| MG-4.3-002 | ایجاد و نگهداشت سیاست‌ها و رویه‌هایی برای ثبت و رهگیری خطاها، شبه‌رخدادها، و اثرهای منفی گزارش‌شدهٔ سامانه GAI. | برساختگی؛ یکپارچگی اطلاعات |
| گزارش رخدادهای GAI مطابق با الزامات حقوقی و مقرراتی (برای مثال، | ||
| MG-4.3-003 | الزامات گزارش‌دهی نقض HIPAA، برای مثال OCR (2023)، یا الزامات گزارش‌دهی تصادف خودروهای خودران NHTSA (2022). | امنیت اطلاعات؛ حریم خصوصی داده‌ها |
وظایف کنشگران هوش مصنوعی: استقرار هوش مصنوعی، افراد و جوامع متأثر، متخصصان دامنه، کاربران نهایی، عوامل انسانی، بهره‌برداری و پایش
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S17
شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S17-121BDB1C
پیوست A. ملاحظات اصلی هوش مصنوعی مولد
ترجمهٔ منبع
ملاحظات اصلی زیر به‌عنوان موضوعات فراگیر از فرایند مشورت GAI PWG استخراج شده‌اند. این ملاحظات (حکمرانی، آزمون پیش از استقرار، منشأ محتوا و افشای رخداد) برای استفاده داوطلبانه توسط هر سازمانی که GAI را طراحی، توسعه و به‌کار می‌گیرد مرتبط‌اند و همچنین راهنمای اقدام‌های مربوط به مدیریت خطرهای GAI هستند. اطلاعات ارائه‌شده درباره ملاحظات اصلی جامع نیست، بلکه برجسته‌ترین موضوعات به‌دست‌آمده از GAI PWG را نشان می‌دهد.
قدردانی: بدون تحلیل‌های سودمند و مشارکت‌های جامعه و سرپرستان GAI PWG از کارکنان مؤسسه ملی استاندارد و فناوری آمریکا (NIST)، یعنی George Awad، Luca Belli، Harold Booth، Mat Heyman، Yooyoung Lee، Mark Pryzbocki، Reva Schwartz، Martin Stanley و Kyra Yee، شناسایی این ملاحظات ممکن نبود.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S18
شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S18-EB00DA70