فهرست این فصلبخش ۳، فصل ۲۴ — صفحهٔ ۲ از ۳
بخش ۳، فصل ۲۴ — صفحهٔ ۲ از ۳
شیوههای توسعهٔ نرمافزار امن برای هوش مصنوعی مولد و مدلهای بنیادین دومَنظوره
متن اصلی فارسی با منشأ، شناسه و پیوند استناد پایدار.
ادامهٔ بخش «۳. نمایهٔ اجتماعی SSDF برای توسعهٔ مدل هوش مصنوعی» — بخش ۲ از ۲
| رویه | وظیفه | اولویت | توصیهها [R]، ملاحظات [C]، و یادداشتهای [N] ویژهٔ توسعهٔ مدل هوش مصنوعی | منابع اطلاعاتی تکمیلی |
|---|---|---|---|---|
| تعریف الزامات امنیتی برای توسعهٔ نرمافزار (PO.1): اطمینان از اینکه الزامات امنیتی توسعهٔ نرمافزار در همهٔ لحظات شناخته باشند تا در سراسر چرخهٔ عمر توسعهٔ نرمافزار (SDLC) در نظر گرفته شوند و تلاش مضاعف به حداقل برسد، زیرا | PO.1.1: شناسایی و مستندسازی تمام الزامات امنیتی زیرساختها و فرایندهای توسعهٔ نرمافزار سازمان و نگهداشت این الزامات در گذر زمان. | بالا | R1: توسعهٔ مدل هوش مصنوعی را در الزامات امنیتی زیرساخت و فرایندهای توسعهٔ نرمافزار بگنجانید. R2: معماریهای مدل هوش مصنوعی و فنون آموزش مناسب را مطابق با رویههای توصیهشده برای امنیت سایبری، حریم خصوصی و بازتولیدپذیری شناسایی و انتخاب کنید. | AI RMF:Map 1.3, 1.5, 1.6 |
| اطلاعات الزامات میتواند یکبار گردآوری و به اشتراک گذاشته شود. این شامل الزامات منابع داخلی (مانند سیاستهای سازمان، اهداف کسبوکار، و راهبرد مدیریت ریسک) و منابع خارجی (مانند قوانین و مقررات قابل اجرا) است. | PO.1.2: شناسایی و مستندسازی تمام الزامات امنیتی که نرمافزارِ تولیدشده توسط سازمان باید برآورده کند، و نگهداشت این الزامات در گذر زمان. | بالا | R1: سیاستهای سازمان بهتر است از تمام الزامات جاریِ ویژهٔ امنیت توسعهٔ مدل هوش مصنوعی برای نرمافزار تولیدشده توسط سازمان پشتیبانی کنند. این الزامات بهتر است حوزههای توسعهٔ مدل هوش مصنوعی، عملیات مدل هوش مصنوعی، و علم داده را در بر گیرند. الزامات میتوانند از منابع گوناگونی از جمله قوانین، مقررات، قراردادها، و استانداردها ناشی شوند. C1: بازاستفاده یا گسترش سیاست و فرایندهای طبقهبندی دادهٔ موجود سازمان را در نظر بگیرید. N1: اشکال ممکن مستندسازی مدل هوش مصنوعی شامل کارتهای داده، مدل، و سامانه است. | AI RMF: Govern 1.1, 1.2, 3.2, 4.1, 5.1, 6.1; Map 1.1 |
| PO.1.3: الزامات را به تمام طرفهای ثالثی که اجزای نرمافزار تجاری را برای استفاده در نرمافزار خودِ سازمان به سازمان ارائه میدهند، اطلاع دهید. [Modified from SSDF 1.1] | متوسط | R1: امنیت توسعهٔ مدل هوش مصنوعی را در الزاماتی که برای اجزای نرمافزار طرف ثالث اطلاع داده میشود بگنجانید. | AI RMF:Map 4.1, 4.2 OWASP: LLM05-1 | |
| پیادهسازی نقشها و مسئولیتها (PO.2): اطمینان از اینکه همهٔ افراد درون و برون سازمان که در SDLC مشارکت دارند، برای ایفای نقشها و مسئولیتهای مرتبط با SDLC در سراسر آن آماده هستند. | PO.2.1: نقشهای جدیدی ایجاد کنید و مسئولیتهای نقشهای موجود را در صورت نیاز بهگونهای تغییر دهید که همهٔ بخشهای SDLC را پوشش دهند. نقشها و مسئولیتهای تعریفشده را بهطور دورهای بازبینی و نگهداری کنید و در صورت نیاز بهروزرسانی نمایید. | بالا | R1: امنیت توسعهٔ مدل هوش مصنوعی را در نقشها و مسئولیتهای مرتبط با SDLC در سراسر چرخه بگنجانید. نقشها و مسئولیتها بهتر است شامل — اما نه محدود به — توسعهٔ مدل هوش مصنوعی، عملیات مدل هوش مصنوعی، و علم داده باشند. N1: نقشها و مسئولیتهای مربوط به تولیدکنندگان سامانه هوش مصنوعی، تولیدکنندگان مدل هوش مصنوعی، و سایر ارائهدهندگان طرف ثالث را میتوان در توافقنامهها مستند کرد. | AI RMF: Govern 2.1 |
| PO.2.2: برای تمام کارکنانی که مسئولیتهایی در راستای توسعهٔ امن دارند، آموزش مبتنی بر نقش ارائه دهید. تسلط کارکنان و آموزش مبتنی بر نقش را بهطور دورهای بازبینی کنید و آموزش را در صورت نیاز بهروزرسانی نمایید. | بالا | R1: آموزش مبتنی بر نقش بهتر است شامل درک آسیبپذیریها و تهدیدهای امنیت سایبری برای مدلهای هوش مصنوعی و راهکارهای احتمالی کاهش آنها باشد. | AI RMF: Govern 2.2 OWASP: LLM04-7 | |
| PO.2.3: تعهد مدیریت ارشد یا مقام مجوزدهنده به توسعهٔ امن را جلب کنید و این تعهد را به همهٔ دارندگان نقشها و مسئولیتهای توسعهمحور منتقل نمایید. | متوسط | R1: رهبری بهتر است به رویههای توسعهٔ امنِ درگیرِ مدلهای هوش مصنوعی متعهد شود. | AI RMF: Govern 2.3 | |
| پیادهسازی زنجیرهٔ ابزارهای پشتیبان (PO.3): از خودکارسازی برای کاهش تلاش انسانی و بهبود دقت، بازتولیدپذیری، کاربردپذیری، و جامعیت رویههای امنیتی در سراسر SDLC استفاده کنید و راهی برای مستندسازی و اثبات بهکارگیری این رویهها فراهم آورید. زنجیرهٔ ابزارها و ابزارها را میتوان در سطوح مختلف سازمان، مانند سازمانگستر یا مختص پروژه، بهکار گرفت و آنها میتوانند | PO.3.1: مشخص کنید کدام ابزارها یا انواع ابزار باید یا بهتر است در هر زنجیرهٔ ابزار برای کاهش ریسکهای شناساییشده گنجانده شوند، و نیز اینکه اجزای زنجیرهٔ ابزار چگونه باید با یکدیگر یکپارچه شوند. | بالا | R1: برنامهریزی کنید تا زنجیرهٔ ابزارهای خودکار توسعه و پیادهسازی کنید که توسعهٔ مدل هوش مصنوعی را امن سازند و تلاش انسانی را کاهش دهند، بهویژه در مقیاسی که اغلب برای مدلهای هوش مصنوعی استفاده میشود. N1: در شرایط آرمانی، زنجیرهٔ ابزارهای خودکار بخش عمدهٔ کار مرتبط با امنسازی توسعهٔ مدل هوش مصنوعی را انجام خواهند داد. N2: برای اطلاعات دربارهٔ انواع ابزار، به PO.4، PO.5، PS، و PW ر.ک. شود. | AI RMF: Measure 2.1 OWASP: LLM08 |
| بخش خاصی از SDLC مانند یک خط ساخت را پوشش دهند. | PO.3.2: برای استقرار، بهرهبرداری، و نگهداشت ابزارها و زنجیرهٔ ابزارها از رویههای امنیتی توصیهشده پیروی کنید. | بالا | R1: برنامهٔ توسعه و پیادهسازی زنجیرهٔ ابزارهای خودکاری که توسعهٔ مدل هوش مصنوعی را امن میسازند و تلاش انسانی را کاهش میدهند — بهویژه در مقیاسی که اغلب برای مدلهای هوش مصنوعی استفاده میشود — را اجرا کنید. R2: امنیت زنجیرهٔ ابزارها را با بسامدی متناسب با ریسک راستیآزمایی کنید. | AI RMF: Measure 2.1 OWASP: LLM05-3, LLM05-9, LLM08,LLM09 |
| PO.3.3: ابزارها را بهگونهای پیکربندی کنید که مصنوعهایی (artifacts) از پشتیبانی آنها از رویههای توسعهٔ امن نرمافزار، مطابق تعریف سازمان، تولید شود. | متوسط | N1: مصنوع «قطعهای از مدرک» است [16]. مدرک یعنی «مبنای باور یا بیباوری؛ دادههایی که اثبات یا اثبات خلاف بر پایهٔ آنها استوار میشود» [17]. مصنوعها سابقهٔ رویههای توسعهٔ امن نرمافزار را فراهم میکنند. نمونههایی از مصنوعهای ویژهٔ توسعهٔ مدل هوش مصنوعی شامل گواهیهای صحت و منشأ مجموعهدادههای آموزشی است. | AI RMF: Measure 2.1 | |
| تعریف و استفاده از معیارهای بررسیهای امنیت نرمافزار (PO.4): با تعریف و بهکارگیری معیارهایی برای بررسی امنیت نرمافزار در دوران توسعه، به اطمینان از برآوردهشدن انتظارات سازمان از نرمافزارِ حاصل از SDLC کمک کنید. | PO.4.1: معیارهایی برای بررسیهای امنیت نرمافزار تعریف کنید و آنها را در سراسر SDLC رهگیری نمایید. | متوسط | R1: حفاظها و سایر کنترلها را در سراسر چرخهٔ عمر توسعهٔ هوش مصنوعی — فراتر از SDLC سنتی — پیادهسازی کنید. C1: الزام بازبینی و تأیید انساندرحلقه برای بررسیهای امنیت نرمافزار فراتر از آستانههای مبتنی بر ریسک را در نظر بگیرید. | AI RMF: Measure 2.3, 2.7; Manage 1.1 OWASP: LLM01-2 |
| PO.4.2: فرایندها، سازوکارها و موارد مشابه را برای گردآوری و حفاظت از اطلاعات لازم در پشتیبانی از معیارها پیادهسازی کنید. | پایین | No additions to SSDF 1.1 | AI RMF: Measure 2.3, 2.7; Manage 1.1 OWASP: LLM01-2 | |
| پیادهسازی و نگهداشت محیطهای امن برای توسعهٔ نرمافزار (PO.5): اطمینان حاصل کنید که همهٔ اجزای محیطهای توسعهٔ نرمافزار در برابر تهدیدهای داخلی و خارجی بهطور قوی محافظت میشوند تا از بهخطرافتادن محیطها یا نرمافزارِ در حال توسعه یا نگهداشت در آنها جلوگیری شود. نمونههایی از محیطهای توسعهٔ نرمافزار شامل محیطهای توسعه، آموزش مدل هوش مصنوعی، ساخت، آزمون، و توزیع است. [Modified from SSDF 1.1] | PO.5.1: هر محیط درگیر در توسعهٔ نرمافزار را جدا و محافظت کنید. | بالا | C1: جداسازی محیطهای اجرا از یکدیگر تا حد امکان — مثلاً از طریق ایزولهسازی، قطعهبندی، مهار، دسترسی از طریق APIها، یا سایر روشها — را در نظر بگیرید. R1: میزان مصرف منابع و نرخها را برای کاربران مدل هوش مصنوعی در دوران توسعهٔ مدل پایش، رهگیری، و محدود کنید. R2: دادههای حساسِ استفادهشده در توسعهٔ مدل هوش مصنوعی، از جمله دادههای عملیاتی، را فقط در محیطهای مورد تأیید سازمان و مکانهای تعیینشده در آن محیطها ذخیره کنید. R3: تمام خطوط لولهٔ آموزش، registries مدل، و سایر اجزای درون محیطها را بر اساس اصل حداقل برخورداری محافظت کنید. | OWASP: LLM01-1, LLM01-4, LLM04, LLM08, LLM10 |
| R4: فعالیتهای مرتبط با آموزش در خطوط لوله و تغییرات مدل در registry مدل را بهطور پیوسته پایش کنید. R5: برای پیکربندی امن هر محیط از رویههای توصیهشده پیروی کنید. R6: هر محیط را بهطور پیوسته از نظر رمزهای عبورِ متنیِ آشکار (plaintext) پایش کنید. | ||||
| PO.5.2: نقاط پایانی توسعه (نقاط پایانی طراحان، توسعهدهندگان، آزمونگران، سازندگان نرمافزار و غیره) را با رویکردی مبتنی بر ریسک، بهمنظور انجام وظایف توسعه، امن و مقاومسازی کنید. | متوسط | No additions to SSDF 1.1 | OWASP: LLM01-1, LLM05-3, LLM05-9, LLM08 | |
| PO.5.3: عملکرد و رفتار اجرای نرمافزار در محیطهای توسعهٔ نرمافزار را بهطور پیوسته پایش کنید تا فعالیت مشکوک احتمالی و سایر مسائل شناسایی شود. [Not part of SSDF 1.1] | بالا | R1: برای همهٔ اجزای محیط توسعه که یک مدل هوش مصنوعی یا منابع مرتبط (مانند APIهای مدل، وزنها، پارامترهای پیکربندی، مجموعهدادههای آموزشی) را میزبانی میکنند، پایش امنیتی پیوسته انجام دهید. R2: ابزارهای پایش و تحلیل پیوسته بهتر است هنگامی که فعالیت تشخیصدادهشدهٔ درگیرِ یک مدل هوش مصنوعی از آستانهٔ ریسک عبور کند یا بهنحوی شایستهٔ بررسی بیشتر باشد، هشدار تولید کنند. | AI RMF: Measure 2.4 OWASP: LLM03-7, LLM04, LLM05-8, LLM09, LLM10 | |
| حفاظت از نرمافزار (PS) | ||||
| حفاظت از همهٔ اشکال کد و داده در برابر دسترسی و دستکاری غیرمجاز (PS.1): به پیشگیری از تغییرات غیرمجاز در کد و داده — چه سهوی و چه عمدی — که میتوانند ویژگیهای امنیتی موردنظر نرمافزار را دور بزنند یا بیاثر کنند، کمک کنید. برای کد و دادهای که قرار نیست بهصورت عمومی در دسترس باشند، این کار به پیشگیری از سرقت نرمافزار کمک میکند و ممکن است یافتن آسیبپذیریها در نرمافزار را برای مهاجمان دشوارتر یا زمانبرتر کند. [Modified from SSDF 1.1] | PS.1.1: همهٔ اشکال کد — از جمله کد منبع، کد اجرایی، و پیکربندی بهمثابه کد — را بر اساس اصل حداقل برخورداری ذخیره کنید تا فقط کارکنان، ابزارها، خدمات و غیرهٔ مجاز به آنها دسترسی داشته باشند. | بالا | R1: مخزن امن کد بهتر است شامل مدلهای هوش مصنوعی، وزنهای مدل، خطوط لوله، مدلهای پاداش، و هر عنصر دیگر مدل هوش مصنوعی باشد که محرمانگی، صحت، و/یا دسترسپذیری آنها نیازمند حفاظت است. لازم نیست همهٔ این عناصر در یک مکان یا از طریق یک نوع سازوکار ذخیره شوند. R2: اصل حداقل برخورداری را برای به حداقل رساندن دسترسی مستقیم به مدلهای هوش مصنوعی و عناصر مدل، صرفنظر از محل ذخیره یا اجرای آنها، رعایت کنید. R3: مدلهای پاداش را جدا از مدلهای هوش مصنوعی و دادهها ذخیره کنید. | OWASP:LLM10 |
| R4: فقط دسترسی غیرمستقیم به وزنهای مدل را مجاز بدانید. C1: جلوگیری از هرگونه دسترسی انسانی به وزنهای مدل را در نظر بگیرید. C2: الزام انجام تمام توسعهٔ مدل هوش مصنوعی فقط در محیطهای مورد تأیید سازمان را در نظر بگیرید. | ||||
| PS.1.2: از تمام دادههای آموزش، آزمون، تنظیم دقیق، و همترازی در برابر دسترسی و تغییر غیرمجاز محافظت کنید. [Not part of SSDF 1.1] | بالا | R1: محرمانگی (فقط برای دادههای غیرعمومی) و صحت دادههای آموزش، آزمون، تنظیم دقیق، و همترازی را بهطور پیوسته پایش کنید. C1: ذخیرهٔ امن دادههای آموزش، آزمون، تنظیم دقیق، و همترازی برای استفاده و مراجعهٔ آینده، در صورت امکان، را در نظر بگیرید. | OWASP: LLM03, LLM06, LLM10 | |
| PS.1.3: از تمام وزنهای مدل و دادههای پارامترهای پیکربندی در برابر دسترسی و تغییر غیرمجاز محافظت کنید. [Not part of SSDF 1.1] | بالا | R1: وزنهای مدل و پارامترهای پیکربندی را جدا از دادههای آموزش، آزمون، تنظیم دقیق، و همترازی نگه دارید. R2: محرمانگی (فقط برای مدلهای بسته) و صحت وزنهای مدل و پارامترهای پیکربندی را بهطور پیوسته پایش کنید. R3: اصل حداقل برخورداری را برای محدودکردن دسترسی به وزنهای مدل هوش مصنوعی، پارامترهای پیکربندی، و خدمات در دوران توسعه رعایت کنید. R4: رویههای افزودنی امنیت سایبریِ متناسب با ریسک را در اطراف وزنهای مدل مشخص و پیادهسازی کنید، مانند رمزنگاری، درهمسازهای رمزنگارانه، امضاهای دیجیتال، مجوزدهندگی چندجانبه، و محیطهای جداشده از شبکه (air-gapped). | OWASP:LLM10 | |
| فراهمآوردن سازوکاری برای راستیآزمایی صحت انتشار نرمافزار (PS.2): به دریافتکنندگان نرمافزار برای اطمینان از اصالت نرمافزار دریافتی و دستنخوردگی آن کمک کنید. | PS.2.1: اطلاعات راستیآزمایی صحت نرمافزار را در دسترس دریافتکنندگان نرمافزار قرار دهید. | متوسط | R1: درهمسازهای رمزنگارانه یا امضاهای دیجیتال را برای یک مدل هوش مصنوعی و اجزا، مصنوعها، و مستندات آن تولید و ارائه کنید. R2: امضاهای دیجیتال برای تغییرات مدل هوش مصنوعی ارائه دهید. | OWASP: LLM05-6 |
| بایگانی و حفاظت از هر انتشار نرمافزار (PS.3): انتشارهای نرمافزار را حفظ کنید تا به | PS.3.1: فایلهای لازم و دادههای پشتیبان (مانند اطلاعات | پایین | R1: نسخهگذاری و رهگیری ابزارهای زیرساختی (مانند پیشپردازش، | OWASP:LLM10 |
| شناسایی، تحلیل، و ریشهکنی آسیبپذیریهای یافتهشده در نرمافزار پس از انتشار کمک کند. | راستیآزمایی صحت، دادههای اصالت و منشأ) که باید برای هر انتشار نرمافزار نگهداری شود را بهطور امن بایگانی کنید. | تبدیلها، گردآوری) که از ایجاد مجموعهداده و آموزش مدل پشتیبانی میکنند را انجام دهید. R2: مستندسازی توجیه انتخاب مدل هوش مصنوعی را در اطلاعات نگهداریشده بگنجانید. R3: مستندسازی کل فرایند آموزش، مانند پیشپردازش داده و معماری مدل، را بگنجانید. N1: ممکن است لازم باشد در این مرحله مدلهای هوش مصنوعی و اجزای آنها به فهرست داراییهای سازمان افزوده شوند. | ||
| PS.3.2: دادههای اصالت و منشأ را برای همهٔ اجزای هر انتشار نرمافزار گردآوری، محافظت، نگهداری، و به اشتراک بگذارید (مثلاً در یک فهرست اقلام نرمافزار [SBOM] یا از طریق Supply-chain Levels for Software Artifacts [SLSA]). [Modified from SSDF 1.1] | متوسط | R1: منشأ یک مدل هوش مصنوعی و اجزا و مشتقات آن، از جمله کتابخانهها، چارچوبها، و خطوط لولهٔ آموزشیِ استفادهشده برای ساخت مدل را رهگیری کنید. R2: مدلهای هوش مصنوعیای را که روی دادههای حساس (مانند دادههای کارت پرداخت، اطلاعات حفاظتشدهٔ سلامت، یا سایر انواع اطلاعات شناساییپذیر شخصی) آموزش دیدهاند رهگیری کنید و تعیین کنید آیا دسترسی به این مدلها بهتر است به افرادی محدود شود که از قبل به دادههای حساس استفادهشده در آموزش دسترسی دارند. C1: افشای منشأ دادههای آموزش، آزمون، تنظیم دقیق، و همترازیِ استفادهشده برای یک مدل هوش مصنوعی را در نظر بگیرید. | OWASP: LLM03-1, LLM05-4, LLM05-5, LLM10 | |
| تولید نرمافزار با امنیت خوب (PW) | ||||
| طراحی نرمافزار برای برآوردن الزامات امنیتی و کاهش ریسکهای امنیتی (PW.1): الزامات امنیتی نرمافزار را شناسایی و ارزیابی کنید؛ تعیین کنید نرمافزار در حین بهرهبرداری بهاحتمال زیاد با چه ریسکهای امنیتی مواجه میشود و طراحی و معماری نرمافزار چگونه بهتر است آن ریسکها را کاهش دهد؛ و مواردی را که تحلیل مبتنی بر ریسک نشان میدهد الزامات امنیتی بهتر است تخفیف یا لغو شوند، توجیه کنید. رسیدگی به | PW.1.1: از اشکال مدلسازی ریسک — مانند مدلسازی تهدید، مدلسازی حمله، یا نگاشت سطح حمله — برای کمک به ارزیابی ریسک امنیتی نرمافزار استفاده کنید. | بالا | R1: انواع آسیبپذیری و تهدیدِ مرتبط با مدل هوش مصنوعی را در مدلسازی ریسک بگنجانید. نمونههای این انواع آسیبپذیری و تهدید عبارتاند از: مسمومسازی دادههای آموزشی، کد مخرب یا سایر محتوای ناخواسته در ورودیها و خروجیها، شرایط محرومسازی از خدمات ناشی از پرامپتهای خصمانه، حملات زنجیرهٔ تأمین، افشای غیرمجاز اطلاعات، سرقت وزنهای مدل هوش مصنوعی، و پیکربندی نادرست خطوط لولهٔ داده.[3] | AI RMF: Govern 4.1, 4.2; Map 5.1; Measure 1.1; Manage 1.2, 1.3 OWASP: LLM01, LLM02, LLM03, LLM04, LLM05,LLM06, |
| الزامات و ریسکهای امنیتی در دوران طراحی نرمافزار (امن در طراحی) کلید بهبود امنیت نرمافزار است و به بهبود کارایی توسعه نیز کمک میکند. | C1: بهروزرسانی دورهای مدلسازی ریسک برای نسخهها و مشتقات آیندهٔ مدل هوش مصنوعی پس از انتشار مدل را در نظر بگیرید. C2: در حین مدلسازی ریسک، بررسی این موضوع را در نظر بگیرید که مدل هوش مصنوعی در مسیر بحرانی اتخاذ تصمیمات امنیتی مهم بدون انساندرحلقه قرار نداشته باشد. | LLM07, LLM08, LLM09, LLM10 | ||
| PW.1.2: الزامات امنیتی، ریسکها، و تصمیمات طراحی نرمافزار را رهگیری و نگهداری کنید. | متوسط | No additions to SSDF 1.1 | AI RMF: Govern 4.1, 4.2; Map 2.1, 2.2, 2.3, 3.2, 3.3, 4.1, 4.2, 5.2; Manage 1.2, 1.3, 1.4 | |
| PW.1.3: در صورت لزوم، پشتیبانی از ویژگیها و خدمات امنیتی استاندارد (مانند امکان یکپارچهسازی نرمافزار با سیستمهای موجود مدیریت گزارشها، مدیریت هویت، کنترل دسترسی، و مدیریت آسیبپذیریها) را بهجای ایجاد پیادهسازیهای اختصاصی از ویژگیها و خدمات امنیتی، در نرمافزار بگنجانید. | متوسط | No additions to SSDF 1.1 | ||
| بازبینی طراحی نرمافزار برای راستیآزمایی انطباق با الزامات امنیتی و اطلاعات ریسک (PW.2): به اطمینان از اینکه نرمافزار الزامات امنیتی را برآورده خواهد کرد و بهطور رضایتبخش به اطلاعات ریسک شناساییشده رسیدگی میکند، کمک کنید. | PW.2.1: بگذارید ۱) یک یا چند فرد واجد شرایط که در طراحی مشارکت نداشتهاند و ۲) فرایندهای خودکارِ فعالشده در زنجیرهٔ ابزار، طراحی نرمافزار را بازبینی کنند تا تأیید و تضمین شود که همهٔ الزامات امنیتی را برآورده میسازد و بهطور رضایتبخش به اطلاعات ریسک شناساییشده رسیدگی میکند. [Modified from SSDF 1.1] | بالا | No additions to SSDF 1.1 | AI RMF: Measure 2.7; Manage 1.1 |
| تأیید صحت دادههای آموزش، آزمون، تنظیم دقیق، و همترازی پیش از استفاده (PW.3): از مصرف دادهای که بهاحتمال زیاد بر امنیت سایبری مدل هوش مصنوعی اثر منفی دارد، بهعنوان بخشی از آموزش، آزمون، تنظیم دقیق، و همترازی مدل هوش مصنوعی جلوگیری کنید. [Not part of SSDF 1.1] | PW.3.1: پیش از استفاده از دادهها برای اهداف آموزش، آزمون، تنظیم دقیق، یا همترازی مدل هوش مصنوعی، آنها را از نظر نشانههای مسمومسازی داده، سوگیری، همگنی، و دستکاری تحلیل کنید و در صورت لزوم ریسکها را کاهش دهید. [Not part of SSDF 1.1] | بالا | R1: منشأ (در صورت دانستهبودن) و صحت دادههای آموزش، آزمون، تنظیم دقیق، و همترازی را پیش از استفاده راستیآزمایی کنید. | AI RMF: Measure 2.1; Manage 1.2, 1.3 |
| R2: روشهای مناسب برای تحلیل و تغییر دادههای آموزش، آزمون، تنظیم دقیق، و همترازی یک مدل هوش مصنوعی را انتخاب و اعمال کنید. نمونههایی از روشها عبارتاند از: تشخیص ناهنجاری، تشخیص سوگیری، پاکسازی داده، گردآوری و انتخاب داده، پالایش داده، ضدعفونی داده، راستیآزمایی واقعیتها، و کاهش نویز. C1: استفاده از انساندرحلقه برای بررسی دادهها، مانند با تکنیکهای تحلیل اکتشافی داده [18]، را در نظر بگیرید. | OWASP: LLM03, LLM06 | |||
| PW.3.2: منشأ تمام دادههای آموزش، آزمون، تنظیم دقیق، و همترازیِ استفادهشده برای یک مدل هوش مصنوعی را — در صورت دانستهبودن — رهگیری کنید و مستند کنید کدام دادهها منشأ شناختهشده ندارند. [Not part of SSDF 1.1] | متوسط | N1: راستیآزمایی منشأ در همهٔ موارد ممکن نیست، زیرا منشأ همیشه دانسته نیست. با این حال، برای اهداف امنیتی همچنان سودمند است که منشأ را هرجا ممکن است رهگیری و راستیآزمایی کنید و موارد نامعلومبودن منشأ را نیز رهگیری کنید. | AI RMF: Measure 2.1 OWASP: LLM03-1 Adv ML | |
| PW.3.3: نمونههای خصمانه را در دادههای آموزش و آزمون بگنجانید تا پیشگیری از حمله بهبود یابد. [Not part of SSDF 1.1] | متوسط | R1: از یک فرایند و کنترلهای متناسب برای آزمون نمونههای خصمانه و اعمال حفاظهای مناسب بر استفادهٔ آموزشی و آزمایشی آنها بهره بگیرید. | OWASP: LLM03-6, LLM05-7 Adv ML | |
| بازاستفاده از نرمافزار موجود و امنِ خوب در صورت امکان، بهجای تکرار قابلیتها (PW.4): هزینههای توسعهٔ نرمافزار را کاهش دهید، توسعهٔ نرمافزار را تسریع کنید، و احتمال ورود آسیبپذیریهای امنیتی اضافی به نرمافزار را با بازاستفاده از ماژولها و خدماتی که وضعیت امنیتی آنها قبلاً بررسی شده، کاهش دهید. این امر بهویژه برای نرمافزاری که قابلیتهای امنیتی را پیادهسازی میکند — مانند ماژولها و پروتکلهای رمزنگارانه — مهم است. | PW.4.1: اجزای نرمافزار امنِ خوب (مانند کتابخانههای نرمافزاری، ماژولها، میانافزارها، چارچوبها) را از توسعهدهندگان تجاری، متنباز، و سایر طرفهای ثالث برای استفاده در نرمافزار سازمان تهیه و نگهداری کنید. | متوسط | C1: استفاده از یک مدل هوش مصنوعی موجود بهجای ایجاد مدل جدید را در نظر بگیرید. | OWASP:LLM05 |
| PW.4.2: اجزای نرمافزار امنِ خوب را در داخل سازمان، پیرو فرایندهای SDLC، برای برآوردن نیازهای رایج داخلی توسعهٔ نرمافزار که اجزای نرمافزار طرف ثالث بهتر نمیتوانند برآورده کنند، ایجاد و نگهداری کنید. | پایین | No additions to SSDF 1.1 | ||
| PW.4.4: راستیآزمایی کنید که اجزای نرمافزار تجاری، متنباز، و همهٔ سایر اجزای نرمافزار طرف ثالثِ تهیهشده، در سراسر چرخهٔ عمر خود با الزاماتِ تعریفشده توسط سازمان | بالا | R1: صحت، منشأ، و امنیت یک مدل هوش مصنوعی موجود یا هر جزء هوش مصنوعی تهیهشدهٔ دیگر — از جمله مجموعهدادههای آموزش، آزمون، تنظیم دقیق، و همترازی؛ | OWASP: LLM05-2, LLM05-6 Adv ML | |
| منطبق است. | مدلهای پاداش؛ لایههای انطباق؛ و پارامترهای پیکربندی — را پیش از استفاده راستیآزمایی کنید. R2: مدلهای هوش مصنوعی تهیهشده و اجزای آنها را پیش از استفاده از نظر آسیبپذیریها و محتوای مخرب اسکن و بهطور کامل آزمون کنید. | |||
| ایجاد کد منبع با رعایت رویههای کدنویسی امن (PW.5): تعداد آسیبپذیریهای امنیتی نرمافزار را کاهش دهید و هزینهها را با به حداقل رساندن آسیبپذیریهایی که در حین ایجاد کد منبع پدید میآیند و معیارهای شدت آسیبپذیری تعریفشده توسط سازمان را برآورده میکنند یا از آن فراتر میروند، کاهش دهید. | PW.5.1: تمام رویههای کدنویسی امنِ متناسب با زبانها و محیط توسعه را برای برآوردن الزامات سازمان دنبال کنید. | بالا | R1: رویههای کدنویسی امن را برای شاملشدن ملاحظات ویژهٔ فناوری هوش مصنوعی گسترش دهید. R2: کدِ مربوط به مدیریت ورودیها (از جمله پرامپتها و دادههای کاربر) و خروجیها را با دقت بنویسید. همهٔ ورودیها و خروجیها بهتر است در بستر مدل هوش مصنوعی ثبت، تحلیل، و اعتبارسنجی شوند و موارد دارای مشکل بهتر است ضدعفونی یا حذف شوند. R3: ورودیها و خروجیها را کدگذاری کنید تا از اجرای کد غیرمجاز جلوگیری شود. | AI RMF: Manage 1.2, 1.3, 1.4 OWASP: LLM01, LLM02, LLM04-1, LLM06, LLM07, LLM09-9, LLM10 |
| پیکربندی فرایندهای کامپایل، تفسیر، و ساخت برای بهبود امنیت کد اجرایی (PW.6): تعداد آسیبپذیریهای امنیتی نرمافزار را کاهش دهید و هزینهها را با | PW.6.1: از کامپایلرها، مفسرها، و ابزارهای ساختِ دارای قابلیتهایی برای بهبود امنیت کد اجرایی استفاده کنید. | پایین | C1: استفاده از سازوکارهای امنِ سریالسازی مدل که بردارهای ورود محتوای مخرب را کاهش میدهند یا حذف میکنند را در نظر بگیرید. | |
| حذف آسیبپذیریها پیش از انجام آزمونها، کاهش دهید. | PW.6.2: تعیین کنید کدام قابلیتهای کامپایلر، مفسر، و ابزار ساخت بهتر است استفاده شوند و هر یک چگونه بهتر است پیکربندی شود، سپس پیکربندیهای مصوب را پیادهسازی و استفاده کنید. | پایین | C1: ثبت نسخهها و قابلیتهای کامپایلر، مفسر، و ابزار ساخت بهعنوان بخشی از رهگیری منشأ را در نظر بگیرید. | |
| بازبینی و/یا تحلیل کدِ خوانا برای شناسایی آسیبپذیریها و راستیآزمایی انطباق با الزامات امنیتی (PW.7): به شناسایی آسیبپذیریها برای اصلاح آنها پیش از انتشار نرمافزار، بهمنظور جلوگیری از بهرهبرداری، کمک کنید. استفاده از روشهای خودکار، تلاش و منابع لازم برای تشخیص آسیبپذیریها را کاهش میدهد. کدِ خوانا شامل کد منبع، اسکریپتها، و هر شکل دیگر کدی است که سازمان آن را خوانا میداند. | PW.7.1: تعیین کنید آیا code_review (بررسی مستقیم کد توسط یک فرد برای یافتن مسائل) و/یا code_analysis (استفاده از ابزارها برای یافتن مسائل در کد، بهصورت تمامخودکار یا همراه با فرد) بهتر است — مطابق تعریف سازمان — استفاده شوند. | متوسط | R1: سیاستها یا دستورالعملهای بازبینی و تحلیل کد بهتر است کدِ مدلهای هوش مصنوعی و سایر اجزای مرتبط را شامل شوند. C1: انجام اسکن کد مدل هوش مصنوعی علاوه بر آزمون خود مدلهای هوش مصنوعی را در نظر بگیرید. | |
| PW.7.2: بازبینی کد و/یا تحلیل کد را بر اساس استانداردهای کدنویسی امن سازمان انجام دهید و همهٔ مسائل کشفشده و اصلاحات توصیهشده را در جریان کاری تیم توسعه یا سیستم رهگیری مسائل ثبت و اولویتبندی کنید. | بالا | R1: همهٔ مدلهای هوش مصنوعی را مطابق سیاستها یا دستورالعملهای بازبینی و تحلیل کد سازمان، از نظر بدافزار، آسیبپذیریها، درهای پشتی، و سایر مسائل امنیتی اسکن کنید. | AI RMF: Measure 2.3, 2.7; Manage 1.1, 1.2, 1.3, 1.4 | |
| OWASP: LLM03-7d, LLM07-4 | ||||
| آزمون کد اجرایی برای شناسایی آسیبپذیریها و راستیآزمایی انطباق با الزامات امنیتی (PW.8): به شناسایی آسیبپذیریها برای اصلاح آنها پیش از انتشار نرمافزار، بهمنظور جلوگیری از بهرهبرداری، کمک کنید. استفاده از روشهای خودکار، تلاش و منابع لازم برای تشخیص آسیبپذیریها را کاهش میدهد و قابلیت رهگیری و تکرارپذیری را بهبود میبخشد. کد اجرایی | PW.8.1: تعیین کنید آیا برای یافتن آسیبپذیریهایی که توسط بازبینیها، تحلیلها، یا آزمونهای پیشین شناسایی نشدهاند، بهتر است آزمون کد اجرایی انجام شود و در صورت انجام، از کدام انواع آزمون بهتر است استفاده شود. | بالا | R1: مدلهای هوش مصنوعی را در سیاستها و دستورالعملهای آزمون کد بگنجانید. اشکال متعددی از آزمون کد برای مدلهای هوش مصنوعی قابل استفاده است، از جمله آزمون واحد، آزمون یکپارچهسازی، آزمون نفوذ، تیم قرمز، آزمون مورد کاربرد، و آزمون خصمانه. C1: خودکارسازی آزمونها درون یک خط توسعه، بهعنوان بخشی از آزمون رگرسیون، در صورت امکان را در نظر بگیرید. | |
| شامل باینریها، بایتکد و کد منبعِ مستقیماً اجراشدنی، و هر شکل دیگر کدی است که سازمان آن را اجراشدنی میداند. | PW.8.2: دامنهٔ آزمون را مشخص کنید، آزمونها را طراحی و انجام دهید و نتایج را مستند کنید، از جمله ثبت و اولویتبندی همهٔ مسائل کشفشده و اصلاحات توصیهشده در جریان کاری تیم توسعه یا سیستم رهگیری مسائل. | بالا | R1: همهٔ مدلهای هوش مصنوعی را مطابق سیاستها یا دستورالعملهای آزمون کد سازمان از نظر آسیبپذیریها آزمون کنید. R2: مدلهای هوش مصنوعی را هنگام بازآموزی یا افزودن منابع دادهٔ جدید، مجدداً آزمون کنید. | AI RMF: Measure 2.2, 2.3, 2.7; Manage 1.1, 1.2, 1.3, 1.4 OWASP: LLM03-7d, LLM05-7, LLM07-4 |
| پیکربندی نرمافزار با تنظیمات امن بهصورت پیشفرض (PW.9): به بهبود امنیت نرمافزار در زمان نصب، بهمنظور کاهش احتمال استقرار نرمافزار با تنظیمات امنیتی ضعیف که آن را در معرض ریسک بیشتری برای بهخطرافتادن قرار میدهد، کمک کنید. | PW.9.1: یک خط پایهٔ امن تعریف کنید با تعیین چگونگی پیکربندی هر تنظیمی که بر امنیت یا تنظیمِ مرتبط با امنیت اثر دارد، بهگونهای که تنظیمات پیشفرض امن باشند و کارکردهای امنیتی فراهمشده توسط پلتفرم، زیرساخت شبکه، یا خدمات را تضعیف نکنند. | متوسط | No additions to SSDF 1.1 | AI RMF: Measure 2.7 |
| PW.9.2: تنظیمات پیشفرض (یا گروههای تنظیمات پیشفرض، در صورت لزوم) را پیادهسازی کنید و هر تنظیم را برای مدیران نرمافزار مستند نمایید. | متوسط | N1: مستندسازی تنظیمات را میتوان در مراحل پیشین فرایند انجام داد، مانند هنگام تعریف خط پایهٔ امن (ر.ک. PW.9.1). | AI RMF: Measure 2.7; Manage 1.2, 1.3, 1.4 | |
| پاسخ به آسیبپذیریها (RV) | ||||
| شناسایی و تأیید آسیبپذیریها بهطور مستمر (RV.1): به اطمینان از اینکه | RV.1.1: اطلاعات را از دریافتکنندگان نرمافزار، کاربران، و منابع عمومی دربارهٔ آسیبپذیریهای احتمالی در نرمافزار | بالا | R1: همهٔ ورودیها و خروجیهای مدلهای هوش مصنوعی را برای تشخیص مسائل احتمالی | AI RMF: Govern 4.3, |
| آسیبپذیریها سریعتر شناسایی میشوند تا | و اجزای طرف ثالثی که نرمافزار استفاده میکند گردآوری کنید و همهٔ گزارشهای معتبر را بررسی نمایید. | امنیتی و عملکردی (ر.ک. PO.5.3) ثبت، پایش، و تحلیل کنید. | 5.1, 6.1, 6.2; | |
| سریعتر مطابق ریسک اصلاح شوند و پنجرهٔ فرصت مهاجمان کاهش یابد، کمک کنید. | R2: کاربران مدلهای هوش مصنوعی را از سازوکارهای گزارشدهی مسائل احتمالی امنیتی و عملکردی آگاه کنید. N1: در این بستر، «کاربران» به تولیدکنندگان و دریافتکنندگان سامانه هوش مصنوعی اطلاق میشود که از یک مدل هوش مصنوعی استفاده میکنند. R3: پایگاههای دادهٔ آسیبپذیریها و رخدادها را برای اطلاعات مربوط به نگرانیهای مرتبط با هوش مصنوعی — از جمله چارچوبها و کتابخانههای یادگیری ماشینِ استفادهشده برای ساخت مدلهای هوش مصنوعی — پایش کنید. | Measure 1.2, 2.4, 2.5, 2.7, 3.1, 3.2, 3.3; Manage 4.1 OWASP: LLM03-7a, LLM09, LLM10 | ||
| RV.1.2: کد نرمافزار را بازبینی، تحلیل، و/یا آزمون کنید تا آسیبپذیریهای پیشتر کشفنشده شناسایی یا تأیید شوند. | متوسط | R1: مدلهای هوش مصنوعی را بهطور مکرر اسکن و آزمون کنید تا آسیبپذیریهای پیشتر کشفنشده شناسایی شوند. R2: برای اسکن و آزمون مستمر عمدتاً بر خودکارسازی تکیه کنید و در صورت لزوم انساندرحلقه را درگیر نمایید. R3: ممیزیهای دورهای مدلهای هوش مصنوعی را انجام دهید. | AI RMF: Govern 4.3; Measure 1.3, 2.4, 2.7, 3.1; Manage 4.1 OWASP: LLM03-7b, LLM03-7d | |
| RV.1.3: سیاستی در زمینهٔ افشا و اصلاح آسیبپذیریها داشته باشید و نقشها، مسئولیتها، و فرایندهای لازم برای پشتیبانی از آن سیاست را پیادهسازی کنید. | متوسط | R1: آسیبپذیریهای مدل هوش مصنوعی را در سیاستهای افشا و اصلاح آسیبپذیری سازمان بگنجانید. R2: کاربران مدلهای هوش مصنوعی را از محدودیتهای ذاتی آنها و چگونگی گزارش هر مشکل امنیت سایبری که با آن مواجه میشوند آگاه کنید. | AI RMF: Govern 4.3, 5.1, 6.1; Measure 3.1, 3.3; Manage 4.3 | |
| ارزیابی، اولویتبندی، و اصلاح آسیبپذیریها (RV.2): به اطمینان از اینکه آسیبپذیریها مطابق ریسک اصلاح میشوند، بهمنظور کاهش پنجرهٔ فرصت مهاجمان، کمک کنید. | RV.2.1: هر آسیبپذیری را تحلیل کنید تا اطلاعات کافی دربارهٔ ریسک برای برنامهریزی اصلاح آن یا پاسخ ریسک دیگر گردآوری شود. | متوسط | N1: این کار میتواند شامل تحلیل عمیق ورودی و خروجی هوش مصنوعی مولد و مدل پایه دوکاربردی برای تشخیص انحراف از رفتار عادی باشد. | AI RMF: Govern 4.3, 5.1, 6.1; Measure 2.7, 3.1; Manage 1.2, 2.3, 4.1 Adv ML |
| RV.2.2: پاسخهای ریسک برای آسیبپذیریها را برنامهریزی و پیادهسازی کنید. | بالا | R1: پاسخهای ریسک برای مدلهای هوش مصنوعی بهتر است به زمان و هزینههایی که ممکن است با بازسازی آنها مرتبط باشد توجه کنند. | AI RMF: Govern 5.1, 5.2, 6.1; Measure 3.3; | |
| R2: معیارها و فرایندهایی برای زمان توقف استفاده از یک مدل هوش مصنوعی و زمان بازگشت به نسخهٔ پیشین و اجزای آن برقرار و اجرا کنید. C1: آمادگی برای توقف استفاده از یک مدل هوش مصنوعی در هر زمان و ادامهٔ عملیات از طریق سایر روشها تا رفع کافی ریسکهای مدل هوش مصنوعی را در نظر بگیرید. | Manage 1.3, 2.1, 2.3, 2.4, 4.1 | |||
| تحلیل آسیبپذیریها برای شناسایی علتهای ریشهای آنها (RV.3): به کاهش بسامد آسیبپذیریها در آینده کمک کنید. | RV.3.1: آسیبپذیریهای شناساییشده را برای تعیین علتهای ریشهای آنها تحلیل کنید. | متوسط | N1: توانایی بازبینی پسینی دادههای آموزش، آزمون، تنظیم دقیق، و همترازی میتواند به شناسایی برخی علتهای ریشهای کمک کند. | AI RMF: Govern 5.1, 6.1; Measure 2.7, 3.1; Manage 2.3, 4.1 |
| RV.3.2: علتهای ریشهای را در گذر زمان تحلیل کنید تا الگوها شناسایی شوند، مانند رعایتنشدن پیوستهٔ یک رویهٔ کدنویسی امنِ خاص. | متوسط | No additions to SSDF 1.1 | AI RMF: Govern 5.1, 6.1; Measure 2.7, 3.1; Manage 4.1, 4.3 | |
| RV.3.3: نرمافزار را برای آسیبپذیریهای مشابه بازبینی کنید تا یک رده از آسیبپذیریها ریشهکن شود و آنها را بهصورت پیشگیرانه اصلاح کنید، نه آنکه منتظر گزارشهای خارجی بمانید. | متوسط | No additions to SSDF 1.1 | AI RMF: Govern 5.1, 5.2, 6.1; Measure 2.7, 3.1; Manage 4.1, 4.2, 4.3 | |
| RV.3.4: فرایند SDLC را بازبینی کنید و در صورت مناسببودن، آن را بهروزرسانی نمایید تا از تکرار علت ریشهای در بهروزرسانیهای نرمافزار یا در نرمافزار جدیدِ ایجادشده جلوگیری (یا احتمال آن را کاهش داده) شود. | متوسط | No additions to SSDF 1.1 | AI RMF: Govern 5.2, 6.1; Measure 2.7, 3.1; Manage 4.2, 4.3 |
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P03-C24-S05
شناسهٔ محتوا KDJ-AI-2026E1-P03-C24-S05-A4888828