رفتن به محتوای اصلی
کهن‌دژکتاب مرجع هوش مصنوعی
منابعاعتبارسنجی
فهرست این فصلبخش ۳، فصل ۲۴ — صفحهٔ ۲ از ۳

بخش ۳، فصل ۲۴ — صفحهٔ ۲ از ۳

شیوه‌های توسعهٔ نرم‌افزار امن برای هوش مصنوعی مولد و مدل‌های بنیادین دومَنظوره

متن اصلی فارسی با منشأ، شناسه و پیوند استناد پایدار.

ادامهٔ بخش «۳. نمایهٔ اجتماعی SSDF برای توسعهٔ مدل هوش مصنوعی» — بخش ۲ از ۲

رویهوظیفهاولویتتوصیه‌ها [R]، ملاحظات [C]، و یادداشت‌های [N] ویژهٔ توسعهٔ مدل هوش مصنوعیمنابع اطلاعاتی تکمیلی
تعریف الزامات امنیتی برای توسعهٔ نرم‌افزار (PO.1): اطمینان از اینکه الزامات امنیتی توسعهٔ نرم‌افزار در همهٔ لحظات شناخته باشند تا در سراسر چرخهٔ عمر توسعهٔ نرم‌افزار (SDLC) در نظر گرفته شوند و تلاش مضاعف به حداقل برسد، زیراPO.1.1: شناسایی و مستندسازی تمام الزامات امنیتی زیرساخت‌ها و فرایندهای توسعهٔ نرم‌افزار سازمان و نگهداشت این الزامات در گذر زمان.بالاR1: توسعهٔ مدل هوش مصنوعی را در الزامات امنیتی زیرساخت و فرایندهای توسعهٔ نرم‌افزار بگنجانید. R2: معماری‌های مدل هوش مصنوعی و فنون آموزش مناسب را مطابق با رویه‌های توصیه‌شده برای امنیت سایبری، حریم خصوصی و بازتولیدپذیری شناسایی و انتخاب کنید.AI RMF:Map 1.3, 1.5, 1.6
اطلاعات الزامات می‌تواند یک‌بار گردآوری و به اشتراک گذاشته شود. این شامل الزامات منابع داخلی (مانند سیاست‌های سازمان، اهداف کسب‌وکار، و راهبرد مدیریت ریسک) و منابع خارجی (مانند قوانین و مقررات قابل اجرا) است.PO.1.2: شناسایی و مستندسازی تمام الزامات امنیتی که نرم‌افزارِ تولیدشده توسط سازمان باید برآورده کند، و نگهداشت این الزامات در گذر زمان.بالاR1: سیاست‌های سازمان بهتر است از تمام الزامات جاریِ ویژهٔ امنیت توسعهٔ مدل هوش مصنوعی برای نرم‌افزار تولیدشده توسط سازمان پشتیبانی کنند. این الزامات بهتر است حوزه‌های توسعهٔ مدل هوش مصنوعی، عملیات مدل هوش مصنوعی، و علم داده را در بر گیرند. الزامات می‌توانند از منابع گوناگونی از جمله قوانین، مقررات، قراردادها، و استانداردها ناشی شوند. C1: بازاستفاده یا گسترش سیاست و فرایندهای طبقه‌بندی دادهٔ موجود سازمان را در نظر بگیرید. N1: اشکال ممکن مستندسازی مدل هوش مصنوعی شامل کارت‌های داده، مدل، و سامانه است.AI RMF: Govern 1.1, 1.2, 3.2, 4.1, 5.1, 6.1; Map 1.1
PO.1.3: الزامات را به تمام طرف‌های ثالثی که اجزای نرم‌افزار تجاری را برای استفاده در نرم‌افزار خودِ سازمان به سازمان ارائه می‌دهند، اطلاع دهید. [Modified from SSDF 1.1]متوسطR1: امنیت توسعهٔ مدل هوش مصنوعی را در الزاماتی که برای اجزای نرم‌افزار طرف ثالث اطلاع داده می‌شود بگنجانید.AI RMF:Map 4.1, 4.2 OWASP: LLM05-1
پیاده‌سازی نقش‌ها و مسئولیت‌ها (PO.2): اطمینان از اینکه همهٔ افراد درون و برون سازمان که در SDLC مشارکت دارند، برای ایفای نقش‌ها و مسئولیت‌های مرتبط با SDLC در سراسر آن آماده هستند.PO.2.1: نقش‌های جدیدی ایجاد کنید و مسئولیت‌های نقش‌های موجود را در صورت نیاز به‌گونه‌ای تغییر دهید که همهٔ بخش‌های SDLC را پوشش دهند. نقش‌ها و مسئولیت‌های تعریف‌شده را به‌طور دوره‌ای بازبینی و نگهداری کنید و در صورت نیاز به‌روزرسانی نمایید.بالاR1: امنیت توسعهٔ مدل هوش مصنوعی را در نقش‌ها و مسئولیت‌های مرتبط با SDLC در سراسر چرخه بگنجانید. نقش‌ها و مسئولیت‌ها بهتر است شامل — اما نه محدود به — توسعهٔ مدل هوش مصنوعی، عملیات مدل هوش مصنوعی، و علم داده باشند. N1: نقش‌ها و مسئولیت‌های مربوط به تولیدکنندگان سامانه هوش مصنوعی، تولیدکنندگان مدل هوش مصنوعی، و سایر ارائه‌دهندگان طرف ثالث را می‌توان در توافق‌نامه‌ها مستند کرد.AI RMF: Govern 2.1
PO.2.2: برای تمام کارکنانی که مسئولیت‌هایی در راستای توسعهٔ امن دارند، آموزش مبتنی بر نقش ارائه دهید. تسلط کارکنان و آموزش مبتنی بر نقش را به‌طور دوره‌ای بازبینی کنید و آموزش را در صورت نیاز به‌روزرسانی نمایید.بالاR1: آموزش مبتنی بر نقش بهتر است شامل درک آسیب‌پذیری‌ها و تهدیدهای امنیت سایبری برای مدل‌های هوش مصنوعی و راهکارهای احتمالی کاهش آن‌ها باشد.AI RMF: Govern 2.2 OWASP: LLM04-7
PO.2.3: تعهد مدیریت ارشد یا مقام مجوزدهنده به توسعهٔ امن را جلب کنید و این تعهد را به همهٔ دارندگان نقش‌ها و مسئولیت‌های توسعه‌محور منتقل نمایید.متوسطR1: رهبری بهتر است به رویه‌های توسعهٔ امنِ درگیرِ مدل‌های هوش مصنوعی متعهد شود.AI RMF: Govern 2.3
پیاده‌سازی زنجیرهٔ ابزارهای پشتیبان (PO.3): از خودکارسازی برای کاهش تلاش انسانی و بهبود دقت، بازتولیدپذیری، کاربردپذیری، و جامعیت رویه‌های امنیتی در سراسر SDLC استفاده کنید و راهی برای مستندسازی و اثبات به‌کارگیری این رویه‌ها فراهم آورید. زنجیرهٔ ابزارها و ابزارها را می‌توان در سطوح مختلف سازمان، مانند سازمان‌گستر یا مختص پروژه، به‌کار گرفت و آن‌ها می‌توانندPO.3.1: مشخص کنید کدام ابزارها یا انواع ابزار باید یا بهتر است در هر زنجیرهٔ ابزار برای کاهش ریسک‌های شناسایی‌شده گنجانده شوند، و نیز اینکه اجزای زنجیرهٔ ابزار چگونه باید با یکدیگر یکپارچه شوند.بالاR1: برنامه‌ریزی کنید تا زنجیرهٔ ابزارهای خودکار توسعه و پیاده‌سازی کنید که توسعهٔ مدل هوش مصنوعی را امن سازند و تلاش انسانی را کاهش دهند، به‌ویژه در مقیاسی که اغلب برای مدل‌های هوش مصنوعی استفاده می‌شود. N1: در شرایط آرمانی، زنجیرهٔ ابزارهای خودکار بخش عمدهٔ کار مرتبط با امن‌سازی توسعهٔ مدل هوش مصنوعی را انجام خواهند داد. N2: برای اطلاعات دربارهٔ انواع ابزار، به PO.4، PO.5، PS، و PW ر.ک. شود.AI RMF: Measure 2.1 OWASP: LLM08
بخش خاصی از SDLC مانند یک خط ساخت را پوشش دهند.PO.3.2: برای استقرار، بهره‌برداری، و نگهداشت ابزارها و زنجیرهٔ ابزارها از رویه‌های امنیتی توصیه‌شده پیروی کنید.بالاR1: برنامهٔ توسعه و پیاده‌سازی زنجیرهٔ ابزارهای خودکاری که توسعهٔ مدل هوش مصنوعی را امن می‌سازند و تلاش انسانی را کاهش می‌دهند — به‌ویژه در مقیاسی که اغلب برای مدل‌های هوش مصنوعی استفاده می‌شود — را اجرا کنید. R2: امنیت زنجیرهٔ ابزارها را با بسامدی متناسب با ریسک راستی‌آزمایی کنید.AI RMF: Measure 2.1 OWASP: LLM05-3, LLM05-9, LLM08,LLM09
PO.3.3: ابزارها را به‌گونه‌ای پیکربندی کنید که مصنوع‌هایی (artifacts) از پشتیبانی آن‌ها از رویه‌های توسعهٔ امن نرم‌افزار، مطابق تعریف سازمان، تولید شود.متوسطN1: مصنوع «قطعه‌ای از مدرک» است [16]. مدرک یعنی «مبنای باور یا بی‌باوری؛ داده‌هایی که اثبات یا اثبات خلاف بر پایهٔ آن‌ها استوار می‌شود» [17]. مصنوع‌ها سابقهٔ رویه‌های توسعهٔ امن نرم‌افزار را فراهم می‌کنند. نمونه‌هایی از مصنوع‌های ویژهٔ توسعهٔ مدل هوش مصنوعی شامل گواهی‌های صحت و منشأ مجموعه‌داده‌های آموزشی است.AI RMF: Measure 2.1
تعریف و استفاده از معیارهای بررسی‌های امنیت نرم‌افزار (PO.4): با تعریف و به‌کارگیری معیارهایی برای بررسی امنیت نرم‌افزار در دوران توسعه، به اطمینان از برآورده‌شدن انتظارات سازمان از نرم‌افزارِ حاصل از SDLC کمک کنید.PO.4.1: معیارهایی برای بررسی‌های امنیت نرم‌افزار تعریف کنید و آن‌ها را در سراسر SDLC رهگیری نمایید.متوسطR1: حفاظ‌ها و سایر کنترل‌ها را در سراسر چرخهٔ عمر توسعهٔ هوش مصنوعی — فراتر از SDLC سنتی — پیاده‌سازی کنید. C1: الزام بازبینی و تأیید انسان‌درحلقه برای بررسی‌های امنیت نرم‌افزار فراتر از آستانه‌های مبتنی بر ریسک را در نظر بگیرید.AI RMF: Measure 2.3, 2.7; Manage 1.1 OWASP: LLM01-2
PO.4.2: فرایندها، سازوکارها و موارد مشابه را برای گردآوری و حفاظت از اطلاعات لازم در پشتیبانی از معیارها پیاده‌سازی کنید.پایینNo additions to SSDF 1.1AI RMF: Measure 2.3, 2.7; Manage 1.1 OWASP: LLM01-2
پیاده‌سازی و نگهداشت محیط‌های امن برای توسعهٔ نرم‌افزار (PO.5): اطمینان حاصل کنید که همهٔ اجزای محیط‌های توسعهٔ نرم‌افزار در برابر تهدیدهای داخلی و خارجی به‌طور قوی محافظت می‌شوند تا از به‌خطرافتادن محیط‌ها یا نرم‌افزارِ در حال توسعه یا نگهداشت در آن‌ها جلوگیری شود. نمونه‌هایی از محیط‌های توسعهٔ نرم‌افزار شامل محیط‌های توسعه، آموزش مدل هوش مصنوعی، ساخت، آزمون، و توزیع است. [Modified from SSDF 1.1]PO.5.1: هر محیط درگیر در توسعهٔ نرم‌افزار را جدا و محافظت کنید.بالاC1: جداسازی محیط‌های اجرا از یکدیگر تا حد امکان — مثلاً از طریق ایزوله‌سازی، قطعه‌بندی، مهار، دسترسی از طریق APIها، یا سایر روش‌ها — را در نظر بگیرید. R1: میزان مصرف منابع و نرخ‌ها را برای کاربران مدل هوش مصنوعی در دوران توسعهٔ مدل پایش، رهگیری، و محدود کنید. R2: داده‌های حساسِ استفاده‌شده در توسعهٔ مدل هوش مصنوعی، از جمله داده‌های عملیاتی، را فقط در محیط‌های مورد تأیید سازمان و مکان‌های تعیین‌شده در آن محیط‌ها ذخیره کنید. R3: تمام خطوط لولهٔ آموزش، registries مدل، و سایر اجزای درون محیط‌ها را بر اساس اصل حداقل برخورداری محافظت کنید.OWASP: LLM01-1, LLM01-4, LLM04, LLM08, LLM10
R4: فعالیت‌های مرتبط با آموزش در خطوط لوله و تغییرات مدل در registry مدل را به‌طور پیوسته پایش کنید. R5: برای پیکربندی امن هر محیط از رویه‌های توصیه‌شده پیروی کنید. R6: هر محیط را به‌طور پیوسته از نظر رمزهای عبورِ متنیِ آشکار (plaintext) پایش کنید.
PO.5.2: نقاط پایانی توسعه (نقاط پایانی طراحان، توسعه‌دهندگان، آزمونگران، سازندگان نرم‌افزار و غیره) را با رویکردی مبتنی بر ریسک، به‌منظور انجام وظایف توسعه، امن و مقاوم‌سازی کنید.متوسطNo additions to SSDF 1.1OWASP: LLM01-1, LLM05-3, LLM05-9, LLM08
PO.5.3: عملکرد و رفتار اجرای نرم‌افزار در محیط‌های توسعهٔ نرم‌افزار را به‌طور پیوسته پایش کنید تا فعالیت مشکوک احتمالی و سایر مسائل شناسایی شود. [Not part of SSDF 1.1]بالاR1: برای همهٔ اجزای محیط توسعه که یک مدل هوش مصنوعی یا منابع مرتبط (مانند APIهای مدل، وزن‌ها، پارامترهای پیکربندی، مجموعه‌داده‌های آموزشی) را میزبانی می‌کنند، پایش امنیتی پیوسته انجام دهید. R2: ابزارهای پایش و تحلیل پیوسته بهتر است هنگامی که فعالیت تشخیص‌داده‌شدهٔ درگیرِ یک مدل هوش مصنوعی از آستانهٔ ریسک عبور کند یا به‌نحوی شایستهٔ بررسی بیشتر باشد، هشدار تولید کنند.AI RMF: Measure 2.4 OWASP: LLM03-7, LLM04, LLM05-8, LLM09, LLM10
حفاظت از نرم‌افزار (PS)
حفاظت از همهٔ اشکال کد و داده در برابر دسترسی و دستکاری غیرمجاز (PS.1): به پیشگیری از تغییرات غیرمجاز در کد و داده — چه سهوی و چه عمدی — که می‌توانند ویژگی‌های امنیتی موردنظر نرم‌افزار را دور بزنند یا بی‌اثر کنند، کمک کنید. برای کد و داده‌ای که قرار نیست به‌صورت عمومی در دسترس باشند، این کار به پیشگیری از سرقت نرم‌افزار کمک می‌کند و ممکن است یافتن آسیب‌پذیری‌ها در نرم‌افزار را برای مهاجمان دشوارتر یا زمان‌برتر کند. [Modified from SSDF 1.1]PS.1.1: همهٔ اشکال کد — از جمله کد منبع، کد اجرایی، و پیکربندی به‌مثابه کد — را بر اساس اصل حداقل برخورداری ذخیره کنید تا فقط کارکنان، ابزارها، خدمات و غیرهٔ مجاز به آن‌ها دسترسی داشته باشند.بالاR1: مخزن امن کد بهتر است شامل مدل‌های هوش مصنوعی، وزن‌های مدل، خطوط لوله، مدل‌های پاداش، و هر عنصر دیگر مدل هوش مصنوعی باشد که محرمانگی، صحت، و/یا دسترس‌پذیری آن‌ها نیازمند حفاظت است. لازم نیست همهٔ این عناصر در یک مکان یا از طریق یک نوع سازوکار ذخیره شوند. R2: اصل حداقل برخورداری را برای به حداقل رساندن دسترسی مستقیم به مدل‌های هوش مصنوعی و عناصر مدل، صرف‌نظر از محل ذخیره یا اجرای آن‌ها، رعایت کنید. R3: مدل‌های پاداش را جدا از مدل‌های هوش مصنوعی و داده‌ها ذخیره کنید.OWASP:LLM10
R4: فقط دسترسی غیرمستقیم به وزن‌های مدل را مجاز بدانید. C1: جلوگیری از هرگونه دسترسی انسانی به وزن‌های مدل را در نظر بگیرید. C2: الزام انجام تمام توسعهٔ مدل هوش مصنوعی فقط در محیط‌های مورد تأیید سازمان را در نظر بگیرید.
PS.1.2: از تمام داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی در برابر دسترسی و تغییر غیرمجاز محافظت کنید. [Not part of SSDF 1.1]بالاR1: محرمانگی (فقط برای داده‌های غیرعمومی) و صحت داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی را به‌طور پیوسته پایش کنید. C1: ذخیرهٔ امن داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی برای استفاده و مراجعهٔ آینده، در صورت امکان، را در نظر بگیرید.OWASP: LLM03, LLM06, LLM10
PS.1.3: از تمام وزن‌های مدل و داده‌های پارامترهای پیکربندی در برابر دسترسی و تغییر غیرمجاز محافظت کنید. [Not part of SSDF 1.1]بالاR1: وزن‌های مدل و پارامترهای پیکربندی را جدا از داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی نگه دارید. R2: محرمانگی (فقط برای مدل‌های بسته) و صحت وزن‌های مدل و پارامترهای پیکربندی را به‌طور پیوسته پایش کنید. R3: اصل حداقل برخورداری را برای محدودکردن دسترسی به وزن‌های مدل هوش مصنوعی، پارامترهای پیکربندی، و خدمات در دوران توسعه رعایت کنید. R4: رویه‌های افزودنی امنیت سایبریِ متناسب با ریسک را در اطراف وزن‌های مدل مشخص و پیاده‌سازی کنید، مانند رمزنگاری، درهم‌سازهای رمزنگارانه، امضاهای دیجیتال، مجوزدهندگی چندجانبه، و محیط‌های جداشده از شبکه (air-gapped).OWASP:LLM10
فراهم‌آوردن سازوکاری برای راستی‌آزمایی صحت انتشار نرم‌افزار (PS.2): به دریافت‌کنندگان نرم‌افزار برای اطمینان از اصالت نرم‌افزار دریافتی و دست‌نخوردگی آن کمک کنید.PS.2.1: اطلاعات راستی‌آزمایی صحت نرم‌افزار را در دسترس دریافت‌کنندگان نرم‌افزار قرار دهید.متوسطR1: درهم‌سازهای رمزنگارانه یا امضاهای دیجیتال را برای یک مدل هوش مصنوعی و اجزا، مصنوع‌ها، و مستندات آن تولید و ارائه کنید. R2: امضاهای دیجیتال برای تغییرات مدل هوش مصنوعی ارائه دهید.OWASP: LLM05-6
بایگانی و حفاظت از هر انتشار نرم‌افزار (PS.3): انتشارهای نرم‌افزار را حفظ کنید تا بهPS.3.1: فایل‌های لازم و داده‌های پشتیبان (مانند اطلاعاتپایینR1: نسخه‌گذاری و رهگیری ابزارهای زیرساختی (مانند پیش‌پردازش،OWASP:LLM10
شناسایی، تحلیل، و ریشه‌کنی آسیب‌پذیری‌های یافته‌شده در نرم‌افزار پس از انتشار کمک کند.راستی‌آزمایی صحت، داده‌های اصالت و منشأ) که باید برای هر انتشار نرم‌افزار نگهداری شود را به‌طور امن بایگانی کنید.تبدیل‌ها، گردآوری) که از ایجاد مجموعه‌داده و آموزش مدل پشتیبانی می‌کنند را انجام دهید. R2: مستندسازی توجیه انتخاب مدل هوش مصنوعی را در اطلاعات نگهداری‌شده بگنجانید. R3: مستندسازی کل فرایند آموزش، مانند پیش‌پردازش داده و معماری مدل، را بگنجانید. N1: ممکن است لازم باشد در این مرحله مدل‌های هوش مصنوعی و اجزای آن‌ها به فهرست دارایی‌های سازمان افزوده شوند.
PS.3.2: داده‌های اصالت و منشأ را برای همهٔ اجزای هر انتشار نرم‌افزار گردآوری، محافظت، نگهداری، و به اشتراک بگذارید (مثلاً در یک فهرست اقلام نرم‌افزار [SBOM] یا از طریق Supply-chain Levels for Software Artifacts [SLSA]). [Modified from SSDF 1.1]متوسطR1: منشأ یک مدل هوش مصنوعی و اجزا و مشتقات آن، از جمله کتابخانه‌ها، چارچوب‌ها، و خطوط لولهٔ آموزشیِ استفاده‌شده برای ساخت مدل را رهگیری کنید. R2: مدل‌های هوش مصنوعی‌ای را که روی داده‌های حساس (مانند داده‌های کارت پرداخت، اطلاعات حفاظت‌شدهٔ سلامت، یا سایر انواع اطلاعات شناسایی‌پذیر شخصی) آموزش دیده‌اند رهگیری کنید و تعیین کنید آیا دسترسی به این مدل‌ها بهتر است به افرادی محدود شود که از قبل به داده‌های حساس استفاده‌شده در آموزش دسترسی دارند. C1: افشای منشأ داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازیِ استفاده‌شده برای یک مدل هوش مصنوعی را در نظر بگیرید.OWASP: LLM03-1, LLM05-4, LLM05-5, LLM10
تولید نرم‌افزار با امنیت خوب (PW)
طراحی نرم‌افزار برای برآوردن الزامات امنیتی و کاهش ریسک‌های امنیتی (PW.1): الزامات امنیتی نرم‌افزار را شناسایی و ارزیابی کنید؛ تعیین کنید نرم‌افزار در حین بهره‌برداری به‌احتمال زیاد با چه ریسک‌های امنیتی مواجه می‌شود و طراحی و معماری نرم‌افزار چگونه بهتر است آن ریسک‌ها را کاهش دهد؛ و مواردی را که تحلیل مبتنی بر ریسک نشان می‌دهد الزامات امنیتی بهتر است تخفیف یا لغو شوند، توجیه کنید. رسیدگی بهPW.1.1: از اشکال مدل‌سازی ریسک — مانند مدل‌سازی تهدید، مدل‌سازی حمله، یا نگاشت سطح حمله — برای کمک به ارزیابی ریسک امنیتی نرم‌افزار استفاده کنید.بالاR1: انواع آسیب‌پذیری و تهدیدِ مرتبط با مدل هوش مصنوعی را در مدل‌سازی ریسک بگنجانید. نمونه‌های این انواع آسیب‌پذیری و تهدید عبارت‌اند از: مسموم‌سازی داده‌های آموزشی، کد مخرب یا سایر محتوای ناخواسته در ورودی‌ها و خروجی‌ها، شرایط محروم‌سازی از خدمات ناشی از پرامپت‌های خصمانه، حملات زنجیرهٔ تأمین، افشای غیرمجاز اطلاعات، سرقت وزن‌های مدل هوش مصنوعی، و پیکربندی نادرست خطوط لولهٔ داده.[3]AI RMF: Govern 4.1, 4.2; Map 5.1; Measure 1.1; Manage 1.2, 1.3 OWASP: LLM01, LLM02, LLM03, LLM04, LLM05,LLM06,
الزامات و ریسک‌های امنیتی در دوران طراحی نرم‌افزار (امن در طراحی) کلید بهبود امنیت نرم‌افزار است و به بهبود کارایی توسعه نیز کمک می‌کند.C1: به‌روزرسانی دوره‌ای مدل‌سازی ریسک برای نسخه‌ها و مشتقات آیندهٔ مدل هوش مصنوعی پس از انتشار مدل را در نظر بگیرید. C2: در حین مدل‌سازی ریسک، بررسی این موضوع را در نظر بگیرید که مدل هوش مصنوعی در مسیر بحرانی اتخاذ تصمیمات امنیتی مهم بدون انسان‌درحلقه قرار نداشته باشد.LLM07, LLM08, LLM09, LLM10
PW.1.2: الزامات امنیتی، ریسک‌ها، و تصمیمات طراحی نرم‌افزار را رهگیری و نگهداری کنید.متوسطNo additions to SSDF 1.1AI RMF: Govern 4.1, 4.2; Map 2.1, 2.2, 2.3, 3.2, 3.3, 4.1, 4.2, 5.2; Manage 1.2, 1.3, 1.4
PW.1.3: در صورت لزوم، پشتیبانی از ویژگی‌ها و خدمات امنیتی استاندارد (مانند امکان یکپارچه‌سازی نرم‌افزار با سیستم‌های موجود مدیریت گزارش‌ها، مدیریت هویت، کنترل دسترسی، و مدیریت آسیب‌پذیری‌ها) را به‌جای ایجاد پیاده‌سازی‌های اختصاصی از ویژگی‌ها و خدمات امنیتی، در نرم‌افزار بگنجانید.متوسطNo additions to SSDF 1.1
بازبینی طراحی نرم‌افزار برای راستی‌آزمایی انطباق با الزامات امنیتی و اطلاعات ریسک (PW.2): به اطمینان از اینکه نرم‌افزار الزامات امنیتی را برآورده خواهد کرد و به‌طور رضایت‌بخش به اطلاعات ریسک شناسایی‌شده رسیدگی می‌کند، کمک کنید.PW.2.1: بگذارید ۱) یک یا چند فرد واجد شرایط که در طراحی مشارکت نداشته‌اند و ۲) فرایندهای خودکارِ فعال‌شده در زنجیرهٔ ابزار، طراحی نرم‌افزار را بازبینی کنند تا تأیید و تضمین شود که همهٔ الزامات امنیتی را برآورده می‌سازد و به‌طور رضایت‌بخش به اطلاعات ریسک شناسایی‌شده رسیدگی می‌کند. [Modified from SSDF 1.1]بالاNo additions to SSDF 1.1AI RMF: Measure 2.7; Manage 1.1
تأیید صحت داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی پیش از استفاده (PW.3): از مصرف داده‌ای که به‌احتمال زیاد بر امنیت سایبری مدل هوش مصنوعی اثر منفی دارد، به‌عنوان بخشی از آموزش، آزمون، تنظیم دقیق، و هم‌ترازی مدل هوش مصنوعی جلوگیری کنید. [Not part of SSDF 1.1]PW.3.1: پیش از استفاده از داده‌ها برای اهداف آموزش، آزمون، تنظیم دقیق، یا هم‌ترازی مدل هوش مصنوعی، آن‌ها را از نظر نشانه‌های مسموم‌سازی داده، سوگیری، همگنی، و دستکاری تحلیل کنید و در صورت لزوم ریسک‌ها را کاهش دهید. [Not part of SSDF 1.1]بالاR1: منشأ (در صورت دانسته‌بودن) و صحت داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی را پیش از استفاده راستی‌آزمایی کنید.AI RMF: Measure 2.1; Manage 1.2, 1.3
R2: روش‌های مناسب برای تحلیل و تغییر داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی یک مدل هوش مصنوعی را انتخاب و اعمال کنید. نمونه‌هایی از روش‌ها عبارت‌اند از: تشخیص ناهنجاری، تشخیص سوگیری، پاک‌سازی داده، گردآوری و انتخاب داده، پالایش داده، ضدعفونی داده، راستی‌آزمایی واقعیت‌ها، و کاهش نویز. C1: استفاده از انسان‌درحلقه برای بررسی داده‌ها، مانند با تکنیک‌های تحلیل اکتشافی داده [18]، را در نظر بگیرید.OWASP: LLM03, LLM06
PW.3.2: منشأ تمام داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازیِ استفاده‌شده برای یک مدل هوش مصنوعی را — در صورت دانسته‌بودن — رهگیری کنید و مستند کنید کدام داده‌ها منشأ شناخته‌شده ندارند. [Not part of SSDF 1.1]متوسطN1: راستی‌آزمایی منشأ در همهٔ موارد ممکن نیست، زیرا منشأ همیشه دانسته نیست. با این حال، برای اهداف امنیتی همچنان سودمند است که منشأ را هرجا ممکن است رهگیری و راستی‌آزمایی کنید و موارد نامعلوم‌بودن منشأ را نیز رهگیری کنید.AI RMF: Measure 2.1 OWASP: LLM03-1 Adv ML
PW.3.3: نمونه‌های خصمانه را در داده‌های آموزش و آزمون بگنجانید تا پیشگیری از حمله بهبود یابد. [Not part of SSDF 1.1]متوسطR1: از یک فرایند و کنترل‌های متناسب برای آزمون نمونه‌های خصمانه و اعمال حفاظ‌های مناسب بر استفادهٔ آموزشی و آزمایشی آن‌ها بهره بگیرید.OWASP: LLM03-6, LLM05-7 Adv ML
بازاستفاده از نرم‌افزار موجود و امنِ خوب در صورت امکان، به‌جای تکرار قابلیت‌ها (PW.4): هزینه‌های توسعهٔ نرم‌افزار را کاهش دهید، توسعهٔ نرم‌افزار را تسریع کنید، و احتمال ورود آسیب‌پذیری‌های امنیتی اضافی به نرم‌افزار را با بازاستفاده از ماژول‌ها و خدماتی که وضعیت امنیتی آن‌ها قبلاً بررسی شده، کاهش دهید. این امر به‌ویژه برای نرم‌افزاری که قابلیت‌های امنیتی را پیاده‌سازی می‌کند — مانند ماژول‌ها و پروتکل‌های رمزنگارانه — مهم است.PW.4.1: اجزای نرم‌افزار امنِ خوب (مانند کتابخانه‌های نرم‌افزاری، ماژول‌ها، میان‌افزارها، چارچوب‌ها) را از توسعه‌دهندگان تجاری، متن‌باز، و سایر طرف‌های ثالث برای استفاده در نرم‌افزار سازمان تهیه و نگهداری کنید.متوسطC1: استفاده از یک مدل هوش مصنوعی موجود به‌جای ایجاد مدل جدید را در نظر بگیرید.OWASP:LLM05
PW.4.2: اجزای نرم‌افزار امنِ خوب را در داخل سازمان، پیرو فرایندهای SDLC، برای برآوردن نیازهای رایج داخلی توسعهٔ نرم‌افزار که اجزای نرم‌افزار طرف ثالث بهتر نمی‌توانند برآورده کنند، ایجاد و نگهداری کنید.پایینNo additions to SSDF 1.1
PW.4.4: راستی‌آزمایی کنید که اجزای نرم‌افزار تجاری، متن‌باز، و همهٔ سایر اجزای نرم‌افزار طرف ثالثِ تهیه‌شده، در سراسر چرخهٔ عمر خود با الزاماتِ تعریف‌شده توسط سازمانبالاR1: صحت، منشأ، و امنیت یک مدل هوش مصنوعی موجود یا هر جزء هوش مصنوعی تهیه‌شدهٔ دیگر — از جمله مجموعه‌داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی؛OWASP: LLM05-2, LLM05-6 Adv ML
منطبق است.مدل‌های پاداش؛ لایه‌های انطباق؛ و پارامترهای پیکربندی — را پیش از استفاده راستی‌آزمایی کنید. R2: مدل‌های هوش مصنوعی تهیه‌شده و اجزای آن‌ها را پیش از استفاده از نظر آسیب‌پذیری‌ها و محتوای مخرب اسکن و به‌طور کامل آزمون کنید.
ایجاد کد منبع با رعایت رویه‌های کدنویسی امن (PW.5): تعداد آسیب‌پذیری‌های امنیتی نرم‌افزار را کاهش دهید و هزینه‌ها را با به حداقل رساندن آسیب‌پذیری‌هایی که در حین ایجاد کد منبع پدید می‌آیند و معیارهای شدت آسیب‌پذیری تعریف‌شده توسط سازمان را برآورده می‌کنند یا از آن فراتر می‌روند، کاهش دهید.PW.5.1: تمام رویه‌های کدنویسی امنِ متناسب با زبان‌ها و محیط توسعه را برای برآوردن الزامات سازمان دنبال کنید.بالاR1: رویه‌های کدنویسی امن را برای شامل‌شدن ملاحظات ویژهٔ فناوری هوش مصنوعی گسترش دهید. R2: کدِ مربوط به مدیریت ورودی‌ها (از جمله پرامپت‌ها و داده‌های کاربر) و خروجی‌ها را با دقت بنویسید. همهٔ ورودی‌ها و خروجی‌ها بهتر است در بستر مدل هوش مصنوعی ثبت، تحلیل، و اعتبارسنجی شوند و موارد دارای مشکل بهتر است ضدعفونی یا حذف شوند. R3: ورودی‌ها و خروجی‌ها را کدگذاری کنید تا از اجرای کد غیرمجاز جلوگیری شود.AI RMF: Manage 1.2, 1.3, 1.4 OWASP: LLM01, LLM02, LLM04-1, LLM06, LLM07, LLM09-9, LLM10
پیکربندی فرایندهای کامپایل، تفسیر، و ساخت برای بهبود امنیت کد اجرایی (PW.6): تعداد آسیب‌پذیری‌های امنیتی نرم‌افزار را کاهش دهید و هزینه‌ها را باPW.6.1: از کامپایلرها، مفسرها، و ابزارهای ساختِ دارای قابلیت‌هایی برای بهبود امنیت کد اجرایی استفاده کنید.پایینC1: استفاده از سازوکارهای امنِ سریال‌سازی مدل که بردارهای ورود محتوای مخرب را کاهش می‌دهند یا حذف می‌کنند را در نظر بگیرید.
حذف آسیب‌پذیری‌ها پیش از انجام آزمون‌ها، کاهش دهید.PW.6.2: تعیین کنید کدام قابلیت‌های کامپایلر، مفسر، و ابزار ساخت بهتر است استفاده شوند و هر یک چگونه بهتر است پیکربندی شود، سپس پیکربندی‌های مصوب را پیاده‌سازی و استفاده کنید.پایینC1: ثبت نسخه‌ها و قابلیت‌های کامپایلر، مفسر، و ابزار ساخت به‌عنوان بخشی از رهگیری منشأ را در نظر بگیرید.
بازبینی و/یا تحلیل کدِ خوانا برای شناسایی آسیب‌پذیری‌ها و راستی‌آزمایی انطباق با الزامات امنیتی (PW.7): به شناسایی آسیب‌پذیری‌ها برای اصلاح آن‌ها پیش از انتشار نرم‌افزار، به‌منظور جلوگیری از بهره‌برداری، کمک کنید. استفاده از روش‌های خودکار، تلاش و منابع لازم برای تشخیص آسیب‌پذیری‌ها را کاهش می‌دهد. کدِ خوانا شامل کد منبع، اسکریپت‌ها، و هر شکل دیگر کدی است که سازمان آن را خوانا می‌داند.PW.7.1: تعیین کنید آیا code_review (بررسی مستقیم کد توسط یک فرد برای یافتن مسائل) و/یا code_analysis (استفاده از ابزارها برای یافتن مسائل در کد، به‌صورت تمام‌خودکار یا همراه با فرد) بهتر است — مطابق تعریف سازمان — استفاده شوند.متوسطR1: سیاست‌ها یا دستورالعمل‌های بازبینی و تحلیل کد بهتر است کدِ مدل‌های هوش مصنوعی و سایر اجزای مرتبط را شامل شوند. C1: انجام اسکن کد مدل هوش مصنوعی علاوه بر آزمون خود مدل‌های هوش مصنوعی را در نظر بگیرید.
PW.7.2: بازبینی کد و/یا تحلیل کد را بر اساس استانداردهای کدنویسی امن سازمان انجام دهید و همهٔ مسائل کشف‌شده و اصلاحات توصیه‌شده را در جریان کاری تیم توسعه یا سیستم رهگیری مسائل ثبت و اولویت‌بندی کنید.بالاR1: همهٔ مدل‌های هوش مصنوعی را مطابق سیاست‌ها یا دستورالعمل‌های بازبینی و تحلیل کد سازمان، از نظر بدافزار، آسیب‌پذیری‌ها، درهای پشتی، و سایر مسائل امنیتی اسکن کنید.AI RMF: Measure 2.3, 2.7; Manage 1.1, 1.2, 1.3, 1.4
OWASP: LLM03-7d, LLM07-4
آزمون کد اجرایی برای شناسایی آسیب‌پذیری‌ها و راستی‌آزمایی انطباق با الزامات امنیتی (PW.8): به شناسایی آسیب‌پذیری‌ها برای اصلاح آن‌ها پیش از انتشار نرم‌افزار، به‌منظور جلوگیری از بهره‌برداری، کمک کنید. استفاده از روش‌های خودکار، تلاش و منابع لازم برای تشخیص آسیب‌پذیری‌ها را کاهش می‌دهد و قابلیت رهگیری و تکرارپذیری را بهبود می‌بخشد. کد اجراییPW.8.1: تعیین کنید آیا برای یافتن آسیب‌پذیری‌هایی که توسط بازبینی‌ها، تحلیل‌ها، یا آزمون‌های پیشین شناسایی نشده‌اند، بهتر است آزمون کد اجرایی انجام شود و در صورت انجام، از کدام انواع آزمون بهتر است استفاده شود.بالاR1: مدل‌های هوش مصنوعی را در سیاست‌ها و دستورالعمل‌های آزمون کد بگنجانید. اشکال متعددی از آزمون کد برای مدل‌های هوش مصنوعی قابل استفاده است، از جمله آزمون واحد، آزمون یکپارچه‌سازی، آزمون نفوذ، تیم قرمز، آزمون مورد کاربرد، و آزمون خصمانه. C1: خودکارسازی آزمون‌ها درون یک خط توسعه، به‌عنوان بخشی از آزمون رگرسیون، در صورت امکان را در نظر بگیرید.
شامل باینری‌ها، بایت‌کد و کد منبعِ مستقیماً اجراشدنی، و هر شکل دیگر کدی است که سازمان آن را اجراشدنی می‌داند.PW.8.2: دامنهٔ آزمون را مشخص کنید، آزمون‌ها را طراحی و انجام دهید و نتایج را مستند کنید، از جمله ثبت و اولویت‌بندی همهٔ مسائل کشف‌شده و اصلاحات توصیه‌شده در جریان کاری تیم توسعه یا سیستم رهگیری مسائل.بالاR1: همهٔ مدل‌های هوش مصنوعی را مطابق سیاست‌ها یا دستورالعمل‌های آزمون کد سازمان از نظر آسیب‌پذیری‌ها آزمون کنید. R2: مدل‌های هوش مصنوعی را هنگام بازآموزی یا افزودن منابع دادهٔ جدید، مجدداً آزمون کنید.AI RMF: Measure 2.2, 2.3, 2.7; Manage 1.1, 1.2, 1.3, 1.4 OWASP: LLM03-7d, LLM05-7, LLM07-4
پیکربندی نرم‌افزار با تنظیمات امن به‌صورت پیش‌فرض (PW.9): به بهبود امنیت نرم‌افزار در زمان نصب، به‌منظور کاهش احتمال استقرار نرم‌افزار با تنظیمات امنیتی ضعیف که آن را در معرض ریسک بیشتری برای به‌خطرافتادن قرار می‌دهد، کمک کنید.PW.9.1: یک خط پایهٔ امن تعریف کنید با تعیین چگونگی پیکربندی هر تنظیمی که بر امنیت یا تنظیمِ مرتبط با امنیت اثر دارد، به‌گونه‌ای که تنظیمات پیش‌فرض امن باشند و کارکردهای امنیتی فراهم‌شده توسط پلتفرم، زیرساخت شبکه، یا خدمات را تضعیف نکنند.متوسطNo additions to SSDF 1.1AI RMF: Measure 2.7
PW.9.2: تنظیمات پیش‌فرض (یا گروه‌های تنظیمات پیش‌فرض، در صورت لزوم) را پیاده‌سازی کنید و هر تنظیم را برای مدیران نرم‌افزار مستند نمایید.متوسطN1: مستندسازی تنظیمات را می‌توان در مراحل پیشین فرایند انجام داد، مانند هنگام تعریف خط پایهٔ امن (ر.ک. PW.9.1).AI RMF: Measure 2.7; Manage 1.2, 1.3, 1.4
پاسخ به آسیب‌پذیری‌ها (RV)
شناسایی و تأیید آسیب‌پذیری‌ها به‌طور مستمر (RV.1): به اطمینان از اینکهRV.1.1: اطلاعات را از دریافت‌کنندگان نرم‌افزار، کاربران، و منابع عمومی دربارهٔ آسیب‌پذیری‌های احتمالی در نرم‌افزاربالاR1: همهٔ ورودی‌ها و خروجی‌های مدل‌های هوش مصنوعی را برای تشخیص مسائل احتمالیAI RMF: Govern 4.3,
آسیب‌پذیری‌ها سریع‌تر شناسایی می‌شوند تاو اجزای طرف ثالثی که نرم‌افزار استفاده می‌کند گردآوری کنید و همهٔ گزارش‌های معتبر را بررسی نمایید.امنیتی و عملکردی (ر.ک. PO.5.3) ثبت، پایش، و تحلیل کنید.5.1, 6.1, 6.2;
سریع‌تر مطابق ریسک اصلاح شوند و پنجرهٔ فرصت مهاجمان کاهش یابد، کمک کنید.R2: کاربران مدل‌های هوش مصنوعی را از سازوکارهای گزارش‌دهی مسائل احتمالی امنیتی و عملکردی آگاه کنید. N1: در این بستر، «کاربران» به تولیدکنندگان و دریافت‌کنندگان سامانه هوش مصنوعی اطلاق می‌شود که از یک مدل هوش مصنوعی استفاده می‌کنند. R3: پایگاه‌های دادهٔ آسیب‌پذیری‌ها و رخدادها را برای اطلاعات مربوط به نگرانی‌های مرتبط با هوش مصنوعی — از جمله چارچوب‌ها و کتابخانه‌های یادگیری ماشینِ استفاده‌شده برای ساخت مدل‌های هوش مصنوعی — پایش کنید.Measure 1.2, 2.4, 2.5, 2.7, 3.1, 3.2, 3.3; Manage 4.1 OWASP: LLM03-7a, LLM09, LLM10
RV.1.2: کد نرم‌افزار را بازبینی، تحلیل، و/یا آزمون کنید تا آسیب‌پذیری‌های پیش‌تر کشف‌نشده شناسایی یا تأیید شوند.متوسطR1: مدل‌های هوش مصنوعی را به‌طور مکرر اسکن و آزمون کنید تا آسیب‌پذیری‌های پیش‌تر کشف‌نشده شناسایی شوند. R2: برای اسکن و آزمون مستمر عمدتاً بر خودکارسازی تکیه کنید و در صورت لزوم انسان‌درحلقه را درگیر نمایید. R3: ممیزی‌های دوره‌ای مدل‌های هوش مصنوعی را انجام دهید.AI RMF: Govern 4.3; Measure 1.3, 2.4, 2.7, 3.1; Manage 4.1 OWASP: LLM03-7b, LLM03-7d
RV.1.3: سیاستی در زمینهٔ افشا و اصلاح آسیب‌پذیری‌ها داشته باشید و نقش‌ها، مسئولیت‌ها، و فرایندهای لازم برای پشتیبانی از آن سیاست را پیاده‌سازی کنید.متوسطR1: آسیب‌پذیری‌های مدل هوش مصنوعی را در سیاست‌های افشا و اصلاح آسیب‌پذیری سازمان بگنجانید. R2: کاربران مدل‌های هوش مصنوعی را از محدودیت‌های ذاتی آن‌ها و چگونگی گزارش هر مشکل امنیت سایبری که با آن مواجه می‌شوند آگاه کنید.AI RMF: Govern 4.3, 5.1, 6.1; Measure 3.1, 3.3; Manage 4.3
ارزیابی، اولویت‌بندی، و اصلاح آسیب‌پذیری‌ها (RV.2): به اطمینان از اینکه آسیب‌پذیری‌ها مطابق ریسک اصلاح می‌شوند، به‌منظور کاهش پنجرهٔ فرصت مهاجمان، کمک کنید.RV.2.1: هر آسیب‌پذیری را تحلیل کنید تا اطلاعات کافی دربارهٔ ریسک برای برنامه‌ریزی اصلاح آن یا پاسخ ریسک دیگر گردآوری شود.متوسطN1: این کار می‌تواند شامل تحلیل عمیق ورودی و خروجی هوش مصنوعی مولد و مدل پایه دوکاربردی برای تشخیص انحراف از رفتار عادی باشد.AI RMF: Govern 4.3, 5.1, 6.1; Measure 2.7, 3.1; Manage 1.2, 2.3, 4.1 Adv ML
RV.2.2: پاسخ‌های ریسک برای آسیب‌پذیری‌ها را برنامه‌ریزی و پیاده‌سازی کنید.بالاR1: پاسخ‌های ریسک برای مدل‌های هوش مصنوعی بهتر است به زمان و هزینه‌هایی که ممکن است با بازسازی آن‌ها مرتبط باشد توجه کنند.AI RMF: Govern 5.1, 5.2, 6.1; Measure 3.3;
R2: معیارها و فرایندهایی برای زمان توقف استفاده از یک مدل هوش مصنوعی و زمان بازگشت به نسخهٔ پیشین و اجزای آن برقرار و اجرا کنید. C1: آمادگی برای توقف استفاده از یک مدل هوش مصنوعی در هر زمان و ادامهٔ عملیات از طریق سایر روش‌ها تا رفع کافی ریسک‌های مدل هوش مصنوعی را در نظر بگیرید.Manage 1.3, 2.1, 2.3, 2.4, 4.1
تحلیل آسیب‌پذیری‌ها برای شناسایی علت‌های ریشه‌ای آن‌ها (RV.3): به کاهش بسامد آسیب‌پذیری‌ها در آینده کمک کنید.RV.3.1: آسیب‌پذیری‌های شناسایی‌شده را برای تعیین علت‌های ریشه‌ای آن‌ها تحلیل کنید.متوسطN1: توانایی بازبینی پسینی داده‌های آموزش، آزمون، تنظیم دقیق، و هم‌ترازی می‌تواند به شناسایی برخی علت‌های ریشه‌ای کمک کند.AI RMF: Govern 5.1, 6.1; Measure 2.7, 3.1; Manage 2.3, 4.1
RV.3.2: علت‌های ریشه‌ای را در گذر زمان تحلیل کنید تا الگوها شناسایی شوند، مانند رعایت‌نشدن پیوستهٔ یک رویهٔ کدنویسی امنِ خاص.متوسطNo additions to SSDF 1.1AI RMF: Govern 5.1, 6.1; Measure 2.7, 3.1; Manage 4.1, 4.3
RV.3.3: نرم‌افزار را برای آسیب‌پذیری‌های مشابه بازبینی کنید تا یک رده از آسیب‌پذیری‌ها ریشه‌کن شود و آن‌ها را به‌صورت پیش‌گیرانه اصلاح کنید، نه آنکه منتظر گزارش‌های خارجی بمانید.متوسطNo additions to SSDF 1.1AI RMF: Govern 5.1, 5.2, 6.1; Measure 2.7, 3.1; Manage 4.1, 4.2, 4.3
RV.3.4: فرایند SDLC را بازبینی کنید و در صورت مناسب‌بودن، آن را به‌روزرسانی نمایید تا از تکرار علت ریشه‌ای در به‌روزرسانی‌های نرم‌افزار یا در نرم‌افزار جدیدِ ایجادشده جلوگیری (یا احتمال آن را کاهش داده) شود.متوسطNo additions to SSDF 1.1AI RMF: Govern 5.2, 6.1; Measure 2.7, 3.1; Manage 4.2, 4.3
استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P03-C24-S05

شناسهٔ محتوا KDJ-AI-2026E1-P03-C24-S05-A4888828

پیوند مستقیم این بخش