برای مدیران: امنیت هوش مصنوعی در برابر حملات خصمانه

چه چیزی مهم است؟

سیستم‌های «یادگیری ماشین» (ML) ماهیتی آماری و داده‌محور دارند و همین ماهیت، در کنار آسیب‌پذیری‌های نرم‌افزاری رایج، بردارهای حملهٔ تازه‌ای علیه امنیت، حریم خصوصی و ایمنی سازمان می‌گشاید. گزارش NIST AI 100-2e2025 حملات «یادگیری ماشین خصمانه» (AML) را حول سه هدف اصلی سامان می‌دهد: فروپاشی دسترس‌پذیری، نقض یکپارچگی و به‌خطرافتادن حریم خصوصی. ترجمهٔ مدیریتی این طبقه‌بندی سه پرسش است: آیا سرویس AI ما از کار می‌افتد؟ آیا خروجی آن بی‌سروصدا دستکاری می‌شود؟ آیا داده‌های حساس از مدل نشت می‌کند؟ این چارچوب هم سیستم‌های پیش‌بین (PredAI) و هم سیستم‌های مولد (GenAI) را پوشش می‌دهد؛ از مسموم‌سازی داده و حمله‌های درِ پشتی تا تزریق مستقیم دستور، استخراج مدل از سرویس‌های MLaaS و مسموم‌سازی مدل‌های پیش‌آموزش‌دیدهٔ شخص ثالث.

ریسک اصلی

خطرناک‌ترین خطای مدیریتی، یکی‌انگاشتن امنیت AI با امنیت نرم‌افزار سنتی است. دو واقعیت این خطا را گران تمام می‌کند:

• کاهش حملات گریز دشوار است و بسیاری از راهکارهای پیشنهادی در برابر حملات سازگارشونده شکست خورده‌اند؛ پس یک‌بار آزمون امنیتی، پوشش پایدار نیست.
• در GenAI زنجیرهٔ تأمین چندوجهی است: مدل پایهٔ شخص ثالث، داده‌های عظیم استخراج‌شده از وب و افزونه‌ها. هر حلقه یک نقطهٔ نفوذ بالقوه است و نمونه‌های واقعی — مسموم‌سازی چت‌بات Tay در کمتر از ۲۴ ساعت و فریب سیستم‌های تشخیص چهره — نشان می‌دهد این تهدیدها نظری نیستند.

سناریوی نمونه: یک بانک ایرانی که چت‌بات مبتنی بر LLM شخص ثالث را بدون مدل‌سازی تهدید و کنترل دستورهای سیستمی راه‌اندازی کند، در معرض تزریق دستور و افشای داده‌های مشتریان است.

چه تصمیم‌هایی لازم است؟

در لایهٔ اجرایی این کتاب پیشنهاد می‌شود مدیریت این تصمیم‌ها را صریحاً تصویب و بودجه‌گذاری کند:

• مدل‌سازی تهدید مبتنی بر طبقه‌بندی AML برای هر سیستم AI پرریسک، پیش از استقرار و پس از هر تغییر عمده.
• آزمون خصمانهٔ مستقل و دوره‌ای، از جمله سناریوهای جعبه‌سفید برای سنجش بدترین حالت.
• کنترل تدارکات برای مدل‌ها و داده‌های بیرونی: الزام به مستندسازی منشأ داده، راستی‌آزمایی درهم‌سازهای رمزنگارانه و ارزیابی امنیتی مدل‌های پیش‌آموزش‌دیده.
• ادغام رخدادهای AML در فرایند پاسخ به رخداد و ساختار SOC سازمان.
• توجه داشته باشید که ممکن است بسته به صنعت و مقررات حاکم، الزامات دیگری نیز اعمال شود.

چه کسی مسئول است؟

با الگوی RACI: مالک نهایی ریسک، مدیر ارشد امنیت اطلاعات یا کمیتهٔ ریسک است؛ مالک هر سیستم AI (مدیر کسب‌وکار) پاسخگوی کنترل‌های آن است؛ تیم امنیت (SOC) برای پایش و پاسخ مسئول اجراست و ارزیابی مستقل باید بیرون از زنجیرهٔ توسعه انجام شود. این تفکیک مسئولیت باید مکتوب و به‌روز باشد.

چه مدرکی باید وجود داشته باشد؟

• سند مدل‌سازی تهدید به‌روز برای هر سیستم AI.
• گزارش آزمون‌های خصمانه و پیگیری اصلاح‌ها پیش از استقرار.
• سوابق منشأ و راستی‌آزمایی داده‌های آموزشی و قراردادهای ارزیابی تأمین‌کنندگان مدل.
• طرح پاسخ به رخدادهای AML و گزارش تمرین‌های دوره‌ای.
• مصوبهٔ پذیرش ریسک‌های باقی‌مانده در سطح مجاز سازمان.

چه چیزی اندازه‌گیری شود؟

نمونهٔ شاخص‌ها (پیشنهادی تدوینگر بر پایهٔ مفاهیم مطرح‌شده در منابع این بخش):

جمع‌بندی: امنیت AI یک پروژهٔ فنی مقطعی نیست؛ یک مسئولیت حاکمیتی مستمر است. سازمانی که برای آن تصمیم، مسئول، مدرک و شاخص روشن ندارد، در عمل پذیرش ریسک را نادانسته امضا کرده است.