کاربرد در سازمان‌های ایرانی: ارزیابی هوش مصنوعی مولد و مدیریت محتوای مصنوعی

• معماری و چرخهٔ عمر: همهٔ فراخوانی‌های مدل (داخلی یا ابری) را از یک دروازهٔ API با احراز هویت و محدودسازی نرخ عبور دهید؛ محیط ارزیابی را از عملیات جدا کنید؛ پرامپت‌های سیستمی و پیکربندی RAG را نسخه‌دار کنید و پس از هر تغییر مدل یا پرامپت، آزمون رگرسیون روی مجموعهٔ آزمون مرجع اجرا کنید؛ برای هر سرویس، قطع اضطراری دسترسی تعریف و تمرین کنید.
• RAG و کنترل دسترسی: حقوق کاربر را در لایهٔ بازیابی اعمال کنید (فیلتر سند-به-سند) تا بازیابی سندی محرمانه‌تر از سطح دسترسی کاربر برنگرداند؛ منشأ اسناد ورودی پایگاه دانش را کنترل کنید تا مسموم‌سازی داده/RAG ممکن نشود؛ لاگ بازیابی را نگه دارید.
• ارزیابی فنی: مجموعه‌های آزمون مرجع و نتایج داوری انسانی را در مخزن نسخه‌دار نگه دارید؛ سنجه‌های خودکار را فقط برای غربال اولیه به کار ببرید و تصمیم نهایی را به داوری انسانی با معیار مصوب بسپارید.
• لایه‌های دفاعی: در برابر تزریق پرامپت، دستور و داده را جدا کنید و مجوز ابزارهای در دسترس عامل‌ها را با اصل کمترین اختیار در IAM قید کنید؛ برای نشت داده، پاک‌سازی خروجی و قواعد DLP؛ برای استخراج مدل، محدودسازی نرخ و رصد الگوهای پرسش؛ برای زنجیرهٔ تأمین مدل، ثبت نسخه و چک‌سام و دریافت از منبع معتبر؛ برای امنیت API، احراز هویت و مجوزدهی سخت‌گیرانه در همهٔ نقاط پایانی.
• لاگ و پایش: پرسش و پاسخ (با رعایت حریم خصوصی)، شناسه و نسخهٔ مدل، کاربر و نتیجهٔ پاک‌سازی را لاگ کنید و به SIEM متصل نمایید؛ در SOC برای الگوهای تزریق، خروجی ناموافق و حجم غیرعادی قاعدهٔ هشدار تعریف کنید.
• DevSecOps: آزمون‌های امنیتی و رگرسیون را در خط لولهٔ CI جاسازی کنید تا انتشار عمده بدون گذر از دروازهٔ ارزیابی ممکن نباشد.
• محتوای مصنوعی ورودی: برای مدارک و رسانه‌های حساس، فرایند راستی‌آزمایی منشأ و ابزار بررسی آماده نگه دارید و نتیجه را در فرم رخداد ثبت کنید.

فرم پیشنهادی TPL-P05-2 برای ثبت یکدست رخدادها و شواهد آن‌ها، در همین بخش ارائه شده است.

نمونه فرم — فرم گزارش رخداد هوش مصنوعی و محتوای مصنوعی (نمونهٔ پیشنهادی تدوینگر) (نمونه پیشنهادی تدوینگر بر پایه مفاهیم مطرح‌شده در منابع این فصل)