راهنمای مطالعهٔ بخش پنجم — ارزیابی هوش مصنوعی مولد و محتوای مصنوعی

بخش پنجم به دو پرسش محوری می‌پردازد: چگونه کیفیت و ریسک سیستم‌های هوش مصنوعی (AI) مولد را بسنجیم، و چگونه از آسیب‌های محتوای مصنوعی بکاهیم. محتوای این بخش از سه گزارش NIST ساخته شده است:

• فصل سی‌وششم بر پایهٔ گزارش NIST AI 700-1 («مطالعهٔ آزمایشی ۲۰۲۴ GenAI: مرور و نتایج ارزیابی متن‌به‌متن») تدوین شده است؛ سندی با وضعیت انتشار نهایی (ژوئن ۲۰۲۵ (خرداد ۱۴۰۴ تا تیر ۱۴۰۴)) که روش‌ها و نتایج ارزیابی متن‌به‌متن مدل‌های زبانی بزرگ (LLM) را گزارش می‌کند.
• فصل سی‌وهفتم بر پایهٔ گزارش NIST AI 700-2 («سنجش ریسک‌ها و اثرات هوش مصنوعی (ARIA)») است؛ گزارشی با وضعیت نهایی (نوامبر ۲۰۲۵ (آبان ۱۴۰۴ تا آذر ۱۴۰۴)) که طرح آزمایشی ARIA را برای سنجش ریسک‌ها و اثرات AI در بسترهای به‌کارگیری واقعی معرفی و ارزیابی می‌کند.
• فصل سی‌وهشتم بر پایهٔ سند NIST AI 100-4 («کاهش ریسک‌های ناشی از محتوای مصنوعی») نوشته شده است. این سند «پیش‌نویس عمومی اولیه» برای اظهارنظر عمومی (آوریل ۲۰۲۴ (فروردین ۱۴۰۳ تا اردیبهشت ۱۴۰۳)) است و ممکن است در نسخه‌های بعدی تغییر کند. این گزارش استانداردها، ابزارها و روش‌های موجود برای احراز اصالت محتوا، رهگیری منشأ و برچسب‌گذاری محتوای مصنوعی را بررسی می‌کند.

در لایهٔ اجرایی این کتاب پیشنهاد می‌شود فصل‌ها به همین ترتیب کتاب و با منطق زیر خوانده شوند:

• نخست، فصل سی‌وششم، برای ساختن واژگان مشترک ارزیابی: سنجه‌ها، مجموعه‌داده‌ها و نقش داوری انسانی در سنجش خروجی‌های LLM.
• سپس، فصل سی‌وهفتم (ARIA)، که ارزیابی را از آزمایشگاه به بستر واقعی به‌کارگیری می‌برد و ریسک و اثر را در بافت سازمانی می‌سنجد.
• در پایان، فصل سی‌وهشتم، که یک دامنهٔ ریسک مشخص — محتوای مصنوعی — و سازوکارهای کاهش آن مانند احراز اصالت، رهگیری منشأ و برچسب‌گذاری را بررسی می‌کند.

پیش‌نیازها: آشنایی اولیه با مفاهیم مدل‌های زبانی و واژگان مدیریت ریسک، که در بخش‌های آغازین کتاب معرفی شده‌اند، برای هر سه فصل کافی است. پیش‌زمینهٔ آماری، فهم سنجه‌های فصل سی‌وششم را آسان‌تر می‌کند، اما الزامی نیست.

اگر زمان مطالعه محدود است، پیشنهاد تدوینگر آن است که نخست خلاصهٔ آغازین هر فصل و جدول‌های آن را بخوانید و ورود به جزئیات روش‌شناسی را به مرحلهٔ طراحی برنامهٔ ارزیابی سازمان خود موکول کنید.

اهمیت هر فصل برای نقش‌های سازمانی یکسان نیست. جدول زیر نشان می‌دهد هر فصل برای کدام مخاطب کلیدی‌تر است:

• مدیران: تمرکز اصلی بر فصل سی‌وهفتم برای تصمیم دربارهٔ سطح ریسک پذیرفتنی، و بر فصل سی‌وهشتم برای سیاست‌گذاری در برخورد با محتوای مصنوعی.
• تیم فنی: فصل سی‌وششم هستهٔ کار است؛ سنجه‌ها و رویه‌های آن مستقیماً در ارزیابی مدل‌های LLM به کار می‌آید.
• تیم حقوقی و انطباق: موضوعات فصل سی‌وهشتم مانند برچسب‌گذاری و اصالت محتوا با تعهدات شفافیت گره خورده‌اند؛ ممکن است بسته به صنعت و مقررات حاکم، الزامات دیگری نیز اعمال شود.
• ممیزی داخلی: فصل سی‌وهفتم چارچوب سنجش ریسک را به دست می‌دهد و فصل سی‌وششم سنجه‌هایی را تعریف می‌کند که یافته‌های ممیزی باید بر آن‌ها استوار شود.

سه سند پشتوانهٔ این بخش، گزارش‌های فنی و مطالعات آزمایشی NIST هستند و سند الزام‌آوری نیستند. هرجا در فصل‌های این بخش اقدامی «ضروری برای اجرای پایه»، «پیشنهادی» یا «پیشرفته» خواندید، این طبقه‌بندی پیشنهاد تدوینگر برای اجراست، نه الزام NIST. همچنین به یاد داشته باشید فصل سی‌وهشتم بر پایهٔ «پیش‌نویس عمومی اولیه» NIST AI 100-4 (آوریل ۲۰۲۴ (فروردین ۱۴۰۳ تا اردیبهشت ۱۴۰۳)) نوشته شده است؛ پیش از استناد اجرایی، وضعیت آخرین نسخهٔ سند را بررسی کنید.