فهرست این فصلبخش ۵، فصل ۳۹
بخش ۵، فصل ۳۹
جمعبندی تطبیقی: ارزیابی هوش مصنوعی مولد و محتوای مصنوعی
متن اصلی فارسی با منشأ، شناسه و پیوند استناد پایدار.
ارتباط اسناد این بخش با یکدیگر و با سایر بخشهای کتاب
سه سند محوری این بخش، سه لایهٔ مکمل از مسئلهٔ «اعتماد به هوش مصنوعی مولد» را پوشش میدهند:
- «مطالعهٔ آزمایشی GenAI: مرور و نتایج ارزیابی متنبهمتن» که دو مسیر موازی دارد — مسیر مولد (Generator, T2T-G) که به پرسش «کیفیت تولید متن چگونه سنجیده شود» پاسخ میدهد، و مسیر تشخیصدهنده (Discriminator, T2T-D) که توانایی ابزارهای تشخیص هوش مصنوعی را در تمایز میان متن تولیدشده توسط انسان و ماشین میسنجد (KDJ-AI-2026E1-P05-C36-S01)؛
- «گزارش ارزیابی آزمایشی ARIA برای سنجش ریسکها و اثرات هوش مصنوعی» که سنجش را از کیفیت خروجی به ریسک و اثر سیستم در بستر عملیاتی گسترش میدهد (KDJ-AI-2026E1-P05-C37-S01)؛
- «پیشنویس عمومی AI 100-4 دربارهٔ کاهش ریسکهای ناشی از محتوای مصنوعی» که آسیبها و خطرهای محتوای مصنوعی را صورتبندی و استانداردها، ابزارها و روشهای موجود و نیز توسعهٔ احتمالی استانداردها و تکنیکهای مبتنی بر علم را برای احراز اصالت محتوا، رهگیری منشأ و برچسبگذاری محتوای مصنوعی بررسی میکند (KDJ-AI-2026E1-P05-C38-S01).
رابطهٔ این سه سند با یکدیگر را میتوان در چهار سطح صورتبندی کرد:
- تکمیل: خروجی مطالعهٔ GenAI (کیفیت سنجشپذیر تولید متن) ورودی فرایند ارزیابی ریسک در ARIA است و AI 100-4 حلقهٔ بازمانده، یعنی سرگذشت محتوا پس از تولید، را با اصالتسنجی و برچسبگذاری کامل میکند.
- تفصیل: هر سند یک محور را عمیقتر میکند؛ نخست معیارها و روشهای آزمایشی سنجش متن، دوم معماری ارزیابی در بستر واقعی و سوم فناوریهای اصالت و شفافیت محتوا.
- تفاوت تعریفها: «ارزیابی» در سند GenAI دو معنا دارد — کیفیت خروجی متن (مسیر مولد) و توان تشخیص متن مصنوعی (مسیر تشخیصدهنده) — در ARIA معطوف به ریسک و اثر در شرایط واقعی و در AI 100-4 معطوف به قابلیت تشخیص و اثبات مصنوعیبودن محتوا در سطح استاندارد و ابزار است؛ مسیر تشخیصدهندهٔ مطالعهٔ GenAI و موضوع AI 100-4 هر دو به «تشخیص محتوای مصنوعی» میپردازند، اما یکی سنجش تجربی کارایی تشخیصدهندههاست و دیگری چارچوب استاندارد و برچسبگذاری؛ این کاربردهای واژهٔ «ارزیابی» باید از هم تفکیک شود.
- تفاوت سطح تجزیه: مطالعهٔ GenAI در سطح معیار و آزمایش حرکت میکند، ARIA در سطح فرایند و زمینهٔ عملیاتی و AI 100-4 در سطح اکوسیستم استانداردها و ابزارها.
ارتباط با بخشهای دیگر کتاب:
- در لایهٔ تدوینگر پیشنهاد میشود این بخش در ادامهٔ مباحث چارچوب مدیریت ریسک هوش مصنوعی (AI RMF) و در کنار بخشهای امنیت چرخهٔ حیات سیستمهای هوش مصنوعی خوانده شود؛ زیرا خروجی سنجشهای این بخش، ورودی مستقیم فرایندهای پذیرش ریسک و پایش مستمر در آن بخشها است.
- کنترلهای احراز اصالت و برچسبگذاری مطرحشده در AI 100-4 با مباحث امنیت اطلاعات و مدیریت رخداد در سایر بخشهای کتاب پیوند مستقیم دارد؛ ممکن است بسته به صنعت و مقررات حاکم، الزامات دیگری نیز اعمال شود.
ترتیب پیشنهادی مطالعه در لایهٔ تدوینگر: نخست AI 100-4 برای درک پهنهٔ آسیبها و خطرهای محتوای مصنوعی، سپس مطالعهٔ GenAI برای آشنایی با سازوکار سنجش متنبهمتن و در پایان ARIA برای پیوند سنجش با ریسک و اثر؛ این ترتیب، منطق درونی بخش را از «شناخت خطر» به «سنجش» و سپس «تصمیم» میسازد.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P05-C39-S01
شناسهٔ محتوا KDJ-AI-2026E1-P05-C39-S01-E712678F
اشتراکها و اختلافهای مفهومی سه سند
نقاط اشتراک
- زمینهٔ مشترک: فناوریهای AI مولد میتوانند تصویر، متن، صوت، ویدئو و محتوای چندوجهی واقعنما تولید کنند؛ این توانایی کاربردهای نوینی با پتانسیل امیدوارکننده برای خیر به همراه دارد و همزمان ریسکهای تازهای برای اعتماد، ایمنی، شفافیت و اعتبار اطلاعات و ارتباطات دیجیتال پدید میآورد (KDJ-AI-2026E1-P05-C38-S01 و KDJ-AI-2026E1-P05-C38-S02).
- در لایهٔ تدوینگر، همین دوگانگی «فرصت–ریسک» نقطهٔ عزیمت هر سه سند است: مطالعهٔ GenAI به سنجش کیفیت میپردازد و ARIA و AI 100-4 به شناسایی و کاهش ریسک.
- وجه مشترک مفهومی سه سند آن است که «سنجش» را پیششرط اعتمادپذیری قرار میدهند: بدون معیار، روش آزمایشی و شواهد قابلراستیآزمایی، هیچ ادعایی دربارهٔ کیفیت یا ایمنی پذیرفته نمیشود.
- هر سه سند در مرحلهٔ نخست تکامل خود مستند شدهاند: مطالعهٔ آزمایشی، گزارش ارزیابی آزمایشی و پیشنویس برای اظهارنظر عمومی؛ در نتیجه در لایهٔ اجرایی این کتاب پیشنهاد میشود یافتههای آنها نقطهٔ شروع تلقی شود، نه نسخهٔ نهایی روششناسی.
- این سه سند ماهیتاً گزارش ارزیابی و بررسی فنیاند، نه فهرست الزام؛ در نتیجه طبقهبندی اقدامات به «ضروری برای اجرای پایه»، «پیشنهادی» و «پیشرفته» در لایهٔ اجرایی این کتاب، کار تدوینگر است، نه نقل مستقیم از سند.
نقاط اختلاف
| محور مقایسه | GenAI (متنبهمتن) | ARIA (ریسک و اثر) | AI 100-4 (محتوای مصنوعی) |
|---|---|---|---|
| موضوع سنجش | کیفیت و رفتار خروجی متن LLM (مسیر مولد)؛ توان تشخیصدهندههای AI در شناسایی متن مصنوعی (مسیر تشخیصدهنده) | ریسک و اثر سیستم در بستر عملیاتی | آسیبها و خطرهای محتوای تولیدشده |
| پاسخ اصلی سند | معیارها و روشهای ارزیابی آزمایشی | چارچوب و نتایج ارزیابی آزمایشی ARIA 0.1 | استانداردها و ابزارهای احراز اصالت، رهگیری منشأ و برچسبگذاری (مانند واترمارک) |
| دامنهٔ محتوا | متن | سیستمهای هوش مصنوعی | تصویر، متن، صوت، ویدئو و محتوای چندوجهی |
| شناسهٔ مرجع | KDJ-AI-2026E1-P05-C36-S01 | KDJ-AI-2026E1-P05-C37-S01 | KDJ-AI-2026E1-P05-C38-S01 |
دو نکتهٔ تفکیکی مهم نیز در مقایسهٔ تعریفها باید در نظر گرفت:
- نخست، «کیفیت خروجی» موضوع مطالعهٔ GenAI با «ایمنی و اثر» موضوع ARIA یکی نیست؛ متنِ باکیفیت از نظر سنجشهای متنبهمتن، لزوماً رفعکنندهٔ ریسکهای زمینهای استقرار نیست.
- دوم، «ریسک» در AI 100-4 بیش از همه به واقعنمایی محتوای مصنوعی و اثر آن بر اعتماد و اعتبار اطلاعات و ارتباطات دیجیتال گره خورده است، نه به کیفیت تولید.
سه پرسش عملیاتی مکمل
- «خروجی سیستم چقدر باکیفیت است؟» ← مطالعهٔ GenAI
- «استقرار سیستم در محیط واقعی چه ریسک و اثری دارد؟» ← چارچوب ARIA
- «اصالت و منشأ محتوای تولیدشده چگونه اثبات میشود؟» ← AI 100-4
پاسخ سازمان به هر سه پرسش، در کنار هم، شرط لازم برای اعتمادپذیری هوش مصنوعی مولد است.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P05-C39-S02
شناسهٔ محتوا KDJ-AI-2026E1-P05-C39-S02-3DC37803
نقشهٔ مفهومی: از سنجش کیفیت تا اصالت محتوا
- ارزیابی هوش مصنوعی مولد و محتوای مصنوعی (ریشهٔ بخش)
- سنجش کیفیت تولید متن (KDJ-AI-2026E1-P05-C36-S01)
- مدلهای زبانی بزرگ (LLM)
- معیارها و روشهای آزمایشی ارزیابی متنبهمتن
- سنجش توان تشخیص محتوای مصنوعی (مسیر Discriminator، KDJ-AI-2026E1-P05-C36-S01)
- توان تشخیصدهندههای AI در تمایز متن انسانی از متن مصنوعی
- پیوند مفهومی با اصالتسنجی و برچسبگذاری در AI 100-4
- سنجش ریسک و اثر در بستر عملیاتی (KDJ-AI-2026E1-P05-C37-S01)
- چارچوب ARIA
- ارزیابی آزمایشی سیستمها در شرایط واقعی
- مدیریت ریسک محتوای مصنوعی (KDJ-AI-2026E1-P05-C38-S01)
- آسیبها و خطرهای محتوای مصنوعی
- تهدید اعتماد، ایمنی، شفافیت و اعتبار اطلاعات و ارتباطات دیجیتال
- پاسخهای فنی و استانداردی
- احراز اصالت محتوا
- رهگیری منشأ
- برچسبگذاری محتوای مصنوعی (مانند واترمارک)
روابط اصلی میان گرهها:
- خروجی «سنجش کیفیت» و «سنجش ریسک»، ورودی مشترک «تصمیم پذیرش یا عدم پذیرش سیستم» است.
- «آسیبشناسی محتوای مصنوعی» انگیزه و توجیه «اصالتسنجی و برچسبگذاری» است.
- «احراز اصالت» و «رهگیری منشأ» به «شفافیت» و «اعتبار ارتباطات دیجیتال» خدمت میکنند.
- نتیجهٔ «برچسبگذاری» و «رهگیری منشأ» به فرایندهای «پایش» و «پاسخ به رخداد» در سایر بخشهای کتاب منتقل میشود.
- در لایهٔ تدوینگر، مسیر مطالعهٔ پیشنهادی: نخست شناخت خطر (AI 100-4)، سپس سنجش کیفیت متن (مطالعهٔ GenAI)، بعد سنجش ریسک در بستر واقعی (ARIA) و در پایان پیوند نتایج با تصمیمگیری سازمان.
این نقشه را میتوان مبنای طراحی دورهٔ آموزشی داخلی سازمان نیز قرار داد؛ هر شاخه با یک پرسش سنجش پایان مییابد: چه چیزی را، با کدام معیار و در کدام بستر میسنجیم؟
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P05-C39-S03
شناسهٔ محتوا KDJ-AI-2026E1-P05-C39-S03-8BCFA70A