رفتن به محتوای اصلی
کهن‌دژکتاب مرجع هوش مصنوعی
منابعاعتبارسنجی
فهرست این فصلبخش ۲، فصل ۱۳ — صفحهٔ ۲ از ۷

بخش ۲، فصل ۱۳ — صفحهٔ ۲ از ۷

چارچوب مدیریت ریسک هوش مصنوعی: نمایهٔ هوش مصنوعی مولد

متن اصلی فارسی با منشأ، شناسه و پیوند استناد پایدار.

۲.۴. حریم خصوصی داده‌ها

ترجمهٔ منبع

سیستم‌های GAI چندین خطر برای حریم خصوصی مطرح می‌کنند. آموزش سیستم‌های GAI به حجم بزرگی از داده‌ها نیاز دارد که در برخی موارد می‌تواند شامل داده‌های شخصی باشد. استفاده از داده‌های شخصی برای آموزش GAI خطرهایی برای اصول پذیرفته‌شده حریم خصوصی، از جمله شفافیت، مشارکت فردی (شامل رضایت)، و تعیین هدف مطرح می‌کند. برای مثال، بیشتر توسعه‌دهندگان مدل‌ها منابع داده‌ای خاصی را که مدل‌ها بر اساس آن‌ها آموزش دیده‌اند افشا نمی‌کنند و این امر آگاهی کاربران از اینکه آیا اطلاعات شخصی‌قابل‌شناسایی (PII) در آموزش به‌کار رفته است و در صورت استفاده، چگونه گردآوری شده است را محدود می‌کند.

مدل‌ها ممکن است اطلاعات حساس درباره‌ی افراد را نشت دهند، تولید کنند یا به‌درستی استنباط کنند. برای مثال، در طول حملات خصمانه، مدل‌های LLM اطلاعات حساس (از دامنه عمومی) را که در داده‌های آموزشی‌شان وجود داشته است افشا کرده‌اند. به این مسئله «حفظ‌کردن داده‌ها» (data memorization) گفته شده است و ممکن است حتی برای داده‌هایی که تنها در تعداد کمی نمونه‌ی آموزشی وجود دارند، خطرهای حریم خصوصی تشدیدشده‌ای ایجاد کند.

علاوه بر افشای اطلاعات حساس موجود در داده‌های آموزشی GAI، مدل‌های GAI ممکن است بتوانند PII یا داده‌های حساسی را که در داده‌های آموزشی‌شان نبوده و توسط کاربر نیز افشا نشده است، با سرهم‌کردن اطلاعات از منابع گوناگون به‌درستی استنباط کنند. این استنباط‌ها می‌توانند حتی اگر دقیق نباشند (برای مثال، توهم‌سازی‌ها)، تأثیر منفی بر فرد داشته باشند؛ به‌ویژه اگر اطلاعاتی را آشکار کنند که فرد آن را حساس می‌داند یا برای به ضرر رساندن یا آسیب‌رساندن به او به‌کار می‌رود.

فراتر از آسیب‌های ناشی از مواجهه اطلاعاتی (مانند اخاذی یا آسیب به حیثیت)، استنباط‌های نادرست یا نامناسب از PII می‌توانند به پیامدهای زیان‌بار بعدی یا ثانویه دامن بزنند. برای مثال، استنباط‌های پیش‌بینی‌کننده‌ای که مدل‌های GAI بر اساس PII یا ویژگی‌های حفاظت‌شده انجام می‌دهند می‌توانند به تصمیمات نامساعد منجر شوند و آسیب‌های بازنمایی یا تخصیصی را به افراد یا گروه‌ها وارد کنند (ر.ک. بخش سوگیری زیان‌بار و همگن‌سازی در ادامه).

ویژگی‌های هوش مصنوعی اعتماد‌پذیر: پاسخ‌گو و شفاف، ارتقادهنده‌ی حریم خصوصی، ایمن، امن و تاب‌آور

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S08

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S08-BF53E7DA

پیوند مستقیم این بخش

۲.۵. تأثیرات زیست‌محیطی

ترجمهٔ منبع

آموزش، نگهداشت و بهره‌برداری (اجرای استنتاج) از سیستم‌های GAI فعالیت‌هایی نیازمند منابع گسترده‌اند و ردپای انرژی و زیست‌محیطی بالقوه بزرگی دارند. میزان انرژی و انتشار کربن بر اساس آنچه با مدل GAI انجام می‌شود (یعنی پیش‌آموزش، تنظیم دقیق، استنتاج)، وجه محتوا (modality)، سخت‌افزار به‌کاررفته و نوع وظیفه یا کاربرد متفاوت است.

برآوردهای کنونی حاکی از آن است که آموزش یک LLM ترنسفورمر می‌تواند به‌اندازه ۳۰۰ پرواز رفت‌وبرگشت بین San Francisco و New York کربن منتشر کند. در مطالعه‌ای که مصرف انرژی و انتشار کربن در استنتاج LLM را مقایسه می‌کرد، مشخص شد وظایف مولد (مانند خلاصه‌سازی متن) نسبت به وظایف تمایزی یا غیرمولد (مانند دسته‌بندی متن) انرژی و کربن بیشتری مصرف می‌کنند.

روش‌های ایجاد نسخه‌های کوچک‌تر از مدل‌های آموزش‌دیده، مانند تقطیر یا فشرده‌سازی مدل، ممکن است بتواند تأثیرات زیست‌محیطی را در زمان استنتاج کاهش دهد، اما آموزش و تنظیم چنین مدل‌هایی همچنان می‌تواند سهمی در تأثیرات زیست‌محیطی آن‌ها داشته باشد. در حال حاضر روش توافق‌شده‌ای برای برآورد تأثیرات زیست‌محیطی GAI وجود ندارد.

ویژگی‌های «هوش مصنوعی اعتماد‌پذیر» (Trustworthy AI): پاسخگو و شفاف، ایمن

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S09

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S09-932190C4

پیوند مستقیم این بخش

۲.۶. سوگیری زیان‌بار و همگن‌سازی

ترجمهٔ منبع

«سوگیری» (Bias) در اشکال گوناگونی وجود دارد و می‌تواند در سیستم‌های خودکار نهادینه شود. سیستم‌های هوش مصنوعی (AI)، از جمله سیستم‌های هوش مصنوعی مولد (GAI)، می‌توانند سرعت و مقیاسی را که سوگیری‌های زیان‌بار در آن‌ها آشکار می‌شوند و به آن‌ها عمل می‌شود افزایش دهند و به‌این‌ترتیب به‌طور بالقوه آسیب‌های وارده بر افراد، گروه‌ها، اجتماع‌ها، سازمان‌ها و جامعه را تداوم و تشدید کنند. برای نمونه، هنگامی که از مدل‌های فعلی متن‌به‌تصویر خواسته می‌شود تصاویر مدیران‌عامل، پزشکان، وکلا و قضات تولید کنند، این مدل‌ها زنان و/یا اقلیت‌های نژادی و افراد دارای معلولیت را کمتر بازنمایی می‌کنند. مدل‌های تولید تصویر همچنین برای گروه‌های جمعیتی گوناگون خروجی‌های سوگیرانه یا کلیشه‌ای تولید کرده‌اند و حتی زمانی که درخواست (پرامپت) به‌طور مشخص ویژگی‌های تصویری ناسازگار با آن کلیشه‌ها را می‌طلبد، در تولید محتوای غیرکلیشه‌ای با دشواری روبه‌رو می‌شوند. سوگیری زیان‌بار در مدل‌های هوش مصنوعی مولد که ممکن است از داده‌های آموزشی آن‌ها ناشی شود، همچنین می‌تواند به آسیب‌های بازنمایی بینجامد یا سوگیری بر پایهٔ نژاد، جنسیت، معلولیت یا سایر طبقات تحت‌حمایت را تداوم بخشیده یا تشدید کند.

سوگیری زیان‌بار در سیستم‌های هوش مصنوعی مولد همچنین می‌تواند از طریق نابرابری میان نحوهٔ عملکرد مدل برای زیرگروه‌ها یا زبان‌های مختلف به آسیب بینجامد (برای مثال، یک LLM ممکن است برای زبان‌های غیرانگلیسی یا برخی گویش‌ها عملکرد ضعیف‌تری داشته باشد). چنین نابرابری‌هایی می‌توانند به تصمیم‌گیری تبعیض‌آمیز یا تشدید سوگیری‌های موجود اجتماعی دامن بزنند. افزون بر این، ممکن است به سیستم‌های هوش مصنوعی مولد به‌ناروا اعتماد شود که عملکردی یکسان در تمامی زیرگروه‌ها دارند؛ امری که ممکن است بتواند باعث شود گروه‌های مواجه‌شده با عملکرد ضعیف‌تر، پیامدهایی بدتر از حالتی داشته باشند که اصلاً از سیستم هوش مصنوعی مولد استفاده نمی‌شد. عملکرد نابرابر یا کاهش‌یافته برای زبان‌های کم‌منبع نیز چالش‌هایی برای پذیرش، مشارکت‌پذیری و دسترس‌پذیری مدل‌ها ایجاد می‌کند و در صورتی که سیستم‌های هوش مصنوعی مولد در فرایندهای روزمره‌ای که در غیر این صورت فرصت‌هایی برای استفاده از این زبان‌ها به‌شمار می‌آمدند نهادینه شوند، ممکن است حفظ زبان‌های در معرض خطر انقراض را دشوارتر سازد.

سوگیری با مسئلهٔ همگن‌سازی ناخواسته به‌طور متقابل تقویت‌کنندهٔ یکدیگرند؛ حالتی که در آن سیستم‌های هوش مصنوعی مولد توزیع‌هایی کج از خروجی‌ها تولید می‌کنند که بیش از حد یکنواخت‌اند (برای مثال، سبک‌های زیبایی‌شناختی تکراری و کاهش تنوع محتوا). خروجی‌های بیش‌ازحد همگن خود می‌توانند نادرست باشند، یا ممکن است به تصمیم‌گیری غیرقابل‌اعتماد بینجامند یا سوگیری‌های زیان‌بار را تشدید کنند. این پدیده‌ها می‌توانند از مدل‌های پایه به مدل‌ها و سیستم‌های پایین‌دستی سرایت کنند و مدل‌های پایه همچون «تنگناهایی» یا نقاط تک‌خرابی عمل نمایند.

محتوای بیش‌ازحد همگن می‌تواند به «فروپاشی مدل» بینجامد. فروپاشی مدل می‌تواند زمانی رخ دهد که آموزش مدل بیش از اندازه به داده‌های مصنوعی اتکا کند و در نتیجه نقاط داده‌ای از توزیع خروجی‌های مدل جدید حذف شوند. فروپاشی مدل، افزون بر تهدید «استواری» (Robustness) کلی مدل، می‌تواند به خروجی‌های همگن بینجامد؛ از جمله از طریق تشدید هرگونه همگن‌سازی ناشی از مدل به‌کاررفته برای تولید داده‌های آموزشی مصنوعی.

ویژگی‌های هوش مصنوعی اعتماد‌پذیر: عادلانه با مدیریت سوگیری زیان‌بار، معتبر و قابل‌اتکا

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S10

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S10-60F951C8

پیوند مستقیم این بخش

۲.۷. پیکربندی انسان–AI

ترجمهٔ منبع

استفاده از سیستم‌های GAI می‌تواند با خطرهای گوناگونِ ناشی از پیکربندی نادرست و تعامل‌های ضعیف میان یک سیستم و انسانی که با آن در تعامل است همراه باشد. انسان‌ها دیدگاه‌ها، تجربه‌ها یا تخصص‌های حوزه‌ای منحصربه‌فرد خود را به تعامل با سیستم‌های AI می‌آورند، اما ممکن است دانش تفصیلی درباره سیستم‌های AI و نحوه کارکرد آن‌ها نداشته باشند. در نتیجه، متخصصان انسانی ممکن است بی‌دلیل «پرهیز» از سیستم‌های GAI نشان دهند و به این ترتیب خود یا دیگران را از کاربردهای سودمند GAI محروم کنند.

در مقابل، به‌سبب «پیچیدگی» (Complexity) و قابلیت اطمینانِ فزاینده فناوری GAI، انسان‌ها در گذر زمان ممکن است بیش از حد بر سیستم‌های GAI اتکا کنند یا محتوای GAI را بدون توجیه از کیفیت بالاتری نسبت به خروجی سایر منابع ارزیابی کنند. این پدیده نمونه‌ای از سوگیری اتوماسیون یا تعبد بیش‌ازحد به سیستم‌های خودکار است. سوگیری اتوماسیون می‌تواند دیگر خطرهای GAI مانند خطرهای برساختگی (Confabulation) یا خطرهای سوگیری (Bias) یا همگن‌شدگی را تشدید کند.

همچنین ممکن است نگرانی‌هایی درباره درگیری عاطفی میان انسان‌ها و سیستم‌های GAI وجود داشته باشد که می‌تواند به پیامدهای روانی منفی بینجامد.

ویژگی‌های هوش مصنوعی اعتماد‌پذیر: پاسخگو و شفاف، توضیح‌پذیر و تفسیرپذیر، منصفانه با سوگیری زیان‌بارِ مدیریت‌شده، دارای حریم خصوصی افزایش‌یافته (Privacy)، ایمن، معتبر و دارای قابلیت اطمینان (Reliability)

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S11

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S11-BC864942

پیوند مستقیم این بخش

۲.۸. تمامیت اطلاعات

ترجمهٔ منبع

تمامیت اطلاعات «طیف اطلاعات و الگوهای مرتبط با ایجاد، تبادل و مصرف آن در جامعه» را توصیف می‌کند. اطلاعات با تمامیت بالا قابل اعتماد است؛ «واقعیت را از داستان، نظر و استنتاج متمایز می‌کند؛ به عدم‌قطعیت‌ها اعتراف می‌کند؛ و درباره سطح بررسی و ارزیابی خود شفاف است. این اطلاعات می‌تواند با شواهد مناسب به منبع (منابع) اصلی پیوند داده شود. اطلاعات با تمامیت بالا همچنین دقیق و قابل‌اعتماد است، قابل راستی‌آزمایی و احراز هویت‌شده است، زنجیره حفاظت روشنی دارد و انتظارات معقولی درباره زمانی که روایی آن ممکن است منقضی شود ایجاد می‌کند».۱۱

سیستم‌های «هوش مصنوعی مولد» (Generative AI, GAI) می‌توانند تولید یا انتشار ناخواسته محتوای نادرست، غیرواقعی یا فریبنده (اطلاعات نادرست — misinformation) را در مقیاس بزرگ آسان‌تر کنند، به‌ویژه اگر محتوا ناشی از توهم‌پردازی‌ها باشد.

سیستم‌های GAI همچنین می‌توانند تولید یا انتشار عمدی اطلاعات نادرست یا فریبنده (اطلاعات گمراه‌کننده — disinformation) را در مقیاس بزرگ آسان‌تر کنند؛ جایی که یک کنشگر قصد صریح فریب دادن یا آسیب رساندن به دیگران را دارد. حتی تغییرات بسیار ظریف در متن یا تصویر می‌تواند ادراک انسان و ماشین را دستکاری کند.

به همین ترتیب، سیستم‌های GAI ممکن است بتوانند درجه بالاتری از پیچیدگی را برای کنشگران مخلّ فراهم کنند تا اطلاعات گمراه‌کننده‌ای هدف‌گیری‌شده به سمت گروه‌های جمعیتی خاص تولید کنند. مدل‌های چندوجهی (multimodal) کنونی و نوظهور آن را ممکن می‌سازند که هم اطلاعات گمراه‌کننده متنی و هم «دیپ‌فیک‌های» بسیار واقع‌گرایانه — یعنی محتوای سمع‌وبصری مصنوعی و تصاویر فوتورئال — تولید شوند.۱۲ تهدیدهای اطلاعاتی گمراه‌کننده بیشتر ممکن است توسط مدل‌های GAI آینده که بر روی قالب‌های داده‌ای جدید آموزش دیده‌اند، ایجاد شوند.

اطلاعات گمراه‌کننده و اطلاعات نادرست — که هر دو می‌توانند توسط GAI تسهیل شوند — ممکن است اعتماد عمومی به شواهد و اطلاعات واقعی یا معتبر را با آثار پیامدی فرسوده کنند. برای مثال، تصویری مصنوعی از انفجار در ساختمان پنتاگون وایرال شد و به‌طور گذرا باعث افت بازار سهام شد. مدل‌های هوش مصنوعی مولد همچنین می‌توانند به کنشگران مخلّ در خلق تصویرسازی‌ها و تبلیغات متقاعدکننده برای پشتیبانی از کارزارهای اطلاعات گمراه‌کننده کمک کنند؛ تصاویری که ممکن است فوتورئال نباشند، اما ممکن است بتوانند به این کارزارها امکان دهند رسیدن و تعامل بیشتری در پلتفرم‌های شبکه‌های اجتماعی به دست آورند. علاوه بر این، مدل‌های هوش مصنوعی مولد می‌توانند به کنشگران مخلّ در ایجاد محتوای متقلبانه با هدف جعل هویت دیگران کمک کنند.

ویژگی‌های هوش مصنوعی اعتماد‌پذیر: پاسخ‌گو و شفاف، ایمن، روایی‌پذیر و قابل‌اعتماد، تفسیرپذیر و توضیح‌پذیر

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S12

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S12-37B0772E

پیوند مستقیم این بخش

۲.۹. امنیت اطلاعات (Information Security)

ترجمهٔ منبع

امنیت اطلاعات برای سیستم‌های رایانه‌ای و داده‌ها، حوزه‌ای بالغ با رویه‌های پذیرفته‌شده و استانداردشده برای قابلیت‌های سایبری تهاجمی و تدافعی است. سیستم‌های مبتنی بر GAI دو ریسک اصلی امنیت اطلاعات را ارائه می‌دهند: GAI می‌تواند به‌طور بالقوه با کاهش موانع یا تسهیل اجرای خودکار قابلیت‌های تهاجمی، ریسک‌های سایبری جدیدی را کشف یا فعال کند؛ هم‌زمان، این فناوری سطح حمله در دسترس را گسترش می‌دهد، زیرا خود GAI در برابر حملاتی مانند «تزریق دستور» (Prompt Injection) یا «مسموم‌سازی داده» (Data Poisoning) آسیب‌پذیر است.

قابلیت‌های سایبری تهاجمی که سیستم‌های GAI آن‌ها را پیشرفته‌تر کرده‌اند، ممکن است حملات سایبری نظیر هک، بدافزار و فیشینگ را تقویت کنند. گزارش‌ها نشان داده‌اند که LLMها هم‌اکنون قادر به کشف برخی «آسیب‌پذیری‌ها» (Vulnerabilities) در سیستم‌ها (سخت‌افزار، نرم‌افزار، داده‌ها) و نوشتن کد برای بهره‌برداری از آن‌ها هستند. کنشگران تهدید پیچیده (Sophisticated Threat Actors) ممکن است با توسعه «دستیارهای امنیتی مبتنی بر GAI» برای استفاده در بخش‌های متعددی از زنجیره حمله، این ریسک‌ها را پیش ببرند؛ از جمله آگاه‌سازی مهاجمان در مورد چگونگی دور زدن فعالانه تشخیص تهدید و ارتقای سطح دسترسی پس از کسب دسترسی به سیستم.

امنیت اطلاعات برای مدل‌ها و سیستم‌های GAI همچنین شامل حفظ در دسترس بودن سیستم GAI و یکپارچگی و (در صورت لزوم) محرمانگی کد GAI، داده‌های آموزشی و وزن‌های مدل است. برای شناسایی و ایمن‌سازی نقاط حمله بالقوه در سیستم‌های هوش مصنوعی یا اجزای خاص زنجیره ارزش هوش مصنوعی (مانند ورودی‌های داده، پردازش، آموزش GAI یا محیط‌های استقرار (Deployment))، ممکن است نیاز باشد رویه‌های مرسوم امنیت سایبری تطبیق یابند یا تکامل پیدا کنند.

برای نمونه، تزریق دستور شامل تغییر ورودی ارائه‌شده به یک سیستم GAI است تا به شیوه‌های ناخواسته رفتار کند. در تزریق‌های دستور مستقیم، مهاجمان ممکن است دستورات مخرب را طراحی کرده و آن‌ها را مستقیماً به یک سیستم GAI وارد کنند که پیامدهای منفی متعددی برای سیستم‌های متصل به همراه دارد. حملات «تزریق دستور غیرمستقیم» زمانی رخ می‌دهند که دشمنان از راه دور (یعنی بدون رابط مستقیم) با تزریق دستورات به داده‌هایی که احتمالاً بازیابی می‌شوند، از برنامه‌های یکپارچه‌شده با LLM بهره‌برداری کنند. پژوهشگران امنیتی هم‌اکنون نشان داده‌اند که چگونه تزریق‌های دستور غیرمستقیم می‌توانند با سرقت داده‌های اختصاصی یا اجرای کد مخرب از راه دور روی یک ماشین، از آسیب‌پذیری‌ها بهره‌برداری کنند. صرفِ «پرس‌وجو» (Querying) از یک مدل تولیدی بسته می‌تواند اطلاعات فاش‌نشده قبلی درباره آن مدل را استخراج کند.

یک ریسک امنیت سایبری دیگر برای GAI، «مسموم‌سازی داده» است که در آن یک دشمن، مجموعه داده آموزشی مورد استفاده توسط یک مدل را برای دستکاری خروجی‌ها یا عملکرد آن به مخاطره می‌اندازد. دستکاری مخرب داده‌ها یا بخش‌هایی از مدل می‌تواند ریسک‌های مرتبط با خروجی‌های سیستم GAI را تشدید کند.

ویژگی‌های هوش مصنوعی اعتماد‌پذیر (Trustworthy AI): ارتقایافته از نظر حریم خصوصی، ایمن، امن و تاب‌آور، معتبر و قابل‌اطمینان

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S13

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S13-61A96B53

پیوند مستقیم این بخش

۲.۱۰. مالکیت فکری

ترجمهٔ منبع

خطرهای مالکیت فکری ناشی از سیستم‌های هوش مصنوعی مولد ممکن است در جایی بروز کند که استفاده از آثار دارای حق نشر، طبق دکترین «استفاده منصفانه»، استفاده منصفانه نباشد. اگر داده‌های آموزشی یک سیستم هوش مصنوعی مولد شامل مواد دارای حق نشر بوده باشد، خروجی‌های GAI که نمونه‌هایی از «به‌خاطرسپاری داده‌ها» (data memorization) را نشان می‌دهند (ر.ک. بخش حریم خصوصی داده‌ها در بالا) ممکن است بتوانند حق نشر را نقض کنند.

اینکه GAI با حق نشر چه نسبتی دارد، از جمله وضعیت محتوای تولیدشده‌ای که به آثار مشمول حمایت حق نشر شبیه است اما آن‌ها را عیناً کپی نمی‌کند، در حال حاضر در محافل حقوقی مورد بحث است. گفتگوهای مشابهی نیز درباره استفاده از هویت، چهره یا صدای اشخاص یا تقلید از آن‌ها بدون کسب اجازه در جریان است. ویژگی‌های هوش مصنوعی اعتماد‌پذیر: پاسخگو و شفاف، عادلانه با سوگیری زیان‌بار مدیریت‌شده، و دارای حریم خصوصی تقویت‌شده

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S14

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S14-35C6CDDE

پیوند مستقیم این بخش

۲.۱۱. محتوای مبتذل، تحقیرآمیز و/یا آزارگرانه

ترجمهٔ منبع

هوش مصنوعی مولد (GAI) می‌تواند تولید و دسترسی به تصاویر صمیمانهٔ غیررضایتی (NCII) غیرقانونی بزرگسالان و/یا مواد مربوط به آزار جنسی کودکان (CSAM) را آسان‌تر کند. محتوای مبتذل، آزارگرانه یا تحقیرآمیزِ تولیدشده توسط GAI می‌تواند آسیب‌هایی از جنس حریم خصوصی، روانی و عاطفی و حتی جسمانی ایجاد کند و در برخی موارد ممکن است غیرقانونی نیز باشد.

محتوای صریح یا مبتذلِ تولیدشده با هوش مصنوعی ممکن است شامل «دیپ‌فیک‌های» بسیار واقع‌گرایانه از افراد واقعی، از جمله کودکان، باشد. انتشار این نوع مواد می‌تواند پیامدهای منفی ثانویه داشته باشد: در زمینه CSAM، حتی اگر تصاویر تولیدشده شبیه افراد مشخصی نباشند، شیوع این‌گونه تصاویر می‌تواند زمان و منابع را از تلاش‌ها برای یافتن قربانیان واقعی منحرف کند. فراتر از CSAM، ایجاد و انتشار NCII به‌طور نامتناسبی زنان و اقلیت‌های جنسی را تحت تأثیر قرار می‌دهد و می‌تواند پیامدهای منفی بعدی از جمله افت سلامت روانی کلی، سوءمصرف مواد و حتی افکار خودکشی به همراه داشته باشد.

داده‌های مورد استفاده برای آموزش مدل‌های GAI ممکن است به‌طور ناخواسته شامل CSAM و NCII باشند. در گزارشی اخیر اشاره شده است که در چند مجموعه‌داده آموزشی GAIِ پرکاربرد، صدها تصویر شناخته‌شده CSAM یافت شده است. حتی زمانی که آموزش با داده‌های «پاک» انجام شده باشد، مدل‌های GAI با توانمندی فزاینده می‌توانند NCII و CSAM مصنوعی تولید کنند. وب‌سایت‌ها، اپلیکیشن‌های موبایل و مدل‌های سفارشی‌ساخته‌ای که NCII مصنوعی تولید می‌کنند، از انجمن‌های حاشیه‌ای اینترنت به کسب‌وکارهای آنلاینِ فراگیر، خودکار و مقیاس‌پذیر منتقل شده‌اند.

ویژگی‌های هوش مصنوعی اعتماد‌پذیر: منصف همراه با سوگیریِ مدیریت‌شده، ایمن، دارای حریم خصوصی تقویت‌شده

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S15

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S15-7A07FED7

پیوند مستقیم این بخش

۲.۱۲. زنجیره ارزش و یکپارچه‌سازی اجزا

ترجمهٔ منبع

زنجیره‌های ارزش GAI دربرگیرنده مؤلفه‌های متعدد «طرف ثالث» (Third-Party) مانند مجموعه‌داده‌های خریداری‌شده، مدل‌های پیش‌آموخته و کتابخانه‌های نرم‌افزاری است. ممکن است این مؤلفه‌ها به‌صورت نامناسب به‌دست آمده باشند یا به‌درستی ارزیابی نشده باشند و در نتیجه «شفافیت» (Transparency) یا «پاسخگویی» (Accountability) برای کاربران پایین‌دستی کاهش یابد. اگرچه این موضوع برای سیستم‌های هوش مصنوعی سنتی و برخی فناوری‌های دیجیتال دیگر نیز یک «ریسک» (Risk) محسوب می‌شود، اما این ریسک برای GAI به چند دلیل تشدید می‌شود: مقیاس داده‌های آموزشی که ممکن است برای ارزیابی توسط انسان‌ها بیش از حد بزرگ باشد؛ دشواری آموزش مدل‌های پایه که به استفادهٔ مجدد گسترده از تعداد محدودی مدل می‌انجامد؛ و میزانی که GAI می‌تواند در دستگاه‌ها و خدمات دیگر یکپارچه شود. از آنجا که سیستم‌های GAI اغلب دربرگیرنده مؤلفه‌های طرف ثالث و منابع دادهٔ متمایز فراوانی هستند، ممکن است نسبت دادن مشکلات رفتار یک سیستم به هر یک از این منابع دشوار باشد.

خطاهای موجود در مؤلفه‌های طرف ثالث GAI همچنین می‌توانند تأثیرات پایین‌دستی بر دقت و «استواری» (Robustness) داشته باشند. برای مثال، مجموعه‌داده‌های آزمون که به‌طور رایج برای سنجش یا اعتبارسنجی مدل‌ها به کار می‌روند، می‌توانند دربردارندهٔ خطاهای برچسب‌گذاری باشند. نادرستی در این برچسب‌ها می‌تواند بر «پایداری» یا استواری این «معیارهای مرجع» (Benchmarks) تأثیر بگذارد؛ معیارهایی که بسیاری از کارکنان حوزهٔ GAI در فرایند انتخاب مدل در نظر می‌گیرند.

ویژگی‌های «هوش مصنوعی اعتماد‌پذیر» (Trustworthy AI): پاسخگو و شفاف، تبیین‌پذیر و تفسیرپذیر، منصفانه با سوگیری زیان‌بار مدیریت‌شده، دارای حریم خصوصی تقویت‌شده، ایمن، «امن» (Secure) و «تاب‌آور» (Resilient)، معتبر و قابل‌اعتماد

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C13-S16

شناسهٔ محتوا KDJ-AI-2026E1-P02-C13-S16-6222628C

پیوند مستقیم این بخش