چالش‌های کلیدی و بحث

• data confidentiality مفهومی جاافتاده در امنیت سایبری که به حفاظت از اطلاعات حساس در برابر دسترسی و افشای غیرمجاز اشاره دارد. 7

• data poisoning (مسموم‌سازی داده) نوعی «حمله‌های مسموم‌سازی» (Poisoning Attacks) است که در آن مهاجم بخشی از داده‌های آموزشی را کنترل می‌کند. 5, 36, 37, 40, 111

• data privacy attacks حمله‌هایی علیه مدل‌های «یادگیری ماشین» (Machine Learning, ML) که اطلاعات حساس درباره داده‌های آموزشی را استخراج می‌کنند. 7

• data reconstruction «حمله‌های حریم خصوصی» (Privacy Attacks) که داده‌های حساس موجود در داده‌های آموزشی مدل را از اطلاعات تجمیعی بازسازی می‌کنند. 7, 28

• deployment stage مرحله‌ای از خط لوله یادگیری ماشین که در آن مدل در یک محیط زنده یا واقعی برای استفاده «استقرار» (Deployment) می‌یابد؛ مانند ادغام در یک برنامه سازمانی یا در دسترس قرار گرفتن برای کاربران نهایی از طریق یک API. 5, 37, 38

• diffusion models رده‌ای از مدل‌های مولد با متغیر پنهان که از سه جزء اصلی تشکیل شده‌اند: یک فرآیند پیشرو، یک فرآیند معکوس، و یک رویه نمونه‌گیری. هدف مدل انتشار، یادگیری یک فرآیند انتشار است که توزیع احتمال یک مجموعه‌داده معین را تولید کند. این مدل‌ها به‌طور گسترده در بینایی کامپیوتر برای وظایف گوناگونی به کار می‌روند، از جمله حذف نویز تصویر، ترمیم تصویر، ابرتفکیک‌پذیری، و تولید تصویر. 34

• direct prompt injection نوعی «حمله مستقیم دستوری» (Direct Prompting Attack) است که در آن مهاجم از «تزریق دستور» (Prompt Injection) سوءاستفاده می‌کند. 43, 110

• direct prompting attack در زمینه «هوش مصنوعی مولد» (Generative AI, GenAI)، حمله‌ای که توسط کاربر اصلی سیستم از طریق دسترسی پرس‌وجو انجام می‌شود (مثلاً در مقابل از طریق کنترل منابع). 34, 43, 108, 110

• discriminative نوعی روش یادگیری ماشین که یاد می‌گیرد میان کلاس‌ها تمایز قائل شود. 5

• energy-latency attack (حمله انرژی–تأخیر) حمله‌ای که از وابستگی عملکرد به سخت‌افزار و بهینه‌سازی‌های مدل بهره‌برداری می‌کند تا اثرات بهینه‌سازی‌های سخت‌افزاری را خنثی کند، تأخیر محاسباتی را افزایش دهد، دمای سخت‌افزار را بالا ببرد و مقدار انرژی مصرفی را به‌شدت افزایش دهد. ۶، ۸

• ensemble learning (یادگیری گروهی) نوعی رویکرد فرایادگیری ماشین که پیش‌بینی‌های چند مدل را برای بهبود عملکرد ترکیب می‌کند. ۵

• expectation over transformation (انتظار روی تبدیل) روشی برای تقویت «نمونه‌های خصمانه» (adversarial examples) به‌گونه‌ای که در برابر تبدیل‌های تصویری رخ‌داده در دنیای واقعی، مانند تغییر زاویه و دیدگاه، خصمانه باقی بمانند. EOT این اغتشاش‌ها را درون رویه بهینه‌سازی مدل‌سازی می‌کند. EOT به‌جای بهینه‌سازی درست‌نمایی لگاریتمی یک نمونه‌ی واحد، از یک توزیع انتخاب‌شده از توابع تبدیل استفاده می‌کند که ورودیِ تحت کنترل مهاجم را به ورودی «واقعی» ادراک‌شده توسط طبقه‌بند می‌برد. ۱۶

• federated learning (یادگیری فدرال) نوعی «یادگیری ماشین» (Machine Learning, ML) که در آن یک مدل به‌صورت غیرمتمرکز با استفاده از چندین منبع داده آموزش می‌بیند، بدون آنکه داده‌ها در مکانی متمرکز انباشته یا ترکیب شوند. یادگیری فدرال به نهادها یا دستگاه‌ها امکان می‌دهد از طریق تبادل به‌روزرسانی‌های مدل و بدون اشتراک‌گذاری مستقیم داده‌هایی که هر نهاد کنترل می‌کند، یک مدل سراسری را به‌صورت مشارکتی آموزش دهند. ۵، ۳۱

• feedforward neural networks (شبکه‌های عصبی پیش‌خور) شبکه‌های عصبی مصنوعی که در آن‌ها اتصالات بین گره‌ها از یک لایه به لایه بعدی است و چرخه‌ای تشکیل نمی‌دهند. ۳۱

• fine-tuning (تنظیم دقیق) فرایند انطباق یک مدل از پیش‌آموزش‌دیده برای انجام وظایف مشخص یا تخصصی‌شدن در یک «دامنه» (domain) خاص. این مرحله پس از مرحله اولیه پیش‌آموزش قرار دارد و شامل آموزش بیشتر مدل روی داده‌های مخصوص وظیفه است. این کار اغلب یک وظیفه یادگیری نظارت‌شده است. ۳۷

• fine-tuning circumvention (دورزدن از طریق تنظیم دقیق) تنظیم دقیق برای حذف رفتار امتناع مدل یا دیگر مداخلات ایمنی در سطح مدل. ۴۱

• formal methods (روش‌های صوری) تکنیکی ریاضی و دقیق برای مشخص‌سازی، توسعه و صحت‌سنجی سیستم‌های نرم‌افزاری. ۱۸

• foundation model (مدل پایه) در «هوش مصنوعی مولد» (Generative AI, GenAI)، مدل‌هایی که با استفاده از یادگیری خودناظر روی داده‌های گسترده آموزش دیده‌اند و می‌توان آن‌ها را برای تنوعی از وظایف پایین‌دستی، مانند از طریق تنظیم دقیق، انطباق داد [311]. ۱۱۱

• functional attack (حمله کارکردی) حمله‌ای خصمانه که برای مجموعه‌ای از داده‌ها در یک دامنه بهینه می‌شود، نه برای هر نقطه داده به‌صورت جداگانه. ۱۳، ۲۳

• شبکه‌های مولد رقابتی (Generative Adversarial Networks, GANs) چارچوبی از یادگیری ماشین (Machine Learning, ML) که در آن دو شبکهٔ عصبی به‌صورت یک بازی با مجموع صفر با یکدیگر رقابت می‌کنند؛ در این بازی، سود یک عامل، زیان عامل دیگر است. یک GAN یاد می‌گیرد داده‌های جدیدی با همان آماره‌های مجموعهٔ آموزش تولید کند. برای جزئیات بیشتر ر.ک. به [143]. 31, 34

• ترنسفورمر ازپیش‌آموزش‌دیدهٔ مولد (Generative Pre-Trained Transformer, GPT) خانواده‌ای از مدل‌های یادگیری ماشین بر پایهٔ معماری ترنسفورمر [383] که از طریق یادگیری خودنظارتی روی مجموعه‌داده‌های بزرگ متنی بدون‌برچسب پیش‌آموزش می‌بینند. این معماری، معماری غالب کنونی برای مدل‌های زبانی بزرگ (Large Language Models, LLMs) است. 34

• شبکهٔ عصبی گرافی شبکه‌ای عصبی که برای پردازش داده‌های ساختاریافتهٔ گرافی طراحی شده است. شبکه‌های عصبی گرافی (GNNs) تبدیل‌های بهینه‌پذیری را روی ویژگی‌های گراف (مانند گره‌ها، یال‌ها و زمینهٔ سراسری) انجام می‌دهند و در همان حال تقارن‌های گراف مانند ناوردایی جایگشتی را حفظ می‌کنند. GNNها از معماری «گراف‌ورودی، گراف‌خروجی» بهره می‌گیرند که یک گراف ورودی همراه با اطلاعات را می‌گیرد و به‌تدریج آن را به یک گراف خروجی با همان هم‌بندیِ گراف ورودی تبدیل می‌کند. 31

• مدل مارکوف پنهان (hidden Markov model, HMM) مدلی مارکوفی است که در آن فرض می‌شود سیستمِ مدل‌شده یک فرایند مارکوفی با حالت‌های غیرقابل‌مشاهده است. این مدل یک فرایند قابل‌مشاهده فراهم می‌کند که پیامدهای آن به شیوه‌ای شناخته‌شده تحت تأثیر پیامدهای یک مدل مارکوفی قرار دارند. از HMM می‌توان برای توصیف سیر تحول رخدادهای قابل‌مشاهده‌ای استفاده کرد که به عوامل درونیِ غیرمستقیماً قابل‌مشاهده وابسته‌اند. در یادگیری ماشین (Machine Learning, ML) فرض می‌شود که حالت درونی یک مدل پنهان است، ولی ابرپارامترهای آن پنهان نیستند. ۳۱

• تزریق دستور غیرمستقیم نوعی تزریق دستور (Prompt Injection) که از طریق کنترل منبع (Resource Control) انجام می‌شود، نه از طریق ورودی ارائه‌شده توسط کاربر همانند تزریق دستور مستقیم. 39–41, 50

• نقض یکپارچگی در زمینه AML، اجبار سامانه هوش مصنوعی (AI system) به عملکرد نادرست برخلاف اهداف موردنظر آن، به‌گونه‌ای که خروجی‌ها یا پیش‌بینی‌هایی همسو با هدف مهاجم تولید کند. 6, 40

• J

• دور زدن محدودیت‌های مدل (Jailbreak) نوعی حملهٔ دستوردهی مستقیم (Direct Prompting Attack) که با هدف دور زدن محدودیت‌های اعمال‌شده بر خروجی‌های مدل انجام می‌شود؛ مانند دور زدن رفتار امتناع به‌منظور امکان سوءاستفاده. 34, 38, 42, 43, 52

• L

• برچسب‌گردانی نوعی حمله مسموم‌سازی داده (Data Poisoning) که در آن مهاجم به تغییر برچسب‌های آموزشی محدود است. 20

• محدودیت برچسب قابلیتی که در آن مهاجم کنترلی بر برچسب‌های نمونه‌های آموزشی در یادگیری با نظارت ندارد. 8

• رگرسیون لجستیک نوعی طبقه‌بند خطی که احتمال تعلق یک مشاهده به یک کلاس را پیش‌بینی می‌کند. 5

• machine unlearning (فرایادگیری ماشین) تکنیکی که شامل حذف گزینشی اثرهای داده‌های آموزشی خاص از یک مدل یادگیری ماشین آموزش‌دیده است؛ برای مثال، به‌منظور حذف قابلیت‌ها یا دانش ناخواسته از یک مدل پایه، یا برای آنکه کاربر بتواند درخواست حذف رکوردهای خود را از یک مدل بدهد. تکنیک‌های تقریبی کارآمد فرایادگیری ممکن است نیازی به آموزش مجدد مدل یادگیری ماشین از ابتدا نداشته باشند. 33

• membership-inference attack (حمله استنباط عضویت) حمله‌ای به حریم خصوصی داده‌ها برای تعیین اینکه آیا یک نمونه داده بخشی از مجموعه آموزش یک مدل یادگیری ماشین بوده است یا خیر. 7، 28

• misuse enablement (تسهیل سوءاستفاده) در بستر AML، دورزدن محدودیت‌های فنی که مالک سامانه هوش مصنوعی بر استفاده از آن تحمیل کرده است؛ مانند محدودیت‌هایی که برای جلوگیری از تولید خروجی‌های احتمالاً آسیب‌رسان به دیگران توسط یک سامانه GenAI طراحی شده‌اند. 40

• model control (کنترل مدل) قابلیتی که در آن مهاجم می‌تواند پارامترهای مدل یادگیری ماشین را کنترل کند. 8، 37، 41، 111

• model extraction (استخراج مدل) نوعی حمله به حریم خصوصی که جزئیات معماری مدل و/یا پارامترهای آن را استخراج می‌کند. 7، 28، 31، 40، 41، 47

• model poisoning (مسموم‌سازی مدل) نوعی حمله مسموم‌سازی است که از طریق کنترل مدل عمل می‌کند. 5، 6، 37، 41، 111

• model privacy attacks (حمله‌های حریم خصوصی مدل) حمله‌ای علیه مدل‌های یادگیری ماشین برای استخراج اطلاعات حساس درباره مدل. 7

• multimodal models (مدل‌های چندوجهی) مدلی که اطلاعات را از چندین وجه حسی پردازش کرده و آن‌ها را به هم مرتبط می‌سازد؛ وجوهی که هر یک نماینده کانال‌های اصلی ارتباط و حس انسانی‌اند، مانند بینایی و لامسه. 58

• «خارج از توزیع» (Out-of-Distribution, OOD) داده‌هایی که در زمانی متفاوت و احتمالاً تحت شرایط یا در محیطی متفاوت نسبت به داده‌های گردآوری‌شده برای آموزش مدل، گردآوری شده‌اند. 56

• poisoning attacks حملات مخالفانه‌ای که در آن‌ها مهاجم در مرحلهٔ آموزش (TRAINING STAGE) مدل دخالت می‌کند؛ برای مثال با درج داده‌های آموزشی مخرب (مسموم‌سازی داده) یا تغییر خودِ فرایند آموزش (مسموم‌سازی مدل). 5, 108, 111

• pre-training جزئی از مرحلهٔ آموزش (TRAINING STAGE) که در آن مدل از روی حجم عظیمی از داده‌های برچسب‌خورده‌نشده، الگوها، ویژگی‌ها و روابط عمومی را می‌آموزد؛ برای مثال از طریق یادگیری خودنظارتی (SELF-SUPERVISED LEARNING). پیش‌آموزش می‌تواند مدل‌ها را به دانشی از ویژگی‌ها یا الگوهای عمومی مجهز کند که ممکن است در وظایف پایین‌دستی سودمند باشد (ر.ک. مدل پایه)، و می‌توان پس از آن آموزش اضافی یا ریزتنظیم را دنبال کرد که مدل را برای یک وظیفهٔ پایین‌دستی مشخص تخصصی می‌کند. 37

• privacy compromise در بستر یادگیری ماشین مخالفانه (AML)، دسترسی غیرمجاز به اطلاعات محدودشده یا انحصاری که بخشی از یک سامانه هوش مصنوعی است؛ شامل اطلاعاتی دربارهٔ داده‌های آموزشی، وزن‌ها یا معماری مدل؛ یا اطلاعات حساسی که مدل به آن‌ها دسترسی دارد، مانند پایگاه دانش یک کاربرد تولید تقویت‌شده با بازیابی (RAG) در هوش مصنوعی مولد (GenAI). 7, 40

• prompt extraction حمله‌ای که می‌کوشد دستور سیستم یا دیگر اطلاعات موجود در بسترِ یک مدل زبانی بزرگ (LLM) را آشکار کند؛ اطلاعاتی که به‌طور معمول از کاربر پنهان است. 38, 41

• prompt injection حمله‌ای که از الحاق ورودی ناموثق با دستوری که توسط طرفی با سطح اعتماد بالاتر، مانند طراح کاربرد، ساخته شده است بهره می‌گیرد. 38, 41, 108, 110

• property inference حمله‌ای به حریم خصوصی داده که یک ویژگی سراسری دربارهٔ داده‌های آموزشیِ یک مدل یادگیری ماشین (ML) را استنتاج می‌کند. 7

• query access — قابلیتی که مهاجم می‌تواند از طریق آن به یک مدل یادگیری ماشین (Machine Learning, ML) آموزش‌دیده پرس‌وجو ارسال کند و پیش‌بینی‌ها یا خروجی‌های تولیدشده را دریافت کند. 8, 40, 108

• receiver operating characteristic (ROC) — منحنی مشخصه عملکرد گیرنده (ROC)؛ منحنی‌ای که نرخ مثبت واقعی (TPR) را در برابر نرخ مثبت کاذب (FPR) برای یک طبقه‌بند رسم می‌کند. 107

• red teaming — در زمینه هوش مصنوعی، به تلاشی ساختاریافته برای آزمون اشاره دارد که اغلب با به‌کارگیری روش‌های خصمانه، نقص‌ها و آسیب‌پذیری‌ها (Vulnerabilities) موجود در یک سامانه هوش مصنوعی را پیدا می‌کند؛ از جمله رفتارهای پیش‌بینی‌نشده یا نامطلوب سامانه یا خطرهای بالقوه ناشی از سوءاستفاده از سامانه. [366]. 60

• regression — نوعی مدل یادگیری ماشین نظارت‌شده که روی داده‌ها شامل برچسب‌های عددی (یعنی متغیرهای پاسخ) آموزش می‌بیند. انواع الگوریتم‌های رگرسیون شامل رگرسیون خطی، رگرسیون چندجمله‌ای و روش‌های گوناگون رگرسیون غیرخطی است. 5

• reinforcement learning — نوعی یادگیری ماشین که در آن مدل می‌آموزد رفتار خود را از طریق تعامل با یک محیط و دریافت بازخورد از آن، بر اساس یک تابع پاداش بهینه کند. 5

• resource control — قابلیتی که در آن مهاجم بر یک یا چند منبع خارجی مصرف‌شده توسط یک مدل یادگیری ماشین در زمان استنتاج کنترل دارد؛ به‌ویژه در سیستم‌های GenAI مانند کاربردهای «تولید افزوده با بازیابی» (Retrieval-Augmented Generation, RAG). 41, 50, 108, 110

• retrieval-augmented generation (RAG) — نوعی سیستم GenAI که در آن یک مدل با یک سیستم بازیابی اطلاعات جداگانه (یا «پایگاه دانش») جفت می‌شود. بر اساس پرس‌وجوی کاربر، سیستم RAG اطلاعات مرتبط را در پایگاه دانش شناسایی می‌کند و آن را در قالب زمینه در اختیار مدل GenAI قرار می‌دهد تا مدل در تدوین پاسخ خود از آن استفاده کند. سیستم‌های RAG امکان اصلاح دانش درونی یک مدل GenAI را بدون نیاز به بازآموزی فراهم می‌کنند. 1, 35, 37, 38, 40, 46, 50, 111

• rowhammer attack — حمله تزریق خطای نرم‌افزاری که از خطاهای اغتشاش حافظه دسترسی تصادفی پویا از طریق کاربردهای فضای کاربر بهره می‌برد و به مهاجم امکان می‌دهد درباره برخی رازهای قربانی ذخیره‌شده در خانه‌های حافظه استنتاج کند. اجرای این حمله مستلزم آن است که مهاجم بر یک فرایند غیرممتاز فضای کاربر که روی همان ماشینی که مدل یادگیری ماشین قربانی اجرا می‌شود کنترل داشته باشد. 31

• self-supervised learning نوعی یادگیری ماشین که بر تولید برچسب‌های ضمنی از داده‌های بدون ساختار تکیه می‌کند، نه بر استفاده از برچسب‌های صریحِ ساخته‌شده توسط انسان. تکالیف یادگیری خودنظارتی به‌گونه‌ای ساخته می‌شوند که برچسب‌های واقعی به‌طور خودکار از داده‌های آموزش قابل استنباط باشند (که امکان استفاده از داده‌های آموزش در مقیاس بزرگ را فراهم می‌کند) و حل آن‌ها مستلزم آن باشد که مدل‌ها ویژگی‌ها یا روابط اساسی درون داده‌ها را بازشناسند. برای مثال، یک تکلیف رایج یادگیری خودنظارتی آن است که به مدل داده‌هایی ناقص داده شود و از او خواسته شود باقیمانده را به‌طور دقیق تولید کند. 109, 111

• semi-supervised learning نوعی یادگیری ماشین که در آن تعداد اندکی از نمونه‌های آموزش برچسب‌گذاری شده‌اند، در حالی که اکثریت آن‌ها برچسب ندارند. 5

• shadow model مدلی که رفتار مدل هدف را تقلید می‌کند. برای این مدل‌ها، مجموعه‌داده‌های آموزش و حقیقتِ عضویت در این مجموعه‌داده‌ها شناخته‌شده است.

معمولاً مدل حمله بر روی ورودی‌ها و خروجی‌های برچسب‌دارِ مدل سایه آموزش می‌بیند. 25

• side channel به مهاجم امکان می‌دهد با مشاهده ویژگی‌های غیرعملکردی یک برنامه (مثل زمان اجرا یا حافظه) یا اندازه‌گیری یا بهره‌برداری از اثرات جانبی تصادفی سیستم یا سخت‌افزار آن (مثل تغییرات مصرف توان یا تابش‌های الکترومغناطیسی) در حین اجرای برنامه، اطلاعاتی درباره یک راز استنباط کند. این حملات در بیشتر موارد با هدف بیرون‌کشی اطلاعات حساس، از جمله کلیدهای رمزنگاری، انجام می‌شوند. 31

• source code control توانایی‌ای که در آن مهاجم بر کد منبع یک الگوریتم یادگیری ماشین کنترل دارد. 8

• supervised learning نوعی یادگیری ماشین که در آن مدل می‌آموزد برای داده‌ها برچسب‌ها یا مقادیر خروجیِ صریح (که اغلب توسط انسان تولید شده‌اند) را پیش‌بینی کند. 5

• support vector machines مدل‌هایی که یک تابع تصمیم در قالب یک ابرصفحه را پیاده‌سازی می‌کنند؛ این ابرصفحه به منظور جداسازی (یعنی طبقه‌بندی) مشاهداتِ متعلق به یک کلاس از کلاس دیگر، بر اساس الگوهای اطلاعاتی مربوط به آن مشاهدات (یعنی ویژگی‌ها) عمل می‌کند. 5, 6, 31

• system prompt دستورالعمل‌های مخصوصِ کاربرد که در بستر (in-context) توسط توسعه‌دهنده مدل یا طراح برنامه به یک سیستم GenAI ارائه می‌شود. system promptها معمولاً پیش از سایر ورودی‌ها قرار می‌گیرند و می‌تواند سطح اعتماد آن‌ها بالاتر از سایر اشکال ورودی باشد. 38, 43, 46, 52

• T

• targeted poisoning attack حمله‌ای از نوع «مسموم‌سازی» (Poisoning) که پیش‌بینیِ تعداد اندکی از نمونه‌های هدف‌گذاری‌شده را تغییر می‌دهد. 6, 42

• testing data control توانایی‌ای که در آن مهاجم بر داده‌های آزمونِ ورودی به مدل یادگیری ماشین کنترل دارد. 8

• training data control توانایی‌ای که در آن مهاجم بر بخشی یا تمام داده‌های آموزشِ یک مدل یادگیری ماشین کنترل دارد. 7, 40

• training data extraction توانایی مهاجم در استخراج داده‌های آموزشِ یک مدل مولد از طریق prompt دادن به مدل با ورودی‌های خاص. 7, 46

• training stage مرحله‌ای از خط لوله یادگیری ماشین که در آن مدل پارامترهایی را می‌آموزد که خطای آن را نسبت به یک تابع هدف، بر پایه داده‌های آموزش، به کمینه برسانند. 5, 37, 111

• trojan در حوزه یادگیری ماشین، تغییری مخرب در یک مدل که تشخیص آن دشوار است و ممکن است بی‌ضرر به نظر برسد، اما می‌تواند با دریافت سیگنالی از مهاجم، کارکرد مقصود سیستم را تغییر داده و رفتاری مخرب و مطلوبِ مهاجم ایجاد کند. برای اثربخش بودن حملات Trojan، محرک باید در محیط عملیاتی عادی نادر باشد تا بر اثربخشی عادی هوش مصنوعی اثر نگذارد و کاربران را به شک نیفکند. در حوزه یادگیری ماشین، اصطلاح trojan ممکن است به‌جای «الگوی درِ پشتی» (backdoor pattern) به‌طور جایگزین به کار رود. 2

• unsupervised learning نوعی یادگیری ماشین که در آن مدل بر پایه الگوهای موجود در داده‌های بدون برچسب یاد می‌گیرد؛ مانند یادگیری تابعی برای خوشه‌بندی یا گروه‌بندی نقاط داده. 5