شیوه‌های توسعهٔ نرم‌افزار امن برای هوش مصنوعی مولد و مدل‌های بنیادین دومَنظوره

• [1] Executive Order 14110 (2023) Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. (The White House, Washington, DC)، DCPD-202300949، اکتبر ۳۰، ۲۰۲۲. قابل دسترس در https://www.govinfo.gov/app/details/DCPD-202300949

• [2] National Institute of Standards and Technology (2023) Artificial Intelligence Risk Management Framework (AI RMF 1.0). (National Institute of Standards and Technology, Gaithersburg, MD) گزارش هوش مصنوعی مؤسسه ملی استاندارد و فناوری (NIST AI)، NIST AI 100-1. https://doi.org/10.6028/NIST.AI.100-1

• [3] Vassilev A, Oprea A, Fordyce A, Anderson H (2024) یادگیری ماشین خصمانه (Adversarial Machine Learning): رده‌بندی و واژگان حملات و اقدامات کاهشی. (National Institute of Standards and Technology, Gaithersburg, MD) گزارش هوش مصنوعی مؤسسه ملی استاندارد و فناوری (NIST AI)، NIST AI 1002e2023. https://doi.org/10.6028/NIST.AI.100-2e2023

• [4] Schwartz R, Vassilev A, Greene K, Perine L, Burt A, Hall P (2022) Towards a Standard for Identifying and Managing Bias in Artificial Intelligence. (National Institute of Standards and Technology, Gaithersburg, MD)، انتشار ویژه NIST (SP) 1270. https://doi.org/10.6028/NIST.SP.1270

• [5] NIST (2024) Dioptra. (National Institute of Standards and Technology, Gaithersburg, MD.) قابل دسترس در https://pages.nist.gov/dioptra/

• [6] Souppaya MP, Scarfone KA, Dodson DF (2022) چارچوب توسعهٔ امن نرم‌افزار (SSDF) نسخهٔ ۱٫۱: توصیه‌هایی برای کاهش ریسک آسیب‌پذیری‌های نرم‌افزار. (National Institute of Standards and Technology, Gaithersburg, MD)، انتشار ویژه NIST (SP) 800-218. https://doi.org/10.6028/NIST.SP.800-218

• [7] فرمان اجرایی (Executive Order) 14028 (2021) بهبود امنیت سایبری کشور. (The White House, Washington, DC)، DCPD-202100401، مه ۱۲، ۲۰۲۱. قابل دسترس در https://www.govinfo.gov/app/details/DCPD-202100401

• [8] National Institute of Standards and Technology (2024) The NIST Cybersecurity Framework (CSF) 2.0 (National Institute of Standards and Technology, Gaithersburg, MD). https://doi.org/10.6028/NIST.CSWP.29

• [9] Joint Task Force (2020) Security and Privacy Controls for Information Systems and Organizations. (National Institute of Standards and Technology, Gaithersburg, MD)، انتشار ویژه NIST (SP) 800-53، Rev. 5. شامل به‌روزرسانی‌های تا تاریخ دسامبر ۱۰، ۲۰۲۰. https://doi.org/10.6028/NIST.SP.800-53r5

• [10] Boyens JM, Smith AM, Bartol N, Winkler K, Holbrook A, Fallon M (2022) Cybersecurity Supply Chain Risk Management Practices for Systems and Organizations. (National Institute of Standards and Technology, Gaithersburg, MD)، انتشار ویژه NIST (SP) 800-161r1. https://doi.org/10.6028/NIST.SP.800-161r1

• [11] NIST (2023) کتاب راهنمای چارچوب مدیریت ریسک هوش مصنوعی NIST. (National Institute of Standards and Technology, Gaithersburg, MD.) قابل دسترس در https://airc.nist.gov/AI_RMF_Knowledge_Base/Playbook

• [12] National Institute of Standards and Technology (2024) Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. (National Institute of

Standards and Technology, Gaithersburg, MD)، گزارش هوش مصنوعی مؤسسه ملی استاندارد و فناوری (NIST AI)، NIST AI 600-1. قابل دسترس در https://airc.nist.gov/docs/NIST.AI.600-1.GenAI-Profile.ipd.pdf

• [13] National Institute of Standards and Technology (2020) NIST Privacy Framework: A Tool for Improving Privacy Through Enterprise Risk Management, Version 1.0. (National Institute of Standards and Technology, Gaithersburg, MD)، سفیدمقاله امنیت سایبری NIST (CSWP) با شناسه NIST CSWP 10. https://doi.org/10.6028/NIST.CSWP.10

• [14] Stine KM, Quinn SD, Witte GA, Gardner RK (2020) یکپارچه‌سازی امنیت سایبری و مدیریت ریسک سازمانی (ERM). (National Institute of Standards and Technology, Gaithersburg, MD)، گزارش داخلی (IR) با شناسه NIST IR 8286. https://doi.org/10.6028/NIST.IR.8286

• [15] OWASP (2023) OWASP Top 10 for LLM Applications Version 1.1. قابل دسترس در https://llmtop10.com

• [16] Waltermire DA, Scarfone KA, Casipe M (2011) مشخصات زبان تعاملی فهرست بازبینی باز (OCIL) نسخهٔ ۲٫۰. (National Institute of Standards and Technology, Gaithersburg, MD)، گزارش داخلی (IR) با شناسه NIST IR 7692. https://doi.org/10.6028/NIST.IR.7692

• [17] Ross RS, McEvilley M, Winstead M (2022) مهندسی سیستم‌های امن و قابل‌اعتماد. (National Institute of Standards and Technology, Gaithersburg, MD)، انتشار ویژه NIST (SP) با شناسه NIST SP 800-160v1r1. https://doi.org/10.6028/NIST.SP.800-160v1r1

• [18] NIST/SEMATECH (2012) EDA چیست؟ کتاب راهنمای آمار مهندسی، ویراستاران Croarkin C, Tobias P (National Institute of Standards and Technology, Gaithersburg, MD)، بخش 1.1.1. قابل دسترس در https://www.itl.nist.gov/div898/handbook/eda/section1/eda11.htm

• [19] Reznik L (2022) Intelligent Security Systems: How Artificial Intelligence, Machine Learning and Data Science Work For and Against Computer Security. (Wiley-IEEE Press.) قابل دسترس در https://ieeexplore.ieee.org/book/9562694

هوش مصنوعی (Artificial Intelligence, AI)

سیستمی مبتنی بر ماشین که می‌تواند برای مجموعه‌ای معین از اهداف تعریف‌شده توسط انسان، پیش‌بینی‌ها، توصیه‌ها یا تصمیم‌هایی تأثیرگذار بر محیط‌های واقعی یا مجازی ارائه دهد. [1]

مدل هوش مصنوعی (AI Model)

مؤلفه‌ای از یک سیستم اطلاعاتی که فناوری هوش مصنوعی را پیاده‌سازی می‌کند و برای تولید خروجی‌ها از مجموعه‌ای معین از ورودی‌ها، از تکنیک‌های محاسباتی، آماری یا یادگیری ماشین بهره می‌گیرد. [1]

تیم قرمز هوش مصنوعی (AI Red-Teaming)

کوششی ساختاریافته برای یافتن نقص‌ها و آسیب‌پذیری‌ها در یک سامانه هوش مصنوعی که غالباً در محیطی کنترل‌شده و با همکاری توسعه‌دهندگان هوش مصنوعی انجام می‌شود. [1]

سامانه هوش مصنوعی (AI System)

هر سیستم داده، نرم‌افزار، سخت‌افزار، کاربرد، ابزار یا سودمندی که به‌طور کامل یا جزئی با استفاده از هوش مصنوعی عمل می‌کند. [1]

علم داده (Data Science)

حوزه‌ای که تخصص دامنه، مهارت‌های برنامه‌نویسی، و دانش ریاضیات و آمار را برای استخراج بینش‌های معنادار از داده‌ها ترکیب می‌کند. [19]

مدل پایه دوکاربردی (Dual-Use Foundation Model)

مدلی از هوش مصنوعی که روی داده‌های گسترده آموزش دیده است؛ به‌طور کلی از خودنظارتی استفاده می‌کند؛ دست‌کم ده‌ها میلیارد پارامتر دارد؛ در طیف گسترده‌ای از زمینه‌ها کاربردپذیر است؛ و سطح بالایی از عملکرد را در تکالیفی که ریسک جدی برای امنیت، امنیت اقتصادی ملی، سلامت یا ایمنی عمومی ملی، یا هر ترکیبی از این امور ایجاد می‌کنند، بروز می‌دهد یا به‌سادگی می‌توان آن را طوری اصلاح کرد که چنین عملکردی بروز دهد؛ برای مثال از طریق موارد زیر:

• (i) کاهش اساسی مانع ورود برای غیرمتخصص‌ها در طراحی، سنتز، کسب یا استفاده از سلاح‌های شیمیایی، زیستی، پرتوزا یا هسته‌ای (CBRN)؛

• (ii) امکان‌پذیر ساختن عملیات تهاجمی قدرتمند سایبری از طریق کشف و بهره‌برداری خودکار از آسیب‌پذیری‌ها در برابر طیف گسترده‌ای از اهداف بالقوه حملات سایبری؛ یا

• (iii) امکان‌دادن به گریز از کنترل یا نظارت انسانی از طریق فریب یا مبهم‌سازی.

مدل‌ها حتی در صورتی که با ضمانت‌های فنی ارائه شوند که تلاش می‌کند از بهره‌گیری کاربران نهایی از قابلیت‌های ناایمن مربوطه جلوگیری کند، با این تعریف منطبق‌اند. [1]

هوش مصنوعی مولد (Generative Artificial Intelligence)

رده‌ای از مدل‌های هوش مصنوعی که ساختار و ویژگی‌های داده‌های ورودی را تقلید می‌کنند تا محتوای مصنوعی مشتق‌شده تولید کنند. این محتوا می‌تواند شامل تصویر، ویدیو، صدا، متن و سایر محتوای دیجیتال باشد. [1]

وزن مدل (Model Weight)

پارامتری عددی درون یک مدل هوش مصنوعی که در تعیین خروجی‌های مدل در پاسخ به ورودی‌ها نقش دارد. [1]

منشأ (Provenance)

فراداده‌ای مربوط به منشأ یا منبع داده‌های مشخص‌شده. [13]