چارچوب مدیریت ریسک هوش مصنوعی (AI RMF 1.0)

برنامه به‌روزرسانی و نسخه‌ها

چارچوب مدیریت ریسک هوش مصنوعی (AI RMF) قرار است سندی زنده و در حال تحول باشد.

NIST محتوا و کاربردی بودن چارچوب را به‌طور منظم بازبینی خواهد کرد تا مشخص شود آیا به‌روزرسانی مناسب است یا خیر؛ انتظار می‌رود بازبینی با مشارکت رسمی جامعه هوش مصنوعی حداکثر تا سال ۲۰۲۸ انجام شود. چارچوب از سیستم نسخه‌گذاری دومرحله‌ای برای ردیابی و شناسایی تغییرات بزرگ و کوچک استفاده خواهد کرد. عدد نخست نشان‌دهنده نسل چارچوب مدیریت ریسک هوش مصنوعی و اسناد همراه آن است (مانند 1.0) و تنها با بازنگری‌های بزرگ تغییر خواهد کرد. بازنگری‌های کوچک با پسوند «.n» پس از شماره نسل ردیابی می‌شوند (مانند 1.1). تمامی تغییرات با استفاده از جدول کنترل نسخه‌ها ردیابی خواهند شد که سابقه آن‌ها را مشخص می‌کند؛ از جمله شماره نسخه، تاریخ تغییر و شرح تغییر. NIST قصد دارد کتاب راهنمای چارچوب مدیریت ریسک هوش مصنوعی را به‌طور مکرر به‌روزرسانی کند. نظرات درباره کتاب راهنمای چارچوب مدیریت ریسک هوش مصنوعی می‌توانند در هر زمان از طریق ایمیل به آدرس AIframework@nist.gov ارسال شوند و به‌صورت شش‌ماهه بازبینی و ادغام خواهند شد.

فناوری‌های هوش مصنوعی (Artificial Intelligence, AI) پتانسیل چشمگیری برای دگرگون‌کردن جامعه و زندگی انسان‌ها دارند — از تجارت و سلامت گرفته تا حمل‌ونقل و امنیت سایبری و تا محیط‌زیست و سیاره ما. فناوری‌های هوش مصنوعی می‌توانند رشد اقتصادی فراگیر را پیش ببرند و از پیشرفت‌های علمی که شرایط جهان ما را بهبود می‌بخشد پشتیبانی کنند. با این حال، فناوری‌های هوش مصنوعی ریسک‌هایی نیز به‌همراه دارند که می‌توانند تأثیر منفی بر افراد، گروه‌ها، سازمان‌ها، جامعه‌ها، محیط‌زیست و سیاره زمین بگذارند. مانند ریسک‌های انواع دیگر فناوری، ریسک‌های هوش مصنوعی می‌توانند به شیوه‌های گوناگونی پدید آیند و می‌توان آن‌ها را بلندمدت یا کوتاه‌مدت، با احتمال بالا یا پایین، سامانه‌ای یا موضعی، و با اثرگذاری بالا یا پایین توصیف کرد.

چارچوب مدیریت ریسک هوش مصنوعی (AI RMF) سامانه هوش مصنوعی (AI system) را به‌صورت سیستمی مهندسی‌شده یا ماشین‌محور تعریف می‌کند که می‌تواند برای مجموعه‌ای معین از اهداف، خروجی‌هایی مانند پیش‌بینی‌ها، توصیه‌ها یا تصمیم‌هایی تولید کند که بر محیط‌های واقعی یا مجازی اثر می‌گذارند. سامانه‌های هوش مصنوعی به‌گونه‌ای طراحی می‌شوند که با سطوح گوناگونی از خودمختاری کار کنند (اقتباس‌شده از: OECD Recommendation on AI:2019؛ ISO/IEC 22989:2022).

در حالی که استانداردها و رویه‌های برتر فراوانی برای کمک به سازمان‌ها در کاهش ریسک‌های نرم‌افزارهای سنتی یا سیستم‌های اطلاعاتی وجود دارد، ریسک‌هایی که سامانه‌های هوش مصنوعی ایجاد می‌کنند از جهات بسیاری منحصربه‌فردند (ر.ک. پیوست B). برای مثال، سامانه‌های هوش مصنوعی ممکن است با داده‌هایی آموزش ببینند که در گذر زمان — گاهی به‌طور چشمگیر و غیرمنتظره — تغییر می‌کنند و بر کارکرد و قابلیت اعتماد (Trustworthiness) سامانه به شیوه‌هایی دشوارفهم اثر می‌گذارند. سامانه‌های هوش مصنوعی و بسترهایی که در آن‌ها مستقر می‌شوند اغلب پیچیده‌اند و همین امر کشف و پاسخ‌گویی به خرابی‌ها را هنگام رخ‌دادن دشوار می‌سازد. سامانه‌های هوش مصنوعی ذاتاً ماهیتی اجتماعی‌ـ‌فناورانه (Socio-technical) دارند؛ یعنی تحت تأثیر پویایی‌های اجتماعی و رفتار انسانی هستند. ریسک‌های هوش مصنوعی — و نیز منافع آن — می‌توانند از تعامل جنبه‌های فنی در ترکیب با عوامل اجتماعیِ مرتبط با نحوه استفاده از سامانه، تعامل آن با سایر سامانه‌های هوش مصنوعی، کنشگران بهره‌بردار از آن، و بافت اجتماعی‌ای که در آن مستقر می‌شود پدید آیند.

این ریسک‌ها، هوش مصنوعی را به فناوری‌ای با چالش‌های منحصربه‌فرد در استقرار (Deployment) و بهره‌برداری، هم برای سازمان‌ها و هم در سطح جامعه، تبدیل می‌کند. در نبود کنترل‌های مناسب، سامانه‌های هوش مصنوعی می‌توانند پیامدهای نابرابر یا نامطلوب برای افراد و جامعه‌ها را تقویت، تداوم بخشند یا وخیم‌تر کنند. با کنترل‌های مناسب، سامانه‌های هوش مصنوعی می‌توانند پیامدهای نابرابر را کاهش داده و مدیریت کنند.

مدیریت ریسک (Risk management) هوش مصنوعی مؤلفه‌ای کلیدی در توسعه و استفاده مسئولانه از سامانه‌های هوش مصنوعی است. رویه‌های هوش مصنوعی مسئولانه می‌توانند تصمیم‌های مربوط به طراحی، توسعه و کاربردهای سامانه هوش مصنوعی را با هدف و ارزش‌های موردنظر هم‌راستا کنند. مفاهیم محوری در هوش مصنوعی مسئولانه بر انسان‌محوری، مسئولیت اجتماعی (Social responsibility) و پایداری (Sustainability) تأکید دارند. مدیریت ریسک هوش مصنوعی می‌تواند کاربردها و رویه‌های مسئولانه را پیش ببرد؛ آن‌که سازمان‌ها و تیم‌های درونی‌شان را که هوش مصنوعی را طراحی، توسعه و مستقر می‌کنند به تفکر انتقادی بیشتر درباره بافت و پیامدهای منفی و مثبتِ بالقوه یا غیرمنتظره برمی‌انگیزد. فهم و مدیریت ریسک‌های سامانه‌های هوش مصنوعی به تقویت قابلیت اعتماد کمک خواهد کرد و به‌تبع آن، اعتماد عمومی را پرورش می‌دهد.

مسئولیت اجتماعی می‌تواند به مسئولیت سازمان «در قبال اثرهای تصمیم‌ها و فعالیت‌هایش بر جامعه و محیط‌زیست از طریق رفتار شفاف و اخلاقی» اشاره کند (ISO 26000:2010). پایداری به «وضعیت سیستم جهانی، شامل جنبه‌های زیست‌محیطی، اجتماعی و اقتصادی، که در آن نیازهای حال برآورده می‌شود بدون آنکه توانایی نسل‌های آینده در برآوردن نیازهایشان به خطر افتد» اشاره دارد (ISO/IEC TR 24368:2022). هوش مصنوعی مسئولانه قرار است به فناوری‌ای بینجامد که عادلانه و پاسخ‌گو نیز باشد. انتظار این است که رویه‌های سازمانی مطابق با «مسئولیت حرفه‌ای» (professional responsibility) انجام شود؛ مفهومی که ISO آن را رویکردی تعریف می‌کند که «هدفش تضمین این است که حرفه‌مندانی که سامانه‌ها و کاربردهای هوش مصنوعی یا محصولات و سیستم‌های مبتنی بر هوش مصنوعی را طراحی، توسعه یا مستقر می‌کنند، جایگاه منحصربه‌فرد خود را در اعمال نفوذ بر مردم، جامعه و آینده هوش مصنوعی بازشناسند» (ISO/IEC TR 24368:2022).

مطابق مصوبه National Artificial Intelligence Initiative Act of 2020 (P.L. 116-283)، هدف چارچوب مدیریت ریسک هوش مصنوعی آن است که منبعی در اختیار سازمان‌هایی قرار دهد که سامانه‌های هوش مصنوعی را طراحی، توسعه، مستقر یا بهره‌برداری می‌کنند تا به مدیریت ریسک‌های فراوان هوش مصنوعی کمک کرده و توسعه و استفاده مسئولانه و قابل‌اعتماد از سامانه‌های هوش مصنوعی را ارتقا دهد. این چارچوب قرار است داوطلبانه (voluntary)، حافظِ حقوق، غیرخاصِ بخش صنعتی و مستقل از کاربرد باشد و انعطاف لازم را برای سازمان‌هایی از هر اندازه و در همه بخش‌ها و در سراسر جامعه فراهم آورد تا رویکردهای مطرح‌شده در چارچوب را پیاده‌سازی کنند.

این چارچوب به‌گونه‌ای طراحی شده است که سازمان‌ها و افراد — که در اینجا کنشگران هوش مصنوعی (AI actors) نامیده می‌شوند — را با رویکردهایی تجهیز کند که قابلیت اعتماد سامانه‌های هوش مصنوعی را افزایش می‌دهد و به تقویت طراحی، توسعه، استقرار و استفاده مسئولانه از سامانه‌های هوش مصنوعی در گذر زمان کمک کند. کنشگران (Actors) هوش مصنوعی از سوی سازمان همکاری و توسعه اقتصادی (OECD) چنین تعریف شده‌اند: «کسانی که نقشی فعال در چرخه حیات سامانه هوش مصنوعی ایفا می‌کنند، از جمله سازمان‌ها و افرادی که هوش مصنوعی را مستقر یا بهره‌برداری می‌کنند» [OECD (2019) Artificial Intelligence in Society—OECD iLibrary] (ر.ک. پیوست A).

چارچوب مدیریت ریسک هوش مصنوعی (AI RMF) به‌گونه‌ای طراحی شده است که کاربردی باشد، با چشم‌انداز هوش مصنوعی هم‌گام با توسعه مستمر فناوری‌های هوش مصنوعی سازگار شود و توسط سازمان‌ها با درجات و توانایی‌های متفاوت عملیاتی شود تا جامعه بتواند از هوش مصنوعی بهره‌مند شود و هم‌زمان از آسیب‌های بالقوه آن محافظت شود.

این چارچوب و منابع پشتیبان آن بر اساس تحولات فناوری، چشم‌انداز استانداردها در سراسر جهان، و تجربه‌ها و بازخوردهای جامعه هوش مصنوعی به‌روزرسانی، گسترش و بهبود خواهند یافت. مؤسسه ملی استاندارد و فناوری آمریکا (NIST) همچنین به هم‌راستاسازی چارچوب مدیریت ریسک هوش مصنوعی و راهنماهای مرتبط با استانداردها، رهنمودها و رویه‌های بین‌المللی قابل اعمال ادامه خواهد داد. با به‌کارگیری چارچوب مدیریت ریسک هوش مصنوعی، درس‌های بیشتری آموخته خواهد شد تا مبنایی برای به‌روزرسانی‌های آتی و منابع تکمیلی فراهم آید.

این چارچوب به دو بخش تقسیم می‌شود. بخش ۱ نحوه چارچوب‌بندی ریسک‌های مرتبط با هوش مصنوعی توسط سازمان‌ها را بررسی و مخاطبان هدف را معرفی می‌کند. سپس ریسک‌ها و قابلیت اعتماد هوش مصنوعی تحلیل می‌شوند و ویژگی‌های سامانه‌های هوش مصنوعی اعتمادپذیر تبیین می‌گردد؛ این ویژگی‌ها عبارت‌اند از: معتبر و پایا بودن، ایمن بودن، امن و تاب‌آور بودن، پاسخ‌گو و شفاف بودن، توضیح‌پذیر و تفسیرپذیر بودن، تقویت‌شده از نظر حریم خصوصی بودن، و منصفانه بودن همراه با مدیریت سوگیری‌های زیان‌بار آن.

بخش ۲ «هسته» چارچوب را در بر می‌گیرد. این بخش چهار کارکرد مشخص را توصیف می‌کند که به سازمان‌ها در پرداختن عملی به ریسک‌های سامانه‌های هوش مصنوعی کمک می‌کنند. این کارکردها – حاکمیت (GOVERN)، نگاشت (MAP)، سنجش (MEASURE) و مدیریت (MANAGE) – به دسته‌ها و زیردسته‌هایی تقسیم می‌شوند. در حالی که کارکرد حاکمیت بر همه مراحل فرایندها و رویه‌های مدیریت ریسک هوش مصنوعی سازمان‌ها قابل‌اجرا است، کارکردهای نگاشت، سنجش و مدیریت را می‌توان در بسترهای اختصاصی هر سامانه هوش مصنوعی و در مراحل مشخص چرخه حیات هوش مصنوعی به‌کار گرفت.

منابع تکمیلی مرتبط با این چارچوب در کتاب راهنمای چارچوب مدیریت ریسک هوش مصنوعی (AI RMF Playbook) گردآوری شده که از طریق وب‌سایت NIST AI RMF در دسترس است:

https://www.nist.gov/itl/ai-risk-management-framework.

توسعه چارچوب مدیریت ریسک هوش مصنوعی توسط NIST در همکاری با بخش خصوصی و عمومی، با تلاش‌های گسترده‌تر NIST در حوزه هوش مصنوعی که در «قانون ابتکار ملی هوش مصنوعی ۲۰۲۰» (National AI Initiative Act of 2020)، توصیه‌های «کمیسیون ملی امنیت در حوزه هوش مصنوعی» (National Security Commission on Artificial Intelligence) و «طرح مشارکت فدرال در توسعه استانداردهای فنی و ابزارهای مرتبط» (Plan for Federal Engagement in Developing Technical Standards and Related Tools) خواسته شده است، هدایت می‌شود و با آن سازگار است. تعامل با جامعه هوش مصنوعی در جریان توسعه این چارچوب – از طریق پاسخ‌های ارسالی به یک درخواست رسمی اطلاعات، سه کارگاه با حضور گسترده، نظرات عمومی درباره یک سند مفهومی و دو پیش‌نویس از چارچوب، گفت‌وگوها در انجمن‌های عمومی متعدد، و بسیاری از جلسات گروه‌های کوچک – توسعه چارچوب مدیریت ریسک هوش مصنوعی 1.0 و نیز پژوهش، توسعه و ارزیابی هوش مصنوعی انجام‌شده توسط NIST و دیگران را شکل داده است. پژوهش‌های اولویت‌دار و راهنماهای تکمیلی که این چارچوب را تقویت خواهند کرد، در «نقشه راه چارچوب مدیریت ریسک هوش مصنوعی» (AI Risk Management Framework Roadmap) مرتبط ثبت خواهند شد که NIST و جامعه گسترده‌تر می‌توانند در آن مشارکت کنند.