رفتن به محتوای اصلی
کهن‌دژکتاب مرجع هوش مصنوعی
منابعاعتبارسنجی
فهرست این فصلبخش ۲، فصل ۸ — صفحهٔ ۲ از ۵

بخش ۲، فصل ۸ — صفحهٔ ۲ از ۵

چارچوب مدیریت ریسک هوش مصنوعی (AI RMF 1.0)

متن اصلی فارسی با منشأ، شناسه و پیوند استناد پایدار.

بخش ۱: اطلاعات بنیادین

بخش ۱ از ۲ — این بخش طولانی است و در چند صفحه آمده است.

ترجمهٔ منبع

۱. چارچوب‌بندی ریسک

«مدیریت ریسک» هوش مصنوعی (AI risk management) مسیری برای کمینه‌کردن اثرات بالقوه منفی سیستم‌های هوش مصنوعی، مانند تهدیدهایی نسبت به آزادی‌ها و حقوق مدنی، فراهم می‌آورد و در عین حال فرصت‌هایی برای بیشینه‌کردن اثرات مثبت ایجاد می‌کند. مواجهه‌شدن، مستندسازی، و مدیریت اثربخش ریسک‌های هوش مصنوعی و اثرات بالقوه منفی آن می‌تواند به سیستم‌های «هوش مصنوعی اعتمادپذیر»‌تر (Trustworthy AI) بینجامد.

۱.۱ فهم و پرداختن به ریسک‌ها، تأثیرات و آسیب‌ها

در چارچوب مدیریت ریسک هوش مصنوعی (AI RMF)، «ریسک» به سنجش ترکیبیِ احتمال وقوع یک رویداد و بزرگی یا درجهٔ پیامدهای آن رویداد اشاره دارد. تأثیرات، یا پیامدهای، سیستم‌های هوش مصنوعی می‌توانند مثبت، منفی یا هر دو باشند و می‌توانند به فرصت‌ها یا تهدیدها بینجامند (برگرفته از: ISO 31000:2018). هنگام بررسی تأثیر منفیِ یک رویداد بالقوه، ریسک تابعی است از ۱) تأثیر منفی، یا بزرگی آسیب، که در صورت وقوع آن شرایط یا رویداد پدید می‌آید و ۲) احتمال وقوع (برگرفته از: OMB Circular A-130:2016). تأثیر منفی یا آسیب را می‌توانند افراد، گروه‌ها، اجتماعات، سازمان‌ها، جامعه، محیط‌زیست و سیاره تجربه کنند.

«مدیریت ریسک به مجموعه فعالیت‌های هماهنگ برای هدایت و کنترل یک سازمان در ارتباط با ریسک اشاره دارد» (منبع: ISO 31000:2018).

در حالی که فرایندهای مدیریت ریسک عموماً بر تأثیرات منفی تمرکز دارند، این چارچوب رویکردهایی برای به حداقل رساندن تأثیرات منفیِ مورد انتظار سیستم‌های هوش مصنوعی و شناسایی فرصت‌هایی برای به حداکثر رساندن تأثیرات مثبت ارائه می‌دهد. مدیریت مؤثر ریسکِ آسیب‌های بالقوه می‌تواند به سیستم‌های هوش مصنوعی اعتمادپذیرتر بینجامد و منافع بالقوه‌ای برای افراد (افراد، اجتماعات و جامعه)، سازمان‌ها و سیستم‌ها/اکوسیستم‌ها آزاد کند. مدیریت ریسک می‌تواند به توسعه‌دهندگان و کاربران هوش مصنوعی کمک کند تأثیرات را درک کنند و محدودیت‌ها و عدم قطعیت‌های ذاتیِ مدل‌ها و سیستم‌های خود را در نظر بگیرند، که این خود می‌تواند عملکرد کلی سیستم، قابلیت اعتماد و احتمال به‌کارگیری فناوری‌های هوش مصنوعی به شیوه‌های سودمند را بهبود بخشد.

AI RMF به‌گونه‌ای طراحی شده است که خطرهای جدید را در هنگام پیدایش آن‌ها پوشش دهد. این انعطاف‌پذیری به‌ویژه در جایی که تأثیرات به‌سادگی قابل پیش‌بینی نیستند و کاربردها در حال تحولاند، اهمیت دارد. در حالی که برخی از خطرها و منافع هوش مصنوعی به‌خوبی شناخته‌شده‌اند، ارزیابی تأثیرات منفی و درجهٔ آسیب‌ها می‌تواند چالش‌برانگیز باشد. شکل ۱ نمونه‌هایی از آسیب‌های بالقوه‌ای را نشان می‌دهد که می‌توانند به سیستم‌های هوش مصنوعی مربوط باشند.

در تلاش‌های مدیریت ریسک هوش مصنوعی بهتر است در نظر گرفته شود که انسان‌ها ممکن است فرض کنند سیستم‌های هوش مصنوعی کار می‌کنند — و در همه شرایط به‌خوبی کار می‌کنند. برای نمونه، چه درست باشد یا نادرست، سیستم‌های هوش مصنوعی غالباً عینی‌تر از انسان‌ها یا دارای توانمندی‌های بیشتر از نرم‌افزارهای عمومی تصور می‌شوند.

تصویر در نسخهٔ PDF Fig. 1. Examples of potential harms related to AI systems. Trustworthy AI systems and their responsible use can mitigate negative risks and contribute to benefits for people, organizations, and ecosystems.

شکل ۱. نمونه‌هایی از آسیب‌های بالقوهٔ مربوط به سیستم‌های هوش مصنوعی. سیستم‌های هوش مصنوعی اعتمادپذیر و استفادهٔ مسئولانه از آن‌ها می‌تواند خطرهای منفی را کاهش دهد و به منافع افراد، سازمان‌ها و اکوسیستم‌ها کمک کند.

1.2 چالش‌های مدیریت ریسک برای «هوش مصنوعی» (AI)

چندین چالش در ادامه شرح داده شده است. هنگام مدیریت خطرها در مسیر دستیابی به «قابلیت اعتماد» (Trustworthiness) در هوش مصنوعی، بهتر است این چالش‌ها در نظر گرفته شوند.

1.2.1 سنجش ریسک

ریسک‌ها یا خطاهای هوش مصنوعی که به‌خوبی تعریف نشده یا به‌اندازه کافی فهمیده نشده‌اند، به‌سختی به‌صورت کمی یا کیفی سنجیده می‌شوند. ناتوانی در سنجش مناسب ریسک‌های هوش مصنوعی به این معنا نیست که یک «سامانه هوش مصنوعی» (AI system) لزوماً ریسک بالا یا پایینی دارد. برخی از چالش‌های سنجش ریسک عبارت‌اند از:

ریسک‌های مرتبط با نرم‌افزار، سخت‌افزار و داده‌های «طرف ثالث» (Third-Party): داده‌ها یا سیستم‌های طرف ثالث می‌توانند پژوهش و توسعه را تسریع کنند و گذار فناوری را تسهیل نمایند. همچنین ممکن است سنجش ریسک را پیچیده کنند. ریسک می‌تواند هم از خودِ داده، نرم‌افزار یا سخت‌افزار طرف ثالث و هم از نحوه استفاده از آن پدید آید. سنجه‌ها یا روش‌شناسی‌های ریسک که سازمانِ توسعه‌دهنده سامانه هوش مصنوعی به‌کار می‌برد، ممکن است با سنجه‌ها یا روش‌شناسی‌های به‌کاررفته توسط سازمانِ مسئول «استقرار یا بهره‌برداری» (deploying or operating) از سامانه هم‌راستا نباشد. همچنین ممکن است سازمان توسعه‌دهنده سامانه هوش مصنوعی درباره سنجه‌ها یا روش‌شناسی‌های ریسک مورد استفاده خود شفاف عمل نکند. سنجش و «مدیریت» (Manage) ریسک می‌تواند به‌واسطه نحوه استفاده مشتریان از داده‌ها یا سیستم‌های طرف ثالث یا یکپارچه‌سازی آن‌ها در محصولات یا خدمات هوش مصنوعی پیچیده شود، به‌ویژه در نبود ساختارهای کافی «حکمرانی» (Governance) درونی و تدابیر حفاظتی فنی. با این حال، همه طرف‌ها و «کنشگران هوش مصنوعی» (AI actors) بهتر است ریسک را در سامانه‌هایی که توسعه می‌دهند، مستقر می‌کنند یا به‌کار می‌گیرند — چه به‌صورت مستقل و چه به‌عنوان اجزای یکپارچه — مدیریت کنند.

«رهگیری» (tracking) ریسک‌های نوظهور: تلاش‌های «مدیریت ریسک» (Risk management) سازمان‌ها از طریق شناسایی و رهگیری ریسک‌های نوظهور و درنظرگرفتن تکنیک‌هایی برای سنجش آن‌ها تقویت خواهد شد.

رویکردهای «ارزیابی تأثیر» (Impact Assessment) سامانه هوش مصنوعی می‌توانند به کنشگران هوش مصنوعی کمک کنند تأثیرها یا آسیب‌های بالقوه را در زمینه‌های خاص درک کنند.

دسترس‌پذیری سنجه‌های قابل‌اتکا: فقدان اجماع کنونی درباره روش‌های قوی و قابل‌راستی‌آزماییِ سنجش ریسک و «قابلیت اعتماد» (Trustworthiness)، و کاربردپذیری آن‌ها در موارد استفاده مختلف هوش مصنوعی، یک چالش سنجش ریسک هوش مصنوعی است. از دام‌های احتمالی هنگام تلاش برای سنجش ریسک منفی یا آسیب‌ها، این واقعیت است که توسعه «سنجه‌ها» (Metrics) اغلب یک تلاش نهادی است و ممکن است ناخواسته عواملی نامرتبط با تأثیر بنیادین را منعکس کند. افزون بر این، رویکردهای سنجش می‌توانند بیش‌ازحد ساده‌سازی شوند، بازی داده شوند، ظرافت‌های حیاتی را از دست بدهند، به شیوه‌های پیش‌بینی‌نشده مبنای اتکا قرار گیرند، یا تفاوت‌های گروه‌های متأثر و زمینه‌ها را درنظر نگیرند.

رویکردهای سنجش تأثیرها بر یک جمعیت زمانی بهترین کارکرد را دارند که تصدیق کنند که زمینه‌ها اهمیت دارند، که آسیب‌ها ممکن است گروه‌ها یا زیرگروه‌های گوناگون را به‌شکلی متفاوت متأثر سازند، و اینکه جوامع یا زیرگروه‌های دیگری که ممکن است آسیب ببینند، لزوماً کاربران مستقیم یک سامانه نیستند.

ریسک در مرحله‌های مختلف چرخه حیات هوش مصنوعی: سنجش ریسک در مرحله‌ای اولیه از چرخه حیات هوش مصنوعی ممکن است نتایج متفاوتی با سنجش ریسک در مرحله‌ای بعدی به دست دهد؛ برخی ریسک‌ها ممکن است در مقطعی از زمان نهفته باشند و با سازگاری و تحول سامانه‌های هوش مصنوعی افزایش یابند. افزون بر این، کنشگران هوش مصنوعی مختلف در سراسر چرخه حیات هوش مصنوعی می‌توانند دیدگاه‌های متفاوتی درباره ریسک داشته باشند. برای مثال، توسعه‌دهنده‌ای که نرم‌افزار هوش مصنوعی — مانند مدل‌های ازپیش‌آموخته — را عرضه می‌کند، می‌تواند دیدگاه متفاوتی درباره ریسک نسبت به کنشگر هوش مصنوعی‌ای داشته باشد که مسئول استقرار آن مدل ازپیش‌آموخته در یک مورد استفاده مشخص است. چنین استقراردهنده‌هایی ممکن است تشخیص ندهند که استفاده‌های خاص آن‌ها ممکن است بتواند ریسک‌هایی در بر داشته باشد که با ریسک‌های مورد برداشت توسعه‌دهنده اولیه متفاوت‌اند. همه کنشگران هوش مصنوعی درگیر، در طراحی، توسعه و استقرار یک سامانه هوش مصنوعی «اعتماد‌پذیر» (Trustworthy AI) که مناسب هدف باشد، مسئولیت مشترک دارند.

ریسک در محیط‌های دنیای واقعی: هرچند سنجش ریسک‌های هوش مصنوعی در آزمایشگاه یا یک محیط کنترل‌شده ممکن است پیش از استقرار بینش‌های مهمی به دست دهد، این سنجش‌ها ممکن است با ریسک‌هایی که در محیط‌های عملیاتی و دنیای واقعی پدید می‌آیند متفاوت باشند.

نامعلوم‌بودن: سامانه‌های هوش مصنوعی نامعلوم می‌توانند سنجش ریسک را پیچیده کنند. نامعلوم‌بودن می‌تواند نتیجه ماهیت مات سامانه‌های هوش مصنوعی (تبیین‌پذیری «Explainability» یا تفسیرپذیری «interpretability» محدود)، فقدان «شفافیت» (Transparency) یا مستندسازی در توسعه یا «استقرار» (Deployment) سامانه هوش مصنوعی، یا عدم‌قطعیت‌های ذاتی سامانه‌های هوش مصنوعی باشد.

مبنای انسانی: مدیریت ریسک سامانه‌های هوش مصنوعی‌ای که با هدف تقویت یا جانشینی فعالیت انسانی — برای مثال تصمیم‌گیری — طراحی شده‌اند، نیازمند نوعی سنجه‌های مبنایی برای مقایسه است. این امر به‌سختی نظام‌مند می‌شود، زیرا سامانه‌های هوش مصنوعی وظایفی متفاوت با انسان‌ها انجام می‌دهند — و وظایف را به‌شکلی متفاوت انجام می‌دهند.

1.2.2 تحمل ریسک

اگرچه چارچوب مدیریت ریسک هوش مصنوعی (AI RMF) می‌تواند برای اولویت‌بندی ریسک به‌کار رود، اما تحمل ریسک را تجویز نمی‌کند. تحمل ریسک به آمادگی سازمان یا کنشگر هوش مصنوعی (ر.ک. پیوست A) برای پذیرش ریسک به‌منظور دستیابی به اهدافش اشاره دارد. تحمل ریسک می‌تواند تحت‌تأثیر الزامات قانونی یا مقرراتی قرار گیرد (اقتباس‌شده از: ISO GUIDE 73). تحمل ریسک و سطح ریسکی که برای سازمان‌ها یا جامعه قابل‌قبول است، به‌شدت زمینه‌محور و ویژهٔ کاربرد و مورد کاربرد است. تحمل‌های ریسک می‌توانند تحت‌تأثیر سیاست‌ها و هنجارهای وضع‌شده توسط مالکان سامانه هوش مصنوعی، سازمان‌ها، صنایع، اجتماعات یا سیاست‌گذاران قرار گیرند. تحمل‌های ریسک به‌احتمال زیاد در گذر زمان تغییر می‌کنند، همچنان‌که سامانه‌های هوش مصنوعی، سیاست‌ها و هنجارها تحول می‌یابند. سازمان‌های گوناگون ممکن است به‌واسطه اولویت‌های سازمانی خاص و ملاحظات منابع خود، تحمل‌های ریسک متفاوتی داشته باشند.

دانش و روش‌های نوظهور برای اطلاع‌رسانی بهتر درباره موازنه آسیب/هزینه–منفعت، همچنان توسط کسب‌وکارها، دولت‌ها، دانشگاه‌ها و جامعه مدنی توسعه خواهند یافت و مورد بحث و گفتگو قرار خواهند گرفت. تا آنجا که چالش‌های مربوط به تعیین تحمل‌های ریسک هوش مصنوعی حل‌نشده باقی بمانند، ممکن است زمینه‌هایی وجود داشته باشد که چارچوب مدیریت ریسک هنوز به‌سادگی برای کاهش خطرهای منفی هوش مصنوعی قابل‌اجرا نباشد.

این چارچوب به‌گونه‌ای طراحی شده است که منعطف باشد و بر رویه‌های ریسک موجود بیفزاید؛ رویه‌هایی که بهتر است با قوانین، مقررات و هنجارهای قابل‌اجرا هم‌راستا باشند. سازمان‌ها بهتر است رویه‌ها و رهنمودهای موجود درباره معیارهای ریسک، تحمل و پاسخ را که توسط الزامات سازمانی، دامنه‌ای، رشته‌ای، بخشی یا حرفه‌ای تعیین شده‌اند، دنبال کنند. برخی بخش‌ها یا صنایع ممکن است تعاریف جاافتاده‌ای از آسیب یا الزامات جاافتاده مستندسازی، گزارش‌دهی و افشا داشته باشند. درون بخش‌ها، مدیریت ریسک می‌تواند به رهنمودهای موجود برای کاربردها و موقعیت‌های خاص مورد کاربرد وابسته باشد. در مواردی که رهنمودهای جاافتاده وجود ندارند، سازمان‌ها بهتر است تحمل ریسک معقولی را تعریف کنند. پس از آنکه تحمل تعریف شد، می‌توان از این چارچوب مدیریت ریسک هوش مصنوعی برای مدیریت ریسک‌ها و مستندسازی فرایندهای مدیریت ریسک استفاده کرد.

1.2.3 اولویت‌بندی ریسک

تلاش برای حذف کامل ریسک منفی می‌تواند در عمل نتیجه معکوس داشته باشد، زیرا همه حادثه‌ها و شکست‌ها را نمی‌توان حذف کرد. انتظارات غیرواقع‌بینانه از ریسک ممکن است موجب شود سازمان‌ها منابع را به‌گونه‌ای تخصیص دهند که طبقه‌بندی و اولویت‌دهی ریسک ناکارآمد یا عملی‌ناپذیر شود یا منابع کمیاب هدر رود. یک فرهنگ «مدیریت ریسک» (Risk Management) می‌تواند به سازمان‌ها کمک کند دریابند که همه خطرهای هوش مصنوعی یکسان نیستند و منابع می‌توانند به‌صورت هدفمند تخصیص یابند. تلاش‌های عملیاتی مدیریت ریسک، رهنمودهای روشنی برای سنجش «قابلیت اعتماد» (Trustworthiness) هر «سامانه هوش مصنوعی» (AI System) که یک سازمان توسعه می‌دهد یا مستقر می‌کند، ترسیم می‌کنند. سیاست‌ها و منابع بهتر است بر اساس سطح ریسک ارزیابی‌شده و اثر بالقوه سامانه هوش مصنوعی اولویت‌بندی شوند. میزان امکان سفارشی‌سازی یا تطبیق سامانه هوش مصنوعی با «بستر استفاده» (Context of Use) خاص توسط استقراردهنده هوش مصنوعی می‌تواند از عوامل مؤثر باشد.

در به‌کارگیری «چارچوب مدیریت ریسک هوش مصنوعی» (AI RMF)، خطرهایی که سازمان برای سامانه‌های هوش مصنوعی در یک بستر استفاده معین، بیشترین سطح را تشخیص می‌دهد، نیازمند فوری‌ترین اولویت‌بندی و کامل‌ترین فرایند مدیریت ریسک هستند. در مواردی که یک سامانه هوش مصنوعی سطوح ریسک منفی غیرقابل‌قبولی را نشان می‌دهد — مانند مواردی که آثار منفی قابل‌توجه قریب‌الوقوع باشند، آسیب‌های شدید در واقع در حال رخ دادن باشند، یا خطرهای فاجعه‌بار وجود داشته باشند — توسعه و «استقرار» (Deployment) بهتر است به‌صورت ایمن متوقف شود تا زمانی که خطرها بتوانند به‌اندازه کافی مدیریت شوند. اگر مشخص شود که توسعه، استقرار و موارد استفاده یک سامانه هوش مصنوعی در یک بستر خاص کم‌ریسک است، این موضوع می‌تواند به اولویت‌بندی بالقوه پایین‌تری اشاره کند.

اولویت‌بندی «ریسک» (Risk) ممکن است میان سامانه‌های هوش مصنوعی که برای تعامل مستقیم با انسان‌ها طراحی یا مستقر شده‌اند و سامانه‌های هوش مصنوعی که چنین نیستند، متفاوت باشد. اولویت‌بندی اولیه بالاتر ممکن است در بسترهایی لازم باشد که سامانه هوش مصنوعی روی «مجموعه‌داده‌های» (Datasets) بزرگ شامل داده‌های حساس یا محافظت‌شده مانند اطلاعات شخصی قابل‌شناسایی آموزش دیده باشد، یا اینکه خروجی‌های سامانه‌های هوش مصنوعی اثر مستقیم یا غیرمستقیم بر انسان‌ها داشته باشند. سامانه‌های هوش مصنوعی که صرفاً برای تعامل با سیستم‌های محاسباتی طراحی شده و روی مجموعه‌داده‌های غیرحساس (برای مثال، داده‌های گردآوری‌شده از محیط فیزیکی) آموزش دیده‌اند، ممکن است نیازمند اولویت‌بندی اولیه پایین‌تری باشند. با این حال، ارزیابی و اولویت‌بندی منظم ریسک بر اساس بستر همچنان مهم است، زیرا سامانه‌های هوش مصنوعی غیرمواجه با انسان نیز می‌توانند پیامدهای ایمنی یا اجتماعی پایین‌دستی داشته باشند.

«ریسک باقیمانده» (Residual Risk) — تعریف‌شده به‌عنوان ریسکی که پس از درمان ریسک باقی می‌ماند (منبع: ISO GUIDE 73) — مستقیماً بر کاربران نهایی یا افراد و اجتماعات متأثر اثر می‌گذارد. مستندسازی ریسک‌های باقیمانده ایجاب می‌کند که تأمین‌کننده سامانه به‌طور کامل خطرهای استقرار محصول هوش مصنوعی را در نظر بگیرد و کاربران نهایی را از اثرهای منفی بالقوه تعامل با سامانه آگاه سازد.

1.2.4 یکپارچگی سازمانی و مدیریت ریسک

خطرهای هوش مصنوعی نباید به‌صورت مجزا از یکدیگر در نظر گرفته شوند. کنشگران هوش مصنوعی گوناگون بسته به نقش خود در چرخه عمر، مسئولیت‌ها و آگاهی متفاوتی دارند. برای مثال، سازمان‌هایی که یک سامانه هوش مصنوعی را توسعه می‌دهند، اغلب اطلاعاتی درباره نحوه استفاده احتمالی از سامانه ندارند. مدیریت ریسک هوش مصنوعی بهتر است در راهبردها و فرایندهای گسترده‌تر «مدیریت ریسک سازمانی» (Enterprise Risk Management, ERM) ادغام و در آن‌ها گنجانده شود. رسیدگی به خطرهای هوش مصنوعی در کنار سایر ریسک‌های حیاتی، مانند امنیت سایبری و «حریم خصوصی» (Privacy)، نتیجه‌ای یکپارچه‌تر و کارایی سازمانی به‌همراه خواهد آورد.

«چارچوب مدیریت ریسک هوش مصنوعی» (AI RMF) می‌تواند همراه با راهنماها و چارچوب‌های مرتبط برای مدیریت «ریسک»های سامانه هوش مصنوعی یا ریسک‌های سازمانی گسترده‌تر به‌کار گرفته شود. برخی از ریسک‌های مرتبط با سامانه‌های هوش مصنوعی، مشترک با سایر انواع توسعه و «استقرار» (Deployment) نرم‌افزار هستند. نمونه‌هایی از ریسک‌های هم‌پوشان عبارت‌اند از: نگرانی‌های حریم خصوصی مرتبط با استفاده از داده‌های زیربنایی برای آموزش سامانه‌های هوش مصنوعی؛ پیامدهای انرژی و زیست‌محیطی ناشی از نیازهای محاسباتی پرمصرف؛ نگرانی‌های «امنیت» (Security) مرتبط با محرمانگی، یکپارچگی و در دسترس‌بودن سامانه و داده‌های آموزشی و خروجی آن؛ و امنیت عمومی نرم‌افزار و سخت‌افزار زیربنایی سامانه‌های هوش مصنوعی.

سازمان‌ها برای اثربخش‌بودن «مدیریت ریسک» (Risk management)، باید سازوکارهای مناسب «پاسخگویی» (Accountability)، نقش‌ها و مسئولیت‌ها، فرهنگ و ساختارهای تشویقی را برقرار و حفظ کنند. استفاده صرف از چارچوب مدیریت ریسک هوش مصنوعی به این تغییرات منجر نخواهد شد و مشوق‌های مناسب را نیز فراهم نمی‌کند. مدیریت ریسک اثربخش از طریق تعهد سازمانی در سطوح عالی محقق می‌شود و ممکن است تغییر فرهنگی در داخل یک سازمان یا صنعت را ایجاب کند. علاوه بر این، سازمان‌های کوچک و متوسطی که خطرهای هوش مصنوعی را مدیریت می‌کنند یا چارچوب مدیریت ریسک هوش مصنوعی را پیاده‌سازی می‌نمایند، بسته به توانمندی‌ها و منابع خود، ممکن است با چالش‌هایی متفاوت از سازمان‌های بزرگ روبه‌رو شوند.

۲. مخاطبان

شناسایی و مدیریت ریسک‌های هوش مصنوعی و تأثیرهای بالقوه آن — هم مثبت و هم منفی — مستلزم مجموعه گسترده‌ای از دیدگاه‌ها و کنشگران در سراسر چرخه حیات هوش مصنوعی است. در حالت آرمانی، کنشگران هوش مصنوعی باید از تجربه‌ها، تخصص‌ها و پیشینه‌های متنوعی برخوردار باشند و تیم‌هایی متنوع از نظر جمعیت‌شناختی و رشته‌ای را تشکیل دهند. «چارچوب مدیریت ریسک هوش مصنوعی» (AI RMF) برای استفاده توسط کنشگران هوش مصنوعی در سراسر چرخه حیات و ابعاد هوش مصنوعی در نظر گرفته شده است.

OECD چارچوبی برای طبقه‌بندی فعالیت‌های چرخه حیات هوش مصنوعی بر اساس پنج بُعد کلیدی «اجتماعی‌ـ‌فناورانه» (socio-technical) تدوین کرده است که هر یک ویژگی‌هایی مرتبط با سیاست‌گذاری و «حکمرانی» (Governance) هوش مصنوعی، از جمله «مدیریت ریسک» (Risk management)، دارند [OECD (2022) OECD Framework for the Classification of AI systems — OECD Digital Economy Papers]. شکل ۲ این ابعاد را نشان می‌دهد که مؤسسه ملی استاندارد و فناوری آمریکا (NIST) برای اهداف این چارچوب اندکی تغییر داده است. این تغییر NIST اهمیت فرایندهای آزمون، ارزیابی، راستی‌آزمایی و اعتبارسنجی (TEVV) در سراسر چرخه حیات هوش مصنوعی را برجسته می‌کند و بستر عملیاتی «سامانه هوش مصنوعی» (AI system) را تعمیم می‌بخشد.

ابعاد هوش مصنوعی نمایش‌داده‌شده در شکل ۲ عبارت‌اند از: بستر کاربرد، داده‌ها و ورودی‌ها، مدل هوش مصنوعی، و تکلیف و خروجی. کنشگران هوش مصنوعی درگیر در این ابعاد که طراحی، توسعه، «استقرار» (Deployment)، ارزیابی و استفاده از سامانه‌های هوش مصنوعی را انجام می‌دهند یا مدیریت می‌کنند و تلاش‌های مدیریت «ریسک» (Risk) هوش مصنوعی را پیش می‌برند، «اصلی» (primary)‌ترین مخاطبان چارچوب مدیریت ریسک هوش مصنوعی هستند.

نمونه‌هایی از کنشگران هوش مصنوعی در سراسر ابعاد چرخه حیات در شکل ۳ فهرست شده و در پیوست A به تفصیل توصیف شده‌اند. درون چارچوب مدیریت ریسک هوش مصنوعی، همه کنشگران هوش مصنوعی برای مدیریت ریسک‌ها و تحقق اهداف هوش مصنوعی قابل‌اعتماد و مسئولانه با یکدیگر همکاری می‌کنند. کنشگران هوش مصنوعی دارای تخصص ویژه در TEVV در سراسر چرخه حیات هوش مصنوعی ادغام شده‌اند و به‌احتمال زیاد بیشترین بهره را از این چارچوب می‌برند. انجام منظم تکالیف TEVV می‌تواند بینش‌هایی نسبت به استانداردها یا هنجارهای فنی، اجتماعی، حقوقی و اخلاقی فراهم آورد و به پیش‌بینی تأثیرها و ارزیابی و «رهگیری» (tracking) ریسک‌های نوپدید کمک می‌کند. TEVV به‌عنوان یک فرایند منظم درون چرخه حیات هوش مصنوعی، هم اصلاح میان‌دوره‌ای و هم مدیریت ریسک پسینی را ممکن می‌سازد.

بُعد «مردم و سیاره» (People & Planet) در مرکز شکل ۲ نمایانگر حقوق بشر و بهزیستی گسترده‌تر جامعه و سیاره است. کنشگران هوش مصنوعی در این بُعد، گروهی جداگانه از مخاطبان چارچوب مدیریت ریسک هوش مصنوعی را تشکیل می‌دهند که به مخاطبان اصلی «آگاهی‌بخشی می‌کند» (informs). این کنشگران هوش مصنوعی می‌توانند شامل انجمن‌های صنفی، سازمان‌های توسعه‌دهنده استاندارد، پژوهشگران، گروه‌های حامی، گروه‌های محیط‌زیستی، سازمان‌های جامعه مدنی، کاربران نهایی، و افراد و اجتماعات بالقوه متأثر باشند. این «کنشگران» (Actors) می‌توانند:

تصویر در نسخهٔ PDF Fig. 2. Lifecycle and Key Dimensions of an AI System. Modified from OECD (2022) OECD Framework for the Classification of AI systems — OECD Digital Economy Papers. The two inner circles show AI systems' key dimensions and the outer circle shows AI lifecycle stages. Ideally, risk management efforts start with the Plan and Design function in the application context and are performed throughout the AI system lifecycle. See Figure 3 for representative AI actors.

شکل ۲. چرخه حیات و ابعاد کلیدی یک سامانه هوش مصنوعی. برگرفته با تغییر از OECD (2022) OECD Framework for the Classification of AI systems — OECD Digital Economy Papers. دو دایره درونی ابعاد کلیدی سامانه‌های هوش مصنوعی و دایره بیرونی مراحل چرخه حیات هوش مصنوعی را نشان می‌دهد. در حالت آرمانی، تلاش‌های مدیریت ریسک با کارکرد برنامه‌ریزی و طراحی در بستر کاربرد آغاز می‌شود و در سراسر چرخه حیات سامانه هوش مصنوعی انجام می‌گیرد. برای نمونه‌هایی از کنشگران هوش مصنوعی، ر.ک. شکل ۳.

  • در فراهم‌آوردن بستر و درک تأثیرهای بالقوه و بالفعل یاری رسانند؛
  • منبعی برای هنجارها و رهنمودهای رسمی یا شبه‌رسمی برای مدیریت ریسک هوش مصنوعی باشند؛
  • مرزهای عملکرد هوش مصنوعی (فنی، اجتماعی، حقوقی و اخلاقی) را تعیین کنند؛ و
  • زمینه گفت‌وگو درباره بده‌بستان‌های لازم برای توازن میان ارزش‌ها و اولویت‌های اجتماعی مرتبط با آزادی‌ها و حقوق مدنی، برابری، محیط‌زیست و سیاره، و اقتصاد را فراهم کنند.

مدیریت ریسک موفق به احساس مسئولیت جمعی در میان کنشگران هوش مصنوعی نمایش‌داده‌شده در شکل ۳ وابسته است. کارکردهای چارچوب مدیریت ریسک هوش مصنوعی که در Section 5 توصیف شده‌اند، نیازمند دیدگاه‌ها، رشته‌ها، حرفه‌ها و تجربه‌های متنوع هستند. تیم‌های متنوع به اشتراک‌گذاری بازتر ایده‌ها و پیش‌فرض‌ها درباره اهداف و کارکردهای فناوری کمک می‌کنند — و این جنبه‌های ضمنی را آشکارتر می‌سازند. این چشم‌انداز جمعی گسترده‌تر، فرصت‌هایی برای آشکارسازی مشکلات و شناسایی ریسک‌های موجود و نوپدید فراهم می‌آورد.

ادامهٔ این بخش در صفحهٔ ۳

استناد

محمدعلی کهن‌دژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P02-C08-S04

شناسهٔ محتوا KDJ-AI-2026E1-P02-C08-S04-EC429101

پیوند مستقیم این بخش