چارچوب مدیریت ریسک هوش مصنوعی (AI RMF 1.0)

۳. خطرها و قابلیت اعتماد هوش مصنوعی

برای اینکه «سامانه‌های هوش مصنوعی» (AI) اعتمادپذیر باشند، اغلب لازم است به تعدد معیارهایی که برای ذی‌نفعان ارزشمند است پاسخ‌گو باشند. رویکردهایی که قابلیت اعتماد هوش مصنوعی را تقویت می‌کنند، می‌توانند ریسک‌های منفی هوش مصنوعی را کاهش دهند. این چارچوب مشخصات زیرِ هوش مصنوعی اعتمادپذیر را بیان کرده و راهنمایی برای پرداختن به آنها ارائه می‌دهد. مشخصات سامانه‌های هوش مصنوعی اعتمادپذیر عبارت‌اند از: معتبر و قابل‌اتکا، ایمن، امن و تاب‌آور، پاسخ‌گو و شفاف، قابل‌توضیح و برخوردار از «تفسیرپذیری» (Interpretability)، تقویت‌کننده حریم خصوصی، و برخوردار از انصاف با سوگیری زیان‌بار مدیریت‌شده. ایجاد هوش مصنوعی اعتمادپذیر مستلزم توازن میان هر یک از این مشخصات بر اساس بستر استفاده سامانه هوش مصنوعی است. اگرچه همه این مشخصات از ویژگی‌های سیستم اجتماعی‌ـ‌فناورانه هستند، اما پاسخگویی و شفافیت همچنین به فرایندها و فعالیت‌های درونی یک سامانه هوش مصنوعی و محیط بیرونی آن مربوط می‌شوند. بی‌توجهی به این مشخصات می‌تواند احتمال و شدت پیامدهای منفی را افزایش دهد.

تصویر در نسخهٔ PDF شکل ۴. مشخصات سامانه‌های هوش مصنوعی اعتمادپذیر. «معتبر و قابل‌اتکا» شرط ضروری قابلیت اعتماد است و به‌عنوان پایه سایر مشخصات قابلیت اعتماد نمایش داده شده است. «پاسخ‌گو و شفاف» به‌صورت یک کادر عمودی نشان داده شده است، زیرا به همه مشخصات دیگر مربوط می‌شود.

شکل ۴. مشخصات سامانه‌های هوش مصنوعی اعتمادپذیر. «معتبر و قابل‌اتکا» شرط ضروری قابلیت اعتماد است و به‌عنوان پایه سایر مشخصات قابلیت اعتماد نمایش داده شده است. «پاسخ‌گو و شفاف» به‌صورت یک کادر عمودی نشان داده شده است، زیرا به همه مشخصات دیگر مربوط می‌شود.

مشخصات قابلیت اعتماد (نمایش‌داده‌شده در شکل ۴) پیوندی ناگسستنی با رفتار اجتماعی و سازمانی، مجموعه‌داده‌های مورد استفاده سامانه‌های هوش مصنوعی، انتخاب مدل‌ها و الگوریتم‌های هوش مصنوعی و تصمیم‌های سازندگان آنها، و تعاملات با انسان‌هایی که بینش و نظارت بر این سامانه‌ها را فراهم می‌کنند دارند. بهتر است هنگام تصمیم‌گیری درباره سنجه‌های مشخص مربوط به مشخصات قابلیت اعتماد هوش مصنوعی و مقادیر آستانه دقیق آن سنجه‌ها، از قضاوت انسانی استفاده شود.

پرداختن جداگانه به مشخصات قابلیت اعتماد هوش مصنوعی، اعتمادپذیری سامانه هوش مصنوعی را تضمین نخواهد کرد؛ معمولاً بده‌بستانی در کار است، به‌ندرت همه مشخصات در هر بستری اعمال می‌شوند، و برخی از آنها در هر موقعیت معیّن کم‌اهمیت‌تر یا مهم‌تر خواهند بود. در نهایت، قابلیت اعتماد مفهومی اجتماعی است که طیفی از درجات را در بر می‌گیرد و تنها به اندازه ضعیف‌ترین مشخصات خود نیرومند است.

هنگام «مدیریت ریسک» (Risk Management) هوش مصنوعی، سازمان‌ها می‌توانند با تصمیم‌های دشواری در توازن میان این مشخصات روبه‌رو شوند. برای مثال، در برخی سناریوها ممکن است بده‌بستانی میان بهینه‌سازی برای تفسیرپذیری و تحقق حریم خصوصی پدید آید. در موارد دیگر، سازمان‌ها ممکن است با بده‌بستانی میان دقت پیش‌بینی و تفسیرپذیری مواجه شوند. یا در برخی شرایط مانند کمبود داده، فنون تقویت حریم خصوصی می‌توانند به کاهش دقت بینجامند و بر تصمیم‌ها درباره انصاف و سایر ارزش‌ها در برخی حوزه‌ها اثر بگذارند. مواجهه با بده‌بستان‌ها مستلزم در نظر گرفتن بستر تصمیم‌گیری است. این تحلیل‌ها می‌توانند وجود و گستره بده‌بستان میان سنجه‌های مختلف را آشکار کنند، اما به پرسش‌ها درباره چگونگی عبور از این بده‌بستان پاسخ نمی‌دهند. آن پاسخ‌ها به ارزش‌های حاکم بر بستر مربوط بستگی دارند و بهتر است به شیوه‌ای شفاف و به‌درستی قابل توجیه حل‌وفصل شوند.

رویکردهای متعددی برای تقویت آگاهی زمینه‌ای در چرخه حیات هوش مصنوعی وجود دارد. برای مثال، کارشناسان موضوعی می‌توانند در ارزیابی یافته‌های TEVV کمک کنند و با تیم‌های محصول و استقرار همکاری کنند تا پارامترهای TEVV با الزامات و شرایط استقرار هم‌راستا شوند. هنگامی که منابع کافی در اختیار باشد، افزایش گستره و تنوع داده‌های ورودی از ذی‌نفعان و کنشگران هوش مصنوعی مربوط در سراسر چرخه حیات هوش مصنوعی می‌تواند فرصت‌های ارزیابی‌های حساس به بستر و شناسایی منافع و اثرات مثبت سامانه هوش مصنوعی را افزایش دهد. این رویه‌ها می‌توانند احتمال مدیریت مناسب ریسک‌های پدیدآمده در بسترهای اجتماعی را بالا ببرند.

درک و نحوه برخورد با مشخصات قابلیت اعتماد به نقش ویژه هر کنشگر هوش مصنوعی در چرخه حیات هوش مصنوعی بستگی دارد. برای هر سامانه هوش مصنوعی معیّن، ممکن است یک طراح یا توسعه‌دهنده هوش مصنوعی درکی متفاوت از این مشخصات نسبت به استقراردهنده داشته باشد.

مشخصات قابلیت اعتماد که در این سند توضیح داده شده‌اند بر یکدیگر اثر می‌گذارند. سامانه‌هایی که بسیار امن اما فاقد انصاف هستند، سامانه‌هایی که دقیق اما مبهم و فاقد تفسیرپذیری‌اند، و سامانه‌هایی که نادقیق اما امن، تقویت‌کننده حریم خصوصی و شفاف‌اند، همگی نامطلوب‌اند. رویکردی جامع به مدیریت ریسک مستلزم توازن در بده‌بستان‌های میان مشخصات قابلیت اعتماد است. تعیین اینکه آیا فناوری هوش مصنوعی ابزاری مناسب یا ضروری برای یک بستر یا هدف معیّن است و چگونه می‌توان از آن به‌صورت مسئولانه استفاده کرد، مسئولیتی مشترک میان همه کنشگران هوش مصنوعی است. تصمیم به سفارش یا استقرار یک سامانه هوش مصنوعی بهتر است بر اساس ارزیابی زمینه‌ای مشخصات قابلیت اعتماد و ریسک‌ها، اثرات، هزینه‌ها و منافع نسبی صورت گیرد و با نظرخواهی از طیف گسترده‌ای از ذی‌نفعان همراه باشد.

3.1 روایی و قابلیت اطمینان

روایی‌سنجی عبارت است از «تأیید، از طریق ارائه شواهد عینی، مبنی بر اینکه الزامات مربوط به یک کاربرد یا استفادهٔ خاصِ موردنظر برآورده شده است» (منبع: ISO 9000:2015). استقرارِ سامانه‌های هوش مصنوعی‌ای که نادقیق، غیرقابل‌اطمینان یا با تعمیم‌پذیری ضعیف نسبت به داده‌ها و شرایط فراتر از آموزش خود هستند، ریسک‌های منفی هوش مصنوعی را ایجاد و افزایش می‌دهد و قابلیت اعتماد را کاهش می‌دهد.

قابلیت اطمینان (Reliability) در همان استاندارد چنین تعریف شده است: «توانایی یک قلم برای انجام عملکردِ موردنیاز، بدون خرابی، در یک بازهٔ زمانی معین و تحت شرایط معین» (منبع: ISO/IEC TS 5723:2022). قابلیت اطمینان هدفی برای درستیِ کلیِ عملکرد سامانه هوش مصنوعی تحت شرایط استفادهٔ موردانتظار و در طول بازهٔ زمانی معینی است، از جمله در کل طول عمر سامانه.

دقت و استواری به روایی (Validity) و قابلیت اعتماد سامانه‌های هوش مصنوعی کمک می‌کنند و می‌توانند در سامانه‌های هوش مصنوعی با یکدیگر در تعارض باشند.

دقت در ISO/IEC TS 5723:2022 چنین تعریف شده است: «میزان نزدیکی نتایج مشاهده‌ها، محاسبات یا برآوردها به مقادیر واقعی یا مقادیری که به‌عنوان واقعی پذیرفته شده‌اند.» سنجه‌های دقت بهتر است سنجه‌های محاسبات‌محور (مانند نرخ مثبت کاذب و منفی کاذب)، همکاری انسان و هوش مصنوعی را در نظر بگیرند و روایی بیرونی (تعمیم‌پذیری فراتر از شرایط آموزش) را نشان دهند. اندازه‌گیری‌های دقت توصیه می‌شود همواره همراه با مجموعه‌های آزمونِ به‌روشنی تعریف‌شده و واقع‌بینانه — که نمایندهٔ شرایط استفادهٔ موردانتظار باشند — و جزئیات روش‌شناسی آزمون باشند؛ این موارد بهتر است در مستندات مرتبط گنجانده شوند. اندازه‌گیری‌های دقت می‌توانند شامل تفکیک نتایج برای بخش‌های مختلف داده‌ها باشد.

استحکام یا تعمیم‌پذیری (Robustness or generalizability) چنین تعریف شده است: «توانایی یک سیستم برای حفظ سطح عملکرد خود تحت شرایط و موقعیت‌های گوناگون» (منبع: ISO/IEC TS 5723:2022). استواری هدفی برای عملکرد مناسبِ سامانه در طیف گسترده‌ای از شرایط و موقعیت‌ها، از جمله کاربردهایی از سامانه‌های هوش مصنوعی که در ابتدا پیش‌بینی نشده بودند، است. استواری نه‌تنها ایجاب می‌کند که سامانه دقیقاً همان‌گونه که در کاربردهای موردانتظار عمل می‌کند عمل کند، بلکه ایجاب می‌کند که در صورتی که در یک موقعیت غیرمنتظره در حال کار است، به‌گونه‌ای عمل کند که آسیب‌های بالقوه به افراد را به حداقل برساند.

روایی و قابلیت اطمینانِ سامانه‌های هوش مصنوعیِ مستقرشده اغلب از طریق آزمون مستمر یا پایش (Monitoring) ارزیابی می‌شود که تأیید می‌کند سامانه مطابق با مقصود عمل می‌کند. اندازه‌گیری روایی، دقت، استواری و قابلیت اطمینان به قابلیت اعتماد کمک می‌کند و بهتر است در نظر بگیرد که انواع خاصی از خرابی‌ها می‌توانند آسیب بزرگ‌تری ایجاد کنند. تلاش‌های مدیریت ریسک (Risk management) هوش مصنوعی توصیه می‌شود کمینه‌سازی تأثیرات منفی بالقوه را در اولویت قرار دهند و ممکن است لازم باشد در مواردی که سامانه هوش مصنوعی نمی‌تواند خطاها را تشخیص دهد یا اصلاح کند، مداخلهٔ انسانی را در بر گیرند.

3.2 ایمنی (Safe)

سیستم‌های «هوش مصنوعی» (Artificial Intelligence, AI) بهتر است «تحت شرایط تعریف‌شده، به حالتی منتهی نشوند که در آن زندگی، سلامت، اموال یا محیط‌زیست به خطر افتد» (منبع: ISO/IEC TS 5723:2022). ایمنی (Safety) در بهره‌برداری از سیستم‌های هوش مصنوعی از طریق موارد زیر بهبود می‌یابد:

• شیوه‌های مسئولانه طراحی، توسعه و استقرار (Deployment)؛

• ارائه اطلاعات شفاف به استقراردهندگان درباره استفاده مسئولانه از سیستم؛

• تصمیم‌گیری مسئولانه از سوی استقراردهندگان و کاربران نهایی؛ و

• تبیین‌ها و مستندسازی خطرها (Risks) بر پایه شواهد تجربی حوادث.

انواع گوناگون خطرهای ایمنی ممکن است به رویکردهای متناسب مدیریت ریسک (Risk management) هوش مصنوعی، بسته به بافت و شدت خطرهای بالقوه، نیاز داشته باشند. خطرهای ایمنی که خطر بالقوه آسیب جدی یا مرگ را ایجاد می‌کنند، بیشترین فوریت در اولویت‌بندی و کامل‌ترین فرایند مدیریت ریسک را می‌طلبند.

به‌کارگیری ملاحظات ایمنی در طول چرخه حیات و آغاز برنامه‌ریزی و طراحی در نخستین فرصت ممکن می‌تواند از خرابی‌ها یا شرایطی که می‌تواند سیستمی را خطرناک کند، پیشگیری نماید. سایر رویکردهای عملی برای ایمنی هوش مصنوعی اغلب به شبیه‌سازی سخت‌گیرانه و آزمون درون‌دامنه‌ای (domain)، پایش (Monitoring) بلادرنگ، و توانایی خاموش‌کردن، اصلاح یا مداخله انسانی در سیستم‌هایی که از عملکردی موردنظر یا موردانتظار فاصله می‌گیرند، مربوط می‌شود.

رویکردهای مدیریت ریسک ایمنی هوش مصنوعی بهتر است از تلاش‌ها و رهنمودهای ایمنی در حوزه‌هایی مانند حمل‌ونقل و سلامت الهام بگیرند و با رهنمودها یا استانداردهای موجود بخشی یا ویژه هر کاربرد هم‌راستا شوند.

3.3 امن و تاب‌آور

سامانه‌های هوش مصنوعی و نیز اکوسیستم‌هایی که در آن‌ها به‌کار گرفته می‌شوند، در صورتی می‌توانند تاب‌آور (Resilient) خوانده شوند که بتوانند در برابر رویدادهای نامطلوب غیرمنتظره یا تغییرات غیرمنتظره در محیط یا کاربرد خود مقاومت کنند – یا بتوانند در مواجهه با تغییرات درونی و بیرونی، کارکردها و ساختار خود را حفظ کرده و در صورت لزوم به‌صورت ایمن و آرام کاهش عملکرد دهند (اقتباس از: ISO/IEC TS 5723:2022). نگرانی‌های رایج امنیتی به نمونه‌های خصمانه (adversarial examples)، مسموم‌سازی داده (Data Poisoning)، و بیرون‌کشی مدل‌ها، داده‌های آموزشی یا دیگر مالکیت‌های فکری از طریق نقاط انتهایی سامانه هوش مصنوعی مربوط می‌شود. سامانه‌هایی که می‌توانند از طریق سازوکارهای حفاظتی که از دسترسی و استفادهٔ غیرمجاز جلوگیری می‌کند، محرمانگی، یکپارچگی و دسترس‌پذیری را حفظ کنند، می‌توانند امن (Secure) خوانده شوند. راهنماهای چارچوب امنیت سایبری و چارچوب مدیریت ریسک (Risk Management Framework, RMF) مؤسسه ملی استاندارد و فناوری آمریکا (NIST) از جمله راهنماهایی هستند که در این زمینه کاربرد دارند.

امنیت و تاب‌آوری دو ویژگی مرتبط اما متمایزند. تاب‌آوری توانایی بازگشت به عملکرد عادی پس از یک رویداد نامطلوب غیرمنتظره است، در حالی که امنیت تاب‌آوری را در بر می‌گیرد اما فراتر از آن، پروتکل‌هایی برای اجتناب از حملات، محافظت در برابر آن‌ها، پاسخ‌دهی یا بازیابی را نیز در بر می‌گیرد. تاب‌آوری به استواری (Robustness) مربوط است و از منشأ (Provenance) داده‌ها فراتر رفته، استفادهٔ غیرمنتظره یا خصمانه (یا سوءاستفاده یا سوءکاربرد) از مدل یا داده‌ها را نیز در بر می‌گیرد.

3.4 پاسخگو و شفاف

هوش مصنوعی اعتماد‌پذیر به پاسخگویی وابسته است. پاسخگویی، شفافیت را پیش‌فرض می‌گیرد. شفافیت نشان‌دهنده میزان در دسترس بودن اطلاعات درباره یک سامانه هوش مصنوعی و خروجی‌های آن برای افرادی است که با چنین سیستمی تعامل دارند — صرف‌نظر از اینکه حتی آگاه باشند که این کار را انجام می‌دهند یا خیر. شفافیت معنادار، دسترسی به سطوح مناسب اطلاعات را بر اساس مرحله چرخه عمر هوش مصنوعی فراهم می‌کند و آن را با نقش یا دانش کنشگران هوش مصنوعی یا افرادی که با سامانه هوش مصنوعی تعامل دارند یا از آن استفاده می‌کنند متناسب می‌سازد. شفافیت از طریق ارتقای سطوح بالاتر فهم، اعتماد به سامانه هوش مصنوعی را افزایش می‌دهد.

دامنه این ویژگی از تصمیم‌های طراحی و داده‌های آموزش تا آموزش مدل، ساختار مدل، موارد استفاده هدفمند آن، و چگونگی و زمان اتخاذ تصمیم‌های استقرار، پس از استقرار، یا کاربر نهایی و اینکه این تصمیم‌ها توسط چه کسانی گرفته شده‌اند را در بر می‌گیرد. شفافیت اغلب برای جبران عملی مربوط به خروجی‌های سامانه هوش مصنوعی که نادرست هستند یا به‌گونه‌ای دیگر به اثرات منفی می‌انجامند، ضروری است. شفافیت بهتر است تعامل انسان و هوش مصنوعی را در نظر بگیرد: برای مثال، چگونه به یک اپراتور یا کاربر انسانی هنگام شناسایی نتیجه نامطلوب بالقوه یا واقعی ناشی از یک سامانه هوش مصنوعی اطلاع داده می‌شود. یک سیستم شفاف لزوماً سیستمی دقیق، دارای تقویت حریم خصوصی، امن یا عادلانه نیست. با این حال، تعیین اینکه آیا یک سیستم مات چنین ویژگی‌هایی دارد دشوار است، و انجام این کار در گذر زمان با تکامل سیستم‌های پیچیده باز هم دشوارتر می‌شود.

هنگام جست‌وجوی پاسخگویی برای پیامدهای سامانه‌های هوش مصنوعی، باید نقش کنشگران هوش مصنوعی در نظر گرفته شود. رابطه بین ریسک و پاسخگویی مرتبط با هوش مصنوعی و سیستم‌های فناورانه در معنای گسترده‌تر، در بافت‌های فرهنگی، حقوقی، بخشی و اجتماعی متفاوت است. هنگامی که پیامدها شدید باشند، مانند مواقعی که جان و آزادی در معرض خطر است، توسعه‌دهندگان و استقراردهندگان هوش مصنوعی بهتر است به‌طور متناسب و پیشگیرانه شیوه‌های شفافیت و پاسخگویی خود را تعدیل کنند. حفظ شیوه‌های سازمانی و ساختارهای حاکمیتی برای کاهش آسیب، مانند مدیریت ریسک، می‌تواند به دستیابی به سیستم‌های پاسخگوتر کمک کند.

اقدامات برای ارتقای شفافیت و پاسخگویی بهتر است اثر این تلاش‌ها بر نهاد مجری را نیز در نظر بگیرند، از جمله سطح منابع لازم و نیاز به حفاظت از اطلاعات انحصاری.

حفظ منشأ داده‌های آموزش و پشتیبانی از انتساب تصمیم‌های سامانه هوش مصنوعی به زیرمجموعه‌هایی از داده‌های آموزش می‌تواند به شفافیت و پاسخگویی هر دو کمک کند. داده‌های آموزش همچنین ممکن است مشمول حق نشر باشند و بهتر است از قوانین مربوط به حقوق مالکیت فکری پیروی کنند.

با توجه به ادامه تکامل ابزارهای شفافیت برای سامانه‌های هوش مصنوعی و مستندسازی مرتبط، از توسعه‌دهندگان سامانه‌های هوش مصنوعی تشویق می‌شود در همکاری با استقراردهندگان هوش مصنوعی، انواع مختلف ابزارهای شفافیت را آزمایش کنند تا از استفاده از سامانه‌های هوش مصنوعی به‌گونه‌ای که در نظر گرفته شده اطمینان حاصل شود.

3.5 تبیینپذیر و تفسیرپذیر

تبیینپذیری (Explainability) به بازنمایی سازوکارهای زیربنایی عملکرد سامانه‌های هوش مصنوعی (AI system) اشاره دارد؛ حال آنکه تفسیرپذیری (interpretability) به مفهوم یا معنای خروجی سامانه‌های هوش مصنوعی در بستر اهداف کارکردی طراحی‌شده آنها اشاره دارد. تبیینپذیری و تفسیرپذیری در کنار هم به افرادی که یک سامانه هوش مصنوعی را به‌کار می‌گیرند یا بر آن نظارت دارند و همچنین به کاربران یک سامانه هوش مصنوعی کمک می‌کنند تا بینش عمیق‌تری نسبت به کارکرد و قابلیت اعتماد (Trustworthiness) سامانه، از جمله خروجی‌های آن، به دست آورند. این فرض اساسی وجود دارد که ادراک ریسک (Risk) منفی ناشی از ناتوانی در فهم یا متناسب‌سازی درست خروجی سامانه است. سامانه‌های هوش مصنوعی توضیح‌پذیر (Explainable Artificial Intelligence, XAI) و تفسیرپذیر اطلاعاتی ارائه می‌کنند که به کاربران نهایی کمک می‌کند اهداف و تأثیر بالقوه یک سامانه هوش مصنوعی را درک کنند.

ریسکِ ناشی از فقدان تبیینپذیری می‌تواند از طریق تشریح چگونگی عملکرد سامانه‌های هوش مصنوعی مدیریت شود؛ توصیف‌هایی که بر اساس تفاوت‌های فردی مانند نقش، دانش و سطح مهارت کاربر تنظیم شده باشند. سامانه‌های تبیینپذیر را می‌توان آسان‌تر اشکال‌زدایی و پایش کرد و همین سامانه‌ها مستندسازی، حسابرسی (Audit) و حکمرانی (Governance) کامل‌تری را ممکن می‌سازند.

خطرها (Risks) مربوط به تفسیرپذیری اغلب می‌توانند با انتقال توضیحی درباره اینکه چرا یک سامانه هوش مصنوعی پیش‌بینی یا توصیه‌ٔ خاصی را ارائه کرده است، برطرف شوند. (ر.ک. «چهار اصل هوش مصنوعی تفسیرپذیر» و «مبانی روان‌شناختی تبیینپذیری و تفسیرپذیری در هوش مصنوعی» در همین سند.)

شفافیت (Transparency)، تبیینپذیری و تفسیرپذیری ویژگی‌هایی متمایز هستند که یکدیگر را پشتیبانی می‌کنند. شفافیت می‌تواند به این پرسش پاسخ دهد که در سامانه «چه اتفاقی افتاده است». تبیینپذیری می‌تواند به این پرسش پاسخ دهد که تصمیم در سامانه «چگونه» گرفته شده است. تفسیرپذیری می‌تواند به این پرسش پاسخ دهد که «چرا» سامانه تصمیمی را گرفته است و معنا یا بستر آن برای کاربر چیست.

3.6 دارای حریم خصوصی افزایش‌یافته

حریم خصوصی (Privacy) به‌طور کلی به هنجارها و رویه‌هایی اشاره دارد که به حفاظت از خودمختاری، هویت و کرامت انسانی کمک می‌کنند. این هنجارها و رویه‌ها معمولاً به موضوعاتی چون مصونیت از مداخله، محدودسازی تحت مشاهده بودن، یا اختیار افراد برای رضایت به افشا یا کنترل جوانب هویت خود (مانند بدن، داده‌ها، شهرت) می‌پردازند. (ر.ک. چارچوب حریم خصوصی NIST: ابزاری برای بهبود حریم خصوصی از طریق مدیریت ریسک سازمانی (Enterprise Risk Management, ERM).)

ارزش‌های مرتبط با حریم خصوصی مانند گمنامی، رازداری و کنترل عموماً بهتر است انتخاب‌های مربوط به طراحی، توسعه و استقرار (Deployment) سامانه هوش مصنوعی (AI system) را هدایت کنند. خطرهای (Risks) مرتبط با حریم خصوصی ممکن است بر امنیت (Security)، سوگیری (Bias) و شفافیت (Transparency) اثر بگذارند و با موازنه‌هایی در قبال این ویژگی‌های دیگر همراه باشند. مانند ایمنی (Safety) و امنیت، ویژگی‌های فنی خاصی از یک سامانه هوش مصنوعی ممکن است حریم خصوصی را تقویت یا تضعیف کند. همچنین سامانه‌های هوش مصنوعی می‌توانند خطرهای تازه‌ای برای حریم خصوصی ایجاد کنند؛ بدین ترتیب که استنتاج را برای شناسایی افراد یا اطلاعات خصوصی پیشین درباره افراد ممکن می‌سازند.

فناوری‌های تقویت‌کننده حریم خصوصی («PETs») برای هوش مصنوعی، و نیز روش‌های کمینه‌سازی داده‌ها مانند ناشناس‌سازی و تجمیع برای برخی خروجی‌های مدل، می‌توانند از طراحی سامانه‌های هوش مصنوعی دارای حریم خصوصی افزایش‌یافته پشتیبانی کنند. در شرایطی خاص مانند کمبود داده، فنون تقویت‌کننده حریم خصوصی می‌توانند به کاهش دقت بینجامند و بر تصمیم‌های مربوط به انصاف (Fairness) و دیگر ارزش‌ها در برخی حوزه‌ها اثر بگذارند.

3.7 منصف — با سوگیری زیان‌بار مدیریت‌شده

انصاف (Fairness) در هوش مصنوعی شامل توجه به برابری و انصاف از طریق پرداختن به مسائلی مانند سوگیری زیان‌بار و تبعیض است. استانداردهای انصاف می‌توانند پیچیده و دشوارِ تعریف باشند، زیرا درک انصاف در میان فرهنگ‌ها متفاوت است و ممکن است بسته به کاربرد تغییر کند. تلاش‌های سازمان‌ها در زمینه مدیریت ریسک (Risk management) با شناخت و لحاظ‌کردن این تفاوت‌ها تقویت خواهد شد. سامانه‌هایی که در آن‌ها سوگیری‌های زیان‌بار کاهش‌یافته‌اند، لزوماً منصف نیستند. برای مثال، سامانه‌هایی که پیش‌بینی‌هایشان میان گروه‌های جمعیتی‌شناختی نسبتاً متوازن است، ممکن است همچنان برای افراد دارای معلولیت در دسترس نباشند یا تحت تأثیر شکاف دیجیتال قرار داشته باشند، یا ممکن است نابرابری‌های موجود یا سوگیری نظام‌مند (Systemic Bias) را تشدید کنند.

سوگیری (Bias) مفهومی فراتر از توازن جمعیتی‌شناختی و نمایندگی داده‌ها است. مؤسسه ملی استاندارد و فناوری آمریکا (NIST) سه دستهٔ اصلی سوگیری هوش مصنوعی را که باید مورد توجه و مدیریت قرار گیرند شناسایی کرده است: نظام‌مند، محاسباتی و آماری، و شناختی–انسانی. هر یک از این سوگیری‌ها می‌تواند بدون پیش‌داوری، جانبداری یا قصد تبعیض‌آمیز رخ دهد. سوگیری نظام‌مند می‌تواند در مجموعه‌داده‌ها (Datasets) هوش مصنوعی، هنجارها، رویه‌ها و فرایندهای سازمانی در سراسر چرخهٔ حیات هوش مصنوعی، و جامعهٔ گسترده‌ای که از سامانه‌های هوش مصنوعی استفاده می‌کند، وجود داشته باشد. سوگیری‌های محاسباتی و آماری می‌توانند در مجموعه‌داده‌ها و فرایندهای الگوریتمی هوش مصنوعی حضور داشته باشند و اغلب از خطاهای سیستماتیک ناشی از نمونه‌های غیرنماینده سرچشمه می‌گیرند. سوگیری‌های شناختی–انسانی به نحوهٔ ادراک یک فرد یا گروه از اطلاعات سامانهٔ هوش مصنوعی برای تصمیم‌گیری یا تکمیل اطلاعات مفقود، یا به نحوهٔ اندیشیدن انسان‌ها دربارهٔ اهداف و کارکردهای یک سامانهٔ هوش مصنوعی مربوط می‌شود. سوگیری‌های شناختی–انسانی در فرایندهای تصمیم‌گیری در سراسر چرخهٔ حیات هوش مصنوعی و استفاده از سامانه، از جمله طراحی، پیاده‌سازی، بهره‌برداری و نگهداری هوش مصنوعی، همه‌جا حاضرند.

سوگیری به اشکال گوناگون وجود دارد و می‌تواند در سامانه‌های خودکاری که به تصمیم‌گیری دربارهٔ زندگی ما کمک می‌کنند ریشه دواند. اگرچه سوگیری همواره پدیده‌ای منفی نیست، سامانه‌های هوش مصنوعی می‌توانند به‌طور بالقوه سرعت و مقیاس سوگیری‌ها را افزایش دهند و آسیب‌ها به افراد، گروه‌ها، اجتماعات، سازمان‌ها و جامعه را تداوم و تشدید بخشند. سوگیری با مفاهیم شفافیت (Transparency) و نیز انصاف در جامعه ارتباط تنگاتنگی دارد. (برای اطلاعات بیشتر دربارهٔ سوگیری، از جمله سه دستهٔ آن، ر.ک. انتشار ویژه NIST شماره 1270 با عنوان Towards a Standard for Identifying and Managing Bias in Artificial Intelligence.)

۴. اثربخشی چارچوب مدیریت ریسک هوش مصنوعی

ارزیابی‌های اثربخشی چارچوب مدیریت ریسک هوش مصنوعی (AI RMF) — از جمله روش‌های سنجش بهبودهای نهایی در قابلیت اعتماد سامانه‌های هوش مصنوعی — بخشی از فعالیت‌های آینده مؤسسه ملی استاندارد و فناوری آمریکا (NIST) خواهد بود، همراه با جامعه هوش مصنوعی.

از سازمان‌ها و دیگر کاربران این چارچوب تشویق می‌شود که به‌طور دوره‌ای ارزیابی کنند که آیا چارچوب مدیریت ریسک هوش مصنوعی توانایی آن‌ها را در مدیریت ریسک‌های هوش مصنوعی بهبود داده است یا خیر؛ از جمله اما نه محدود به سیاست‌ها، فرایندها، رویه‌ها، برنامه‌های اجرایی، شاخص‌ها، سنجه‌ها و نتایج مورد انتظار آن‌ها. NIST قصد دارد به‌صورت مشارکتی با دیگران برای توسعه سنجه‌ها، روش‌شناسی‌ها و اهداف ارزیابی اثربخشی چارچوب مدیریت ریسک هوش مصنوعی کار کند و نتایج و اطلاعات پشتیبان را به‌طور گسترده به اشتراک بگذارد. انتظار می‌رود کاربران چارچوب از موارد زیر بهره‌مند شوند:

• فرایندهای تقویت‌شده برای حاکمیت، ترسیم نقشه، سنجش و مدیریت ریسک هوش مصنوعی، و مستندسازی روشن نتایج؛

• آگاهی بهبودیافته از روابط و موازنه‌های میان ویژگی‌های قابلیت اعتماد، رویکردهای اجتماعی‌ـ‌فناورانه و ریسک‌های هوش مصنوعی؛

• فرایندهای صریح برای تصمیم‌گیری‌های تأیید/رد (go/no-go) درباره راه‌اندازی و به‌کارگیری و استقرار سامانه؛

• سیاست‌ها، فرایندها، رویه‌ها و اقدامات تثبیت‌شده برای بهبود تلاش‌های پاسخگویی سازمانی مرتبط با ریسک‌های سامانه هوش مصنوعی؛

• فرهنگ سازمانی تقویت‌شده‌ای که شناسایی و مدیریت ریسک‌های سامانه هوش مصنوعی و پیامدهای بالقوه برای افراد، اجتماعات، سازمان‌ها و جامعه را در اولویت قرار می‌دهد؛

• اشتراک‌گذاری اطلاعات بهتر درون‌سازمانی و بین‌سازمانی درباره ریسک‌ها، فرایندهای تصمیم‌گیری، مسئولیت‌ها، دام‌های رایج، رویه‌های TEVV و رویکردهای بهبود مستمر؛

• دانش بافتاری بیشتر برای آگاهی فزاینده از ریسک‌های پایین‌دستی؛

• تعامل تقویت‌شده با ذی‌نفعان و کنشگران هوش مصنوعی مرتبط؛ و

• ظرفیت افزوده‌شده برای TEVV سامانه‌های هوش مصنوعی و ریسک‌های مرتبط.