چهار اصل هوش مصنوعی تبیین‌پذیر

P. Jonathon Phillips، Carina A. Hahn، Peter C. Fontana، Amy N. Yates، Kristen Greene، David A. Broniatowski، Mark A. Przybocki

P. Jonathon Phillips، Carina A. Hahn، Peter C. Fontana، Amy N. Yates، Kristen Greene بخش دسترسی به اطلاعات، آزمایشگاه فناوری اطلاعات

David A. Broniatowski

Mark A. Przybocki

چکیده

ما چهار اصل برای هوش مصنوعی توضیح‌پذیر (Explainable Artificial Intelligence) معرفی می‌کنیم که ویژگی‌های بنیادین سامانه‌های هوش مصنوعی توضیح‌پذیر را دربر می‌گیرند. پیشنهاد می‌کنیم که سامانه‌های هوش مصنوعی توضیح‌پذیر شواهد یا دلایل همراه برای برون‌دادها و فرایندها ارائه کنند؛ تبیین‌هایی ارائه دهند که برای کاربران فردی قابل فهم باشد؛ تبیین‌هایی ارائه دهند که فرایند سامانه را در تولید برون‌داد به‌درستی بازتاب دهد؛ و اینکه سامانه تنها در شرایطی که برای آن طراحی شده و آنگاه که به اطمینان کافی درباره برون‌داد خود رسیده باشد، عمل کند. ما این چهار اصل را به‌ترتیب «تبیین»، «معنادار»، «دقت تبیین» (Explanation Accuracy) و «محدودیت‌های دانش» (Knowledge Limits) نامیده‌ایم. از طریق تعامل گسترده با ذی‌نفعان، این چهار اصل به‌گونه‌ای تدوین شده‌اند که ماهیت چندرشته‌ای هوش مصنوعی توضیح‌پذیر، از جمله حوزه‌های علوم رایانه، مهندسی و روان‌شناسی را دربر گیرند. از آنجا که تبیین یکسان برای همه موجود نیست، کاربران مختلف به انواع متفاوتی از تبیین‌ها نیاز خواهند داشت. ما پنج دسته از تبیین را ارائه می‌کنیم و نظریه‌های هوش مصنوعی توضیح‌پذیر را خلاصه می‌کنیم. مروری بر الگوریتم‌های این حوزه ارائه می‌دهیم که رده‌های اصلی الگوریتم‌های توضیح‌پذیر را پوشش می‌دهد. به‌عنوان مقایسه مبنایی، ارزیابی می‌کنیم که تبیین‌های ارائه‌شده توسط انسان‌ها تا چه اندازه از چهار اصل ما پیروی می‌کنند. این ارزیابی بینش‌هایی درباره چالش‌های طراحی سامانه‌های هوش مصنوعی توضیح‌پذیر به دست می‌دهد.

واژه‌های کلیدی

هوش مصنوعی (Artificial Intelligence، AI)؛ هوش مصنوعی توضیح‌پذیر؛ تبیین‌پذیری (Explainability)؛ هوش مصنوعی اعتمادپذیر (Trustworthy AI).

خلاصه اجرایی

حوزه هوش مصنوعی (AI) وسیع، پیچیده و در حال تحول مستمر است. با پیشرفت‌ها در توان محاسباتی و مجموعه‌داده‌های هرچه بزرگ‌تر، الگوریتم‌های هوش مصنوعی برای کاربرد در گستره وسیعی از حوزه‌های کاربردی، با کاربران بالقوه گوناگون و خطرهای مرتبط، در حال بررسی و توسعه‌اند. جامعه هوش مصنوعی، تبیین‌پذیری را به‌عنوان یکی از ویژگی‌های مطلوب متعدد برای سامانه‌های هوش مصنوعی اعتمادپذیر دنبال می‌کند. مؤسسه ملی استاندارد و فناوری آمریکا (NIST) با همکاری جامعه هوش مصنوعی، ویژگی‌های فنی افزون‌تری برای پرورش اعتماد به هوش مصنوعی شناسایی کرده است. علاوه بر تبیین‌پذیری و تفسیرپذیری (interpretability)، از جمله ویژگی‌های سامانه هوش مصنوعی که برای پشتیبانی از قابلیت اعتماد سامانه پیشنهاد شده‌اند می‌توان به دقت، حریم خصوصی، قابلیت اطمینان، استواری، ایمنی، امنیت (تاب‌آوری)، کاهش سوگیری زیان‌بار، شفافیت، انصاف و پاسخگویی اشاره کرد. تبیین‌پذیری و دیگر ویژگی‌های سامانه هوش مصنوعی در مراحل گوناگون چرخه حیات هوش مصنوعی با یکدیگر تعامل دارند. اگرچه همه این ویژگی‌ها اهمیتی حیاتی دارند، این پژوهش صرفاً بر اصول سامانه‌های هوش مصنوعی توضیح‌پذیر تمرکز دارد.

در این مقاله، چهار اصلی را معرفی می‌کنیم که معتقدیم ویژگی‌های بنیادین سامانه‌های هوش مصنوعی توضیح‌پذیر (Explainable Artificial Intelligence, XAI) را تشکیل می‌دهند. این اصول هوش مصنوعی توضیح‌پذیر از طریق تعامل با جامعه گسترده هوش مصنوعی، در یک کارگاه عمومی مؤسسه ملی استاندارد و فناوری آمریکا (NIST) و دوره دریافت نظرات عمومی، شکل گرفته‌اند. می‌دانیم که همه سامانه‌های هوش مصنوعی ممکن است به توضیح نیازی نداشته باشند. با این حال، برای آن دسته از سامانه‌های هوش مصنوعی که برای تبیین‌پذیری (Explainability) در نظر گرفته شده‌اند یا تبیین‌پذیری برایشان الزامی است، پیشنهاد می‌کنیم که این سامانه‌ها از چهار اصل زیر پیروی کنند:

• تبیین (Explanation): سامانه برای خروجی‌ها و/یا فرایندهای خود، شواهد یا دلیل (یا دلایلی) همراه ارائه می‌کند یا در بر دارد.

• معنادار بودن (Meaningful): سامانه توضیح‌هایی ارائه می‌دهد که برای مصرف‌کننده(های) موردنظر قابل فهم باشد.

• دقت تبیین (Explanation Accuracy): توضیح، دلیل تولید خروجی را به‌درستی بازتاب می‌دهد و/یا فرایند سامانه را به‌طور دقیق منعکس می‌کند.

• محدودیت‌های دانش (Knowledge Limits): سامانه تنها در شرایطی که برای آن طراحی شده است و زمانی که به اطمینان کافی درباره خروجی خود برسد، عمل می‌کند.

در این کار، هم به اهمیت توضیح‌های مبتنی بر فرایند و مبتنی بر نتیجه و هم به اهمیت هدف و سبک توضیح اذعان داریم. برای مثال، توسعه‌دهندگان و طراحان هوش مصنوعی ممکن است نیازهای توضیحی بسیار متفاوتی نسبت به سیاست‌گذاران و کاربران نهایی داشته باشند. بنابراین، اینکه چرا توضیحی درخواست می‌شود و چگونه ارائه می‌گردد، بسته به کاربران هوش مصنوعی می‌تواند متفاوت باشد. این چهار اصل به‌شدت از توجه به تعامل سامانه هوش مصنوعی (AI system) با دریافت‌کننده انسانی اطلاعات تأثیر گرفته‌اند. الزامات موقعیت موجود، وظیفه پیش‌رو و مصرف‌کننده، همگی بر نوع توضیحی که برای آن موقعیت مناسب تشخیص داده می‌شود تأثیر خواهند گذاشت. این موقعیت‌ها می‌توانند شامل، اما محدود به، الزامات نهادهای ناظر و الزامات قانونی، کنترل کیفیت یک سامانه هوش مصنوعی و روابط با مشتریان باشند. چهار اصل ما درباره سامانه‌های هوش مصنوعی توضیح‌پذیر در نظر دارد مجموعه‌ای گسترده از انگیزه‌ها، دلایل و دیدگاه‌ها را پوشش دهد. این اصول امکان تعریف عوامل زمینه‌ای مدنظر برای یک توضیح را فراهم می‌کنند و راه را برای اندازه‌گیری و ارزیابی (Measurement and evaluation) کیفیت توضیح هموار می‌سازند.

با توجه به پیچیدگی (Complexity) فضای هوش مصنوعی، تصور ما این است که این اصول در گذر زمان از پالایش بیشتر و ورودی‌های جامعه بهره خواهند برد. کاملاً اذعان می‌کنیم که عوامل اجتماعی‌ـ‌فناورانه (Socio-technical) متعدد دیگری نیز فراتر از تبیین‌پذیری بر قابلیت اعتماد (Trustworthiness) هوش مصنوعی تأثیر می‌گذارند. این کار درباره اصول سامانه‌های هوش مصنوعی توضیح‌پذیر، بخشی از سبد بسیار بزرگ‌تر NIST در حوزه هوش مصنوعی اعتمادپذیر^۱ است که داده‌ها، استانداردها، ارزیابی، اعتبارسنجی و تصدیق را در بر می‌گیرد — که همگی برای اندازه‌گیری‌های هوش مصنوعی ضروری‌اند. NIST یک مؤسسه سنجش‌شناسی است و از این رو، تعریف اصول اولیه سامانه‌های هوش مصنوعی توضیح‌پذیر همچون نقشه راهی برای فعالیت‌های آتی اندازه‌گیری و ارزیابی عمل می‌کند. اهداف و فعالیت‌های هوش مصنوعی این نهاد بر اساس مأموریت‌های قانونی‌اش، راهنمایی‌های کاخ سفید و نیازهای ابرازشده از سوی صنعت آمریکا، سایر نهادهای فدرال و جامعه جهانی پژوهش هوش مصنوعی اولویت‌بندی و جهت‌دهی می‌شود. کار حاضر تنها یک گام در این فضای بسیار بزرگ‌تر است و تصور می‌کنیم این کار همچون حوزه بزرگ‌تر هوش مصنوعی، در گذر زمان به تکامل و پیشرفت خود ادامه خواهد داد.

هنگامی که پدر یکی از نویسندگان به سرطان مبتلا شد، برای گفت‌وگو نزد پزشک متخصص انکولوژی خود رفت. آن پزشک وضعیت سرطان را توصیف کرد و راهبردها و گزینه‌های درمان را بررسی کرد. او به پرسش‌های پدر پاسخ داد و نقش او را در روند درمان توضیح داد. پدرِ نویسنده احساس می‌کرد که شریک است و اندکی کنترل بر اوضاع دارد. پدر به درمان اعتماد کرد، زیرا توضیحی معنادار و قابل‌فهم درباره فرایند دریافت کرده بود. رفتار دلسوزانه و صمیمانه پزشک، پدر را جلب کرد. هنرهای پزشکی دگرگون شده‌اند و داشتن رفتار دلسوزانه با بیمار به امری رایج بدل شده است. هنگامی که سامانه‌های هوش مصنوعی (AI) در تشخیص پزشکی مشارکت می‌کنند، می‌توانند با توضیح توصیه‌های خود به پزشکان، از این رفتار دلسوزانه پشتیبانی کنند.

تشخیص‌های پزشکی تنها نمونه‌ای است که در آن سامانه‌های هوش مصنوعی در تصمیم‌هایی که بر زندگی افراد اثر می‌گذارند نقش دارند. نمونه‌های دیگر، سامانه‌هایی هستند که درخواست‌های وام را ارزیابی می‌کنند و حبس‌های کیفری را پیشنهاد می‌دهند. ماهیتِ این تصمیم‌ها، موجی برای خلق الگوریتم‌ها، روش‌ها و تکنیک‌هایی برانگیخته است که خروجی‌های سامانه‌های هوش مصنوعی را با توضیح همراه کنند. این موج تا حدی توسط قوانین و مقرراتی برانگیخته شده که مقرر می‌دارند تصمیم‌ها، از جمله تصمیم‌های سامانه‌های خودکار، باید اطلاعاتی درباره استدلال پشت آن تصمیم‌ها ارائه دهند^۲. همچنین این موج از میل به خلق هوش مصنوعی اعتماد‌پذیر (Trustworthy AI) برمی‌خیزد [49, 109, 131].

هوش مصنوعی توضیح‌پذیر یکی از چند ویژگی‌ای است که اعتماد به سامانه‌های هوش مصنوعی را توصیف می‌کند [121, 127, 134]. دیگر ویژگی‌ها شامل تاب‌آوری، قابلیت اطمینان، سوگیری و پاسخگویی هستند. این اصطلاحات معمولاً به‌صورت مجزا تعریف نمی‌شوند، بلکه به‌عنوان بخشی یا مجموعه‌ای از اصول یا ارکان مطرح می‌گردند. تعاریف بسته به نویسنده متغیرند و بر هنجارهایی تمرکز دارند که جامعه از سامانه‌های هوش مصنوعی انتظار دارد رعایت شوند. بر پایه فراخوان‌ها برای سامانه‌های توضیح‌پذیر [59]، می‌توان فرض کرد که ناتوانی در بیان منطقِ یک پاسخ می‌تواند بر سطح اعتمادی که کاربران به آن سامانه می‌دهند اثر بگذارد. گمان به سوگیری یا ناعادلانه بودن سامانه می‌تواند نگرانی‌هایی درباره آسیب به افراد و به جامعه برانگیزد [119, 146]. این امر ممکن است پذیرش و به‌کارگیری اجتماعی این فناوری را کند کند.

با افزایش فراخوان برای توضیح‌ها، این حوزه به روشی اصولی نیاز دارد که توضیح خوبِ یک سامانه هوش مصنوعی را توصیف کند. نخست، این توصیف باید انسان‌محور باشد، زیرا انسان‌ها مصرف‌کننده توضیح‌ها هستند. دوم، توضیح‌ها باید برای مردم قابل‌فهم باشند. سوم، توضیح‌ها بهتر است فرایند تولید خروجی توسط سامانه را به‌درستی بازتاب دهند. برای تقویت اعتماد به توضیح‌ها، سامانه باید زمانی که خارج از شرایط طراحی‌شده خود عمل می‌کند، آن را نشان دهد. این مفاهیم بنیادینِ یک توضیح خوب، اساس چهار اصل ما برای هوش مصنوعی توضیح‌پذیر است.

هرچند این اصول ممکن است بر روش‌هایی که الگوریتم‌ها برای دستیابی به اهداف هوش مصنوعی توضیح‌پذیر به‌کار می‌گیرند اثر بگذارند، تمرکز این مفاهیم بر خودِ روش‌های الگوریتمی یا محاسبات نیست. همچنین این اصول مربوط به کاربرد سامانه در زمان استقرار نیستند. بلکه ما چهار اصل را حول انسان‌هایی که توضیح‌ها را مصرف می‌کنند سازمان‌دهی کرده‌ایم. این اصول ساختاری برای آغاز سنجش مؤلفه‌های توضیح فراهم می‌کنند: کیفیت، خوبی، دقت و محدودیت‌های آن‌ها. سنجش توضیح‌ها به شکلی ساخت‌یافته برای پیشرفت این حوزه به‌سوی تعاریف مشخصی که کیفیت توضیح با آن‌ها قابل سنجش باشد، ضروری است. این اصول راهنمایی برای مسیرهای پژوهشی آینده این حوزه به شمار می‌روند. این چهار اصل، بنیانِ سنجش هوش مصنوعی توضیح‌پذیر، ملاحظات سیاست‌گذاری، ایمنی، پذیرش اجتماعی و دیگر جنبه‌های فناوری هوش مصنوعی را پشتیبانی می‌کنند.

ما اصول را در Section 2 ارائه و بررسی می‌کنیم. در Section 3 دیدی گسترده از توضیح‌ها اتخاذ کرده و این فضا را توصیف می‌کنیم. خطرهایی که هوش مصنوعی توضیح‌پذیر معرفی می‌کند — به‌ویژه خطرهایی که در صورت برآورده نشدن اصول پدید می‌آیند — را در Section 4 برمی‌شماریم. برای زمینه‌سازی کارهای موجود، مروری بر روش‌های کنونی هوش مصنوعی توضیح‌پذیر و سنجه‌های ارزیابی، و دیگر اصول موجود برای هوش مصنوعی توضیح‌پذیر ارائه می‌دهیم (Sections 5، 6 و 7). در پایان، ادبیات موجود را مرور می‌کنیم تا میزان برآورده شدن همین اصولی که برای AI معرفی کرده‌ایم توسط انسان‌ها ارزیابی شود (Section 8). انتظارات عملکردی برای انسان‌ها و ماشین‌ها می‌تواند متفاوت باشد. هرچند در برخی زمینه‌ها این انتظارات متفاوت ممکن است مناسب باشد یا نباشد، مبنایی که بتوان بر اساس آن آن‌ها را مقایسه کرد لازم است.

چهار اصل بنیادین برای سامانه‌های هوش مصنوعی توضیح‌پذیر ارائه می‌کنیم. این اصول به‌شدت از توجه به نحوه تعامل سامانه هوش مصنوعی با دریافت‌کننده انسانیِ اطلاعات تأثیر گرفته‌اند. الزامات موقعیت داده‌شده، وظیفه پیشِ‌رو، و مصرف‌کننده همگی بر نوع تبیینِ مناسب تلقی‌شده برای آن موقعیت تأثیر خواهند داشت. این موقعیت‌ها می‌توانند شامل، اما محدود به، الزامات نهادهای نظارتی و حقوقی، کنترل کیفیت یک سامانه هوش مصنوعی، و روابط با مشتریان باشند. چهار اصل ما در نظر دارد مجموعه گسترده‌ای از انگیزه‌ها، دلایل، و دیدگاه‌ها را پوشش دهد. اصول ما بر سامانه‌هایی که تبیین تولید می‌کنند اعمال می‌شود و از طیف کامل فنون هوش مصنوعی، نه صرفاً فنون یادگیری ماشین، پشتیبانی می‌کنند.

پیش از پرداختن به اصول، در این سند سه اصطلاح کلیدی را به‌صورت عملیاتی تعریف می‌کنیم: «تبیین» (Explanation)، «خروجی» (Output)، و «فرایند» (Process). تبیین عبارت است از شواهد، پشتوانه، یا استدلال مرتبط با خروجی یا فرایند یک سیستم. خروجی یک سیستم را چنین تعریف می‌کنیم: i) نتیجه به‌دست‌آمده از یا ii) اقدام انجام‌شده توسط یک ماشین یا سیستمِ عهده‌دار انجام یک وظیفه. خروجی یک سیستم بسته به وظیفه متفاوت است. برای درخواست وام، خروجی یک تصمیم است: تأیید یا رد. برای یک سیستم توصیه‌گر، خروجی می‌تواند فهرستی از فیلم‌های پیشنهادی باشد. برای یک سیستم بررسی دستور زبان، خروجی خطاهای دستوری و اصلاحات پیشنهادی است. برای یک سیستم طبقه‌بندی، می‌تواند شناسه یک شیء یا آشکارساز هرزنامه باشد. برای رانندگی خودکار، می‌تواند خودِ ناوبری باشد. فرایند به رویه‌ها، طراحی، و جریان کاری سیستم اشاره دارد که زیربنای سیستم هستند (بنگرید به [50]). این موارد شامل مستندات مربوط به سیستم، اطلاعات درباره داده‌های به‌کاررفته در توسعه سیستم یا داده‌های ذخیره‌شده، و دانش مرتبط با سیستم است.

به‌طور خلاصه، چهار اصل ما درباره هوش مصنوعی تفسیرپذیر چنین است:

تبیین: یک سیستم شواهد یا دلایلی را برای خروجی‌ها و/یا فرایندها ارائه می‌کند یا در بر دارد.

• معنادار بودن: یک سیستم تبیین‌هایی ارائه می‌دهد که برای مصرف‌کننده(های) موردنظر قابل فهم باشد.

• «دقت تبیین» (Explanation Accuracy): تبیین به‌درستی دلیل تولید خروجی را بازتاب می‌دهد و/یا فرایند سیستم را به‌گونه‌ای دقیق بازتاب می‌دهد.

• «محدودیت‌های دانش» (Knowledge Limits): یک سیستم تنها در شرایطی که برای آن‌ها طراحی شده و آنگاه که به اطمینان کافی درباره خروجی خود رسیده باشد، عمل می‌کند.

این اصول در ادامه با جزئیات بیشتر تعریف و در بستر مناسب قرار می‌گیرند. شکل ۱ اصول را نشان می‌دهد و بیان می‌کند که برای آنکه سیستمی تفسیرپذیر تلقی شود، باید نخست تبیینی داشته باشد یا شواهد همراهی در بر داشته باشد که بتوان به آن دسترسی یافت.

تصویر در نسخهٔ PDF Fig. 1. تصویری از چهار اصل هوش مصنوعی توضیح‌پذیر. پیکان‌ها نشان می‌دهند که برای تفسیرپذیر بودن یک سیستم، باید تبیینی ارائه دهد. سه اصل باقی‌مانده، ویژگی‌های بنیادین آن تبیین‌ها هستند.

شکل ۱. تصویری از چهار اصل هوش مصنوعی توضیح‌پذیر. پیکان‌ها نشان می‌دهند که برای تفسیرپذیر بودن یک سیستم، باید تبیینی ارائه دهد. سه اصل باقی‌مانده، ویژگی‌های بنیادین آن تبیین‌ها هستند.

2.1 تبیین

اصل تبیین بیان می‌کند که برای آنکه یک سامانه قابل‌تبیین تلقی شود، آن سامانه شواهد، پشتیبانی یا استدلال مرتبط با یک پیامد برآمده از یک «سامانه هوش مصنوعی» (AI system) یا فرایندی از آن را ارائه می‌دهد. اصل تبیین به‌تنهایی مستقل از درست، گویا یا فهم‌پذیر بودن تبیین است. این اصل هیچ سنجه‌ای از کیفیت بر آن تبیین‌ها تحمیل نمی‌کند. این عوامل، مؤلفه‌های اصول معناداری و «دقت تبیین» (Explanation Accuracy) هستند. تبیین‌ها در عمل متنوع خواهند بود و به‌تناسبِ سامانه و سناریوی داده‌شده نیز بهتر است متنوع باشند. این بدان معناست که طیف گسترده‌ای از روش‌ها برای اجرای یک تبیین یا تعبیه آن در یک سامانه وجود خواهد داشت. برای گنجاندن طیف گسترده‌ای از کاربردها، تعریفی عمداً گسترده از تبیین در پیش می‌گیریم.

۲.۲ معنادار

یک سیستم اصل معنادار را برآورده می‌کند اگر گیرندهٔ مقصود، توضیح یا توضیحات سیستم را درک کند. در توضیح‌ها مشترکاتی وجود دارد که می‌تواند آن‌ها را معنادارتر سازد [84]. برای مثال، بیان اینکه چرا سیستم به شیوه‌ای معین رفتار کرده است می‌تواند قابل‌فهم‌تر از توصیف اینکه چرا به شیوه‌ای معین رفتار نکرده است باشد [76]. عوامل بسیاری در آنچه افراد مختلف آن را یک توضیح «خوب» می‌دانند نقش دارند [55, 84, 139]. بنابراین، توسعه‌دهندگان باید مخاطب مقصود را در نظر بگیرند [44]. چندین عامل بر آنچه افراد اطلاعات را مهم، مرتبط یا سودمند می‌یابند اثر می‌گذارد. این عوامل شامل دانش و تجربه‌های پیشین فرد و تفاوت‌های کلی روان‌شناختی میان افراد است [18, 64, 90]. افزون بر این، آنچه افراد معنادار می‌دانند به‌مرور زمان با کسب تجربه از یک وظیفه یا سیستم تغییر می‌کند [18]. گروه‌های مختلف افراد نیز خواسته‌های متفاوتی از توضیح‌های یک سیستم خواهند داشت [13, 44, 50]. گروه‌ها را می‌توان به‌طور گسترده بر اساس نقش یا رابطه‌شان با سیستم تعریف کرد. برای مثال: توسعه‌دهندگان یک سیستم به‌احتمال زیاد خواسته‌های متفاوتی از یک توضیح در مقایسه با کاربر نهایی دارند.

علاوه بر مخاطب، آنچه معنادار تلقی می‌شود بر اساس هدف توضیح نیز متغیر است. سناریوها و نیازهای گوناگون تعیین می‌کنند که در یک زمینهٔ معین چه چیزی مهم و سودمند است. برآورده‌کردن اصل معنادار از راه درک نیازهای مخاطب، سطح تخصص او و ارتباط او با پرسش یا پرس‌وجوی مطرح حاصل می‌شود. بحث مفصل‌تری دربارهٔ این اهداف در بخش 3 ارائه می‌دهیم.

سنجش اصل معنادار حوزه‌ای از کارهای جاری است (بخش 7.1). چالش، توسعهٔ پروتکل‌های سنجشی است که با مخاطبان مختلف سازگار شوند. به‌جای آنکه این موضوع را بارِ اضافی بدانیم، استدلال می‌کنیم که هم آگاهی و هم قدردانی از زمینهٔ یک توضیح، توانایی سنجش کیفیت توضیح‌های AI را پشتیبانی می‌کند. بنابراین، محدوده‌دارکردن این عوامل، امکانات اجرای توضیح را به شیوه‌ای هدف‌مند و معنادار محدود و مشخص می‌سازد.

2.3 دقت تبیین

اصل تبیین و اصل معناداری در کنار هم تنها الزام می‌کنند که سیستم تبیین‌هایی تولید کند که برای مخاطبِ مقصد قابل‌فهم باشند. این دو اصل الزامی ندارند که یک تبیین فرایند تولید خروجیِ سیستم را به‌درستی بازتاب دهد. اصل «دقت تبیین» (Explanation Accuracy) صداقت را بر تبیین‌های سیستم تحمیل می‌کند.

دقت تبیین مفهومی متمایز از «دقت تصمیم» (Decision accuracy) است. دقت تصمیم به درست یا نادرست بودن قضاوت سیستم اشاره دارد. صرف‌نظر از دقت تصمیمِ سیستم، تبیین متناظر ممکن است نحوه رسیدن سیستم به نتیجه‌گیری یا اقدام خود را به‌درستی توصیف کند یا نکند. پژوهشگرانِ AI سنجه‌های استانداردی برای دقت الگوریتم و سیستم توسعه داده‌اند [23, 29, 52, 96, 97, 99, 103, 114]. اگرچه این «سنجه‌ها» (Metrics) جاافتادهٔ دقت تصمیم وجود دارند، پژوهشگران در حال توسعهٔ سنجه‌های عملکردی برای دقت تبیین هستند. در بخش 7.2، کارهای جاری در این موضوع را مرور می‌کنیم.

افزون بر این، دقت تبیین باید «سطح جزئیات» (level of detail) موجود در تبیین را لحاظ کند. برای برخی مخاطبان و/یا اهداف، تبیین‌های ساده کفایت خواهند کرد. استدلال ارائه‌شده ممکن است به‌اختصار بر نکته یا نکات کلیدی متمرکز شود یا استدلالی در سطح کلی بدون جزئیات گسترده ارائه دهد. چنین تبیین‌های ساده‌ای ممکن است فاقد ظرایفی باشند که برای توصیف کامل فرایند الگوریتم در تولید خروجی آن ضروری است. با این حال، این ظرایف ممکن است تنها برای مخاطبان خاصی معنادار باشند؛ مانند متخصصانِ سیستم. این وضعیت شبیه نحوه‌ای است که انسان‌ها برای تبیین موضوعات پیچیده به کار می‌برند. استاد علوم اعصاب ممکن است یافته‌ای جدید را با جزئیات گسترده و فنی برای یک همکار توضیح دهد. همان یافته به‌احتمال زیاد برای ارائه به یک دانشجوی کارشناسی تقطیع و تغییر می‌یابد تا جزئیات مربوط و سطح بالاتر ارائه شود. همان استاد ممکن است یافته را برای دوستان و والدینِ آموزش‌ندیدهٔ خود به‌شیوه‌ای بسیار متفاوت توضیح دهد.

در مجموع، این مطالب بر این نکته تأکید می‌کند که دقت تبیین و معناداری با یکدیگر در تعامل‌اند. یک تبیین تفصیلی ممکن است پردازش سیستم را به‌دقت بازتاب دهد، اما از میزان سودمندی و دسترس‌پذیری آن برای مخاطبان خاصی بکاهد. به همین ترتیب، تبیینی موجز و ساده ممکن است به‌شدت قابل‌فهم باشد، اما سیستم را به‌طور کامل توصیف نکند. با توجه به این ملاحظات، این اصل اجازهٔ انعطاف در سنجه‌های دقت تبیین را می‌دهد.

2.4 محدودیت‌های دانش

اصل‌های پیشین به‌طور ضمنی این فرض را دارند که سیستم در محدودهٔ طراحی و مرزهای دانش خود عمل می‌کند. اصل «محدودیت‌های دانش» (Knowledge Limits) بیان می‌کند که سیستم‌ها مواردی را شناسایی کنند که در آن‌ها برای عمل‌کردن طراحی نشده یا تأیید نشده‌اند، یا مواردی که پاسخ‌هایشان در آن‌ها قابل‌اتکا نیست. با شناسایی و اعلام محدودیت‌های دانش، این رویه پاسخ‌ها را ایمن می‌سازد تا هنگامی که ارائهٔ قضاوت ممکن است نامناسب باشد، قضاوتی ارائه نشود. این اصل می‌تواند با جلوگیری از برون‌دادهای گمراه‌کننده، خطرناک یا ناعادلانه، اعتماد به یک سیستم را افزایش دهد.

دو راه وجود دارد که یک سیستم می‌تواند به محدودیت‌های دانش خود برسد یا از آن‌ها فراتر رود. در یک حالت، عملیات یا پرس‌وجوی ارائه‌شده به سیستم می‌تواند خارج از دامنهٔ آن باشد. برای مثال، در سیستمی که برای طبقه‌بندی گونه‌های پرنده ساخته شده، کاربر ممکن است تصویر یک سیب را وارد کند. سیستم ممکن است بتواند پاسخی بازگرداند که نشان دهد در تصویر ورودی هیچ پرنده‌ای نیافته است؛ بنابراین، سیستم نمی‌تواند پاسخی ارائه دهد. این هم یک پاسخ است و هم یک توضیح. در حالت دوم، اطمینانِ محتمل‌ترین پاسخ ممکن است بر اساس یک آستانهٔ اطمینان داخلی، بیش‌ازحد پایین باشد. برای بازگشت به مثال سیستم طبقه‌بندی پرندگان، تصویر ورودیِ یک پرنده ممکن است آن‌قدر تار باشد که نتوان گونهٔ آن را تعیین کرد. در این حالت، سیستم ممکن است تشخیص دهد که تصویر متعلق به یک پرنده است، اما کیفیت تصویر پایین است. نمونه‌ای از برون‌داد ممکن است چنین باشد: «در تصویر یک پرنده پیدا کردم، اما کیفیت تصویر برای شناسایی آن بسیار پایین است.»

2.5 خلاصه

با توجه به گسترهٔ وسیع نیازها و کاربردهای سیستم‌های هوش مصنوعی (AI) توضیح‌پذیر، یک سیستم را می‌توان توضیح‌پذیرتر، یا بهتر در برآوردن اصول، دانست اگر بتواند بیش از یک نوع توضیح تولید کند. افزون بر این، سنجه‌هایی که برای ارزیابی دقتِ یک توضیح به‌کار می‌روند، لزوماً عمومی یا مطلق نیستند. در حال حاضر حجمی از کارهای در جریان به دنبال توسعه و اعتبارسنجی روش‌های هوش مصنوعی توضیح‌پذیر است. مروری بر این تلاش‌ها در بخش‌های 6 و 7 ارائه شده است. چهار اصل، راهنمایی برای چگونگی سنجش این موضوع فراهم می‌کنند که آیا خودِ توضیح نیازهای کاربر را برآورده می‌سازد یا خیر.

حوزهٔ هوش مصنوعی توضیح‌پذیر، قلمرویی از پژوهش فعال است. درک ما از این سیستم‌ها و کاربردشان، همراه با رشد این حوزه از طریق دانش و داده‌های جدید، دگرگون خواهد شد. از این رو، این اصول راهی برای جهت‌دهی به اندیشهٔ ما دربارهٔ نیازهای سیستم فراهم می‌کنند. این اصول مبنایی برای رویارویی با چالش‌ها و پرسش‌های نو به‌شمار می‌آیند.