هوش مصنوعی، اعتمادپذیری و دادرسی

در بررسی دقت و «قابلیت اطمینان» (Reliability) یک «سامانه هوش مصنوعی» (AI system)، طیفی از مسائل وجود دارد که باید در نظر گرفته شوند. پرسش‌های نمونه‌ای که دادگاه‌ها می‌توانند در نظر بگیرند به شرح زیر است:

1. آیا مجموعه‌داده‌ای که سیستم بر پایه آن آموزش دیده بود، نماینده «دامنه» (domain)‌ای بود که در آن به کار گرفته شد؟

• برای مثال، آیا کلاس‌های مختلف (یعنی قمارباز دارای مشکل/فاقد مشکل) متوازن هستند؟ این موضوع چه تأثیری بر عملکرد خواهد داشت؟

2. آیا می‌خواهیم رویدادی نادر را طبقه‌بندی کنیم؟

• اگر چنین است، شاید لازم باشد عملکرد را به‌شیوه‌ای بسیار متفاوت از رویدادهای رایج در نظر بگیریم.

3. آیا مجموعه‌داده «پاک‌سازی» شده بود؟

• اغلب، لازم است موارد گمشده، داده‌های نادرست و سایر ناهنجاری‌های موجود در داده‌ها بررسی شوند.

4. آیا داده‌ها شامل همه ویژگی‌های مهم بودند؟

• برای مثال، اگر رفتار قماربازی بازدیدکنندگان خارجی با بازدیدکنندگان غیرخارجی تفاوت زیادی داشته باشد، احتمالاً بهتر است این موضوع یک ویژگی ورودی باشد.

5. آیا در آموزش سیستم از رویه‌های صحیح استفاده شد؟

• برای مثال، آیا مجموعه‌داده به مجموعه آموزش و مجموعه آزمون تفکیک شده بود؟

• آیا داده‌ها به روش «استاندارد» (Standard) بین مجموعه آموزش و مجموعه آزمون تقسیم شده بودند (یعنی 80/20، 67/33، 50/50)؟

6. آیا عملکرد به‌دقت تحلیل شد؟

• برای مثال، آیا انواع مختلف خطاها تفکیک شده بودند؟ ممکن است تنها خطاها مثبت کاذب باشند و رفع مثبت‌های کاذب بسیار پرهزینه‌تر از منفی‌های کاذب باشد.

7. آیا مدل ثابت ماند یا در طول زمان به‌روزرسانی شد؟

• پس از استقرار یک مدل، می‌توان انتظار جابه‌جایی توزیعی را داشت. ممکن است روش خوبی باشد که مدل در فواصل زمانی منظم بازآموزی شود تا با چنین جابه‌جایی‌ای مقابله شود.