هوش مصنوعی – مسائل بنیادین و واژه‌نامه

مدل‌ها و سامانه‌های هوش مصنوعی به‌طور فزاینده‌ای در محیط‌های تجاری، دانشگاهی و دولتی به‌کار گرفته می‌شوند. در حقیقت، یافتن بخشی از اقتصاد یا حوزه‌ای از زندگی انسان که هوش مصنوعی هنوز به آن نپرداخته باشد دشوار است. از این‌رو، درک کارکردها و تأثیرات این فناوری در کاربردهای عملی اهمیتی حیاتی دارد.

خروجی‌ها. مدل‌های هوش مصنوعی با همبسته‌سازی اطلاعات و شناسایی الگوها از رویدادها یا نمونه‌های گذشته (داده‌ها) و تطبیق آن‌ها با داده‌های جدید، پیش‌بینی تولید می‌کنند تا احتمال وقوع یک رویداد یا نمونه در آینده را پیش‌بینی کنند؛ یعنی مدل‌های هوش مصنوعی احتمالاتی را ارائه می‌دهند و عدم‌قطعیت ذاتی‌ای را با خود حمل می‌کنند. پیش‌بینی‌ها می‌توانند در سطحی کلی یا جمعیتی رخ دهند (مثلاً پیش‌بینی‌های جمعیت‌شناختی برای اطلاع‌رسانی در طراحی محصولات مصرفی)، یا می‌توانند بسیار اختصاصی باشند؛ در حد یک شخص

(فوق‌شخصی‌سازی‌شده) یا یک مولکول (مثلاً پیش‌بینی می‌شود خانم Smith عصر امروز مایل به خرید این برند کفش دویدن باشد). و همهٔ موارد بین این دو.

پیش‌بینی‌ها به دو دسته تقسیم می‌شوند:

• توصیه‌ها: نتیجه یا مسیر اقدامی پیشنهادی که بر پایهٔ پیش‌بینی‌های مدل ارائه می‌شود. مثال: اینکه یک شخص خاص چه فیلم‌ها یا کفش‌هایی را ممکن است بپسندد، یا برای چه شغلی باید درخواست دهد، بر اساس ویژگی‌ها و رفتار تاریخی او (در مقایسه با اشخاصی با وضعیت مشابه، آن‌گونه که مدل تعیین می‌کند).

• بینش‌ها: خروجی‌های سامانه هوش مصنوعی حاوی دانش یا اطلاعاتی قابل‌اقدام که می‌توانند از طیفی از کارکردهای انسانی یا فنی، از جمله تصمیم‌گیری، پشتیبانی کنند. مثال: اینکه آیا کسی به‌احتمال زیاد شغلش را ترک می‌کند، یا از یک جلسهٔ تمرین چشم‌پوشی می‌کند یا قرار پزشکی را از دست می‌دهد، بر اساس ویژگی‌ها و رفتار تاریخی او (در مقایسه با اشخاصی با وضعیت مشابه، آن‌گونه که مدل تعیین می‌کند).

بدیهی است که نحوهٔ استفاده از این توصیه‌ها و بینش‌ها، اینکه چه کسانی به آن‌ها دسترسی دارند، و اینکه موضوع آن‌ها آیا با تولید، استفاده، اشتراک‌گذاری یا تجمیع آن‌ها موافقت کرده است یا نه، همگی پرسش‌هایی مهم‌اند.

عملکرد و پایش مستمر. بخش‌های زیر بحث می‌کنند که چگونه عملکرد مدل‌های هوش مصنوعی و محدودیت‌ها و ریسک‌های کلیدی آن‌ها را ارزیابی کنیم. اما از منظر چرخهٔ عمر هوش مصنوعی، نکتهٔ حیاتی آن است که مدل‌های هوش مصنوعی و در نتیجه سامانه‌ها باید به‌طور مستمر پایش شوند (ر.ک. در ادامه). آن‌ها برای بهبود، تنظیم و بازسازی طراحی شده‌اند؛ پس ویژگی ذاتی مدل‌های هوش مصنوعی آن است که خروجی‌هایشان در گذر زمان تغییر می‌کند و می‌تواند از سطوح اصلی عملکردشان — و حتی از اهداف اولیه‌شان — فاصله بگیرد.

چنان‌که بحث شد، تناسب هر یک از این خروجی‌ها تا حد زیادی به بستری بستگی دارد که خروجی‌ها در آن استفاده می‌شوند و اینکه این خروجی‌ها چگونه و توسط چه کسی ارائه می‌شوند. بسیاری از خروجی‌ها در بسترهای دیگر به داده‌های آموزشی و تولیدی تبدیل می‌شوند؛ از این‌رو ارزیابی منافع یا خطرهای مرکّب در یک مدل کامل می‌تواند دشوار باشد.

پاسخگویی و آموزش انسانی. انسان‌ها در نحوهٔ استقرار و پایش سامانه‌های هوش مصنوعی نقشی اساسی دارند. جزئیات اینکه انسان‌ها چه زمانی، چگونه و در چه گستره‌ای این کار را انجام می‌دهند، به بستر مورد کاربرد بستگی خواهد داشت:

• نظارت و پاسخگویی: به‌طور کلی، به نحوهٔ حکمرانی بر سامانه‌های هوش مصنوعی و حاکم بر آن‌ها، و نحوهٔ تخصیص ریسک و مسئولیت در طول این فرایندها اشاره دارد.

• آموزش: دوره‌ها، سخنرانی‌ها یا آموزش‌هایی برای کارکنان، مشتریان و مدیرانی که برای درک، بهره‌برداری و مدیریت فناوری‌های مرزی به آموزش پایه یا تخصصی نیاز دارند.

• هنجارهای اجتماعی و تکالیف مراقبتی: اینکه تکالیف مراقبتی سنتی در توسعهٔ محصول یا بهره‌برداری از آن چگونه بر سامانه‌های هوش مصنوعی یا بهره‌برداری از خروجی‌های آن‌ها نگاشت خواهد شد.

• بازنشست‌سازی: عمل خارج کردن یک مدل هوش مصنوعی از وضعیت استقرار، پس از تکمیل کارکرد آن یا افت عملکردش، یا به‌منظور اصلاح خطاها یا کاهش ریسک.

• استفادهٔ بعدی یا مجدد: تعیین اینکه آیا یک مدل هوش مصنوعی موجود در بستری جدید، برای هدفی جدید یا مورد کاربردی تازه، مناسب هدف است؛ یا به‌طور کلی گسترش قابلیت‌های آن از طریق یادگیری انتقالی.^۲۶

• پایش مستمر مدل: نیاز به هوشیاری مستمر و بازبینی فعالیت مدل برای رصد تغییرات و تناسب با هدف. بسیاری از مدل‌های هوش مصنوعی برای بهبود عملکرد خود در گذر زمان، با داده‌ها و تجربهٔ بیشتر، طراحی شده‌اند. این ویژگی هوش مصنوعی بسیار قدرتمند و سودمند است، و هم‌زمان ریسک‌های جدید و متفاوتی را پدید می‌آورد، آن هم در ارتباط با مدل‌هایی که در شکل اولیه‌شان برای انتشار مناسب‌اند اما در گذر زمان از اهداف یا عملکرد اصلی‌شان فاصله می‌گیرند.

عملکرد «سامانه هوش مصنوعی» (AI system) هم بر اساس عملکرد در نظرگرفته‌شدهٔ سامانه و هم بر اساس اثر آن بر ترتیبات انسانی و اجتماعی سنجیده می‌شود. چنان‌که بحث شد، سامانه‌های هوش مصنوعی به‌دلیل «ظرفیت» (Capacity, آبmark) بالقوه‌شان برای تولید بینش‌هایی با سرعت و مقیاس، و گاه در بُعدی، فراتر از ظرفیت انسانی ارزشمند شمرده می‌شوند. هوش مصنوعیِ به‌درستی اجراشده وعده می‌دهد راه‌های کاملاً تازه‌ای برای فهم جهان پیرامون (و درون) انسان‌ها آشکار کند و بینش‌هایی تولید خواهد کرد که دستاوردهایی حیرت‌انگیز به شمار می‌آیند. اما چنان‌که در بخش بعدی خواهیم گفت، اگر به‌درستی بررسی و مدیریت نشود، «خطرها» (Risks) ی پیامدهای فاجعه‌بار را نیز در پی دارد.

بهتر است یک سامانه هوش مصنوعی در درجهٔ نخست بر مبنای این سنجیده شود که پیش‌بینی‌های مدلِ آن تا چه اندازه با اهداف اعلام‌شده و خروجی‌های آموزش‌دیده هم‌خوانی دارد، مدل تا چه حد برای انجام وظیفه مناسب است، و مدل و انسان‌ها با توجه به اثر آن، تا چه میزان آزموده و آموزش‌دیده‌اند. این درک رو به گسترش است که سامانه‌های هوش مصنوعی بی‌نقص نیستند و بی‌نقصی نیز استاندارد مناسبی نیست؛ اینکه استاندارد مناسب چیست، دست‌کم بر حسب کاربرد، حوزهٔ قضایی و نظام حقوقی یا مقرراتی متفاوت خواهد بود.

در حالت کلی، عملکرد سامانه‌های هوش مصنوعی را می‌توان بر اساس چند معیار فنی (در تقابل با معیارهای اثری) ارزیابی کرد که اهمیت آن‌ها بسته به مورد استفاده تغییر می‌کند:

«اثربخشی» (Efficacy): توانایی مستمر در اجرای دقیق یک وظیفهٔ تعریف‌شده

«هزینه» (Cost): توانایی کاهش یا حذف هزینه‌های مرتبط با کار انسانی و/یا ماشینی.

سیستم‌های هوش مصنوعی چند محدودیت ذاتی دارند که برخی از آن‌ها فنی و برخی اجتماعی هستند. برای مثال، اگرچه سیستم‌های هوش مصنوعی می‌توانند همبستگی‌ها را میان داده‌ها تشخیص دهند و برقرار کنند، اما نمی‌توانند علیّت را درک کنند یا برقرار سازند، یا مشخص کنند که آیا متغیرها از طریق روابطی مرتبط‌اند که برای فهم انسانی معنادار باشد (مثلاً تشخیص گرگ از سگ بر اساس حالت فیزیکی آن در یک عکس)، یا روابط میان داده‌های بی‌اهمیت یا نامناسب (مثلاً تشخیص گرگ از سگ بر اساس وجود برف در عکس).

• نکتهٔ جالب اینکه، ارتباطات غیرمنتظره می‌توانند آموزنده یا زیان‌بار باشند. این یکی از اشکال پیامد ناخواسته است؛ همچنان که معرفی اثرگذاری اجتماعی تازه یا آسیب‌پذیری‌های امنیتی نیز چنین است. با این حال، بسیاری از مدل‌ها نمی‌توانند توضیح دهند که چگونه به بینش‌های خود دست یافته‌اند، و این مدل‌ها از کدر بودن^۲۷ یا فقدان «شفافیت» (Transparency) رنج می‌برند.^۲۸ گاهی خروجی‌ها غیرقابل تفسیرند^۲۹ و مدل‌ها همواره حاشیه‌ای از عدم قطعیت، خطا و شکلی از «سوگیری» (Bias) خواهند داشت (ر.ک. پایین).

در بررسی محدودیت‌ها و خطرهای هوش مصنوعی، چند مشاهدهٔ مهم:

• این حوزه هنوز در حال توسعه است و همچنان چیزهای زیادی برای یادگیری باقی مانده است.

• بسیار اغلب (شاید در بیشتر موارد)، حتی توسعه‌دهندگان نیز نمی‌دانند یا نمی‌توانند بدانند که یک مدل یا سیستم هوش مصنوعی هنگام عرضه یا در گذر زمان دقیقاً چگونه عمل خواهد کرد.

• هیچ استاندارد واحدی برای اینکه هوش مصنوعیِ «خوب» یا «مسئول» یا «معقول» چه شکلی است وجود ندارد؛ و به همین ترتیب، برای اینکه هوش مصنوعیِ «بد» چه شکلی است.

• حتی بهترین طراحی‌شده‌ترین و خیرخواهانه‌ترین هوش مصنوعی نیز محدودیت‌های ذاتی‌ای خواهد داشت. و همین را می‌توان دربارهٔ انسان‌ها گفت.

به‌طور کلی، محدودیت‌ها و خطرهای مدل‌های هوش مصنوعی در دسته‌های زیر قرار می‌گیرند: عدم قطعیت و خطا، سوگیری، کدر بودن و آسیب‌پذیری‌های امنیتی. علل و آثار این آسیب‌پذیری‌ها هم‌پوشانی دارند، بر هم اثر می‌گذارند و یکدیگر را تقویت می‌کنند؛ از این رو جدا کردن آن‌ها به‌طور دقیق دشوار است. با این تذکر، هر یک را به‌ترتیب خلاصه می‌کنیم.

از آنجا که مدل‌های AI با تولید پیش‌بینی عمل می‌کنند — حتی پیش‌بینی‌های بسیار خوب — خروجی‌های آن‌ها دربردارنده عنصری بنیادین، ذاتی و تقلیل‌ناپذیر از عدم قطعیت یا خطاست. البته انسان‌ها نیز چنین‌اند. از آنجا که مدل‌های AI برای پرداختن به مسائل اجتماعی/حقوقی پیچیده‌تر در حال توسعه‌اند، عنصری اجتناب‌ناپذیر از نوآوری و آزمایش وجود دارد که به‌ناچار عدم قطعیت و پیچیدگی را افزایش می‌دهد.

هیچ استاندارد حقوقی موردتوافق یا مشترکی درباره سطوح قابل‌تحمل عدم قطعیت یا خطا، یا آنچه مصداق بی‌احتیاطی یا بی‌ملاحظگی است، وجود ندارد. پاسخ‌ها در این زمینه به عوامل و نفوذهای گوناگونی بستگی خواهد داشت: قوانین، تصمیمات دادگاه‌ها، رهنمودهای اجتماعی و رویه‌های صنعتی/شرکتی. در برخی حوزه‌ها، قوانین و مقررات موجود اعمال خواهند شد و در برخی دیگر، ممکن است قانون‌گذاری جدیدی الزامی باشد. استانداردهای جهانی، فدرال، ایالتی و محلی از نظر ماهیت و سرعت پذیرش متفاوت خواهند بود. بخش عمده‌ای از کار در حوزه حکمرانی AI تلاشی است برای تدوین و استقرار حداقل استانداردها در این فاصله و پرداختن به شکاف‌های موجود در الزامات. اما نحوه اجرای عملی قانون و بر اساس چه استانداردهایی، موضوعی برای دادگاه‌ها خواهد بود (ر.ک. همچنین: پیوست A در ادامه).

به دلیل سرعت و مقیاسی که سامانه‌های هوش مصنوعی با آن عمل می‌کنند و بسیار فراتر از دامنه پردازش انسانی است، حتی نرخ‌های کوچک عدم قطعیت و خطا می‌توانند به پیامدهای قابل‌توجهی بینجامند. بر همین اساس، ممکن است مدل‌های AI با نرخ خطای کمتر از انسان‌ها، با این حال ریسک بزرگ‌تری ایجاد کنند.

عدم قطعیت و خطا در یک سامانه هوش مصنوعی می‌تواند در هر نقطه از چرخه عمر AI پدید آید و نتیجه عوامل فناورانه یا انسانی، یا حاصل تعامل انسان و فناوری باشد.

• عدم قطعیت و خطای فناورانه: این ایده که بیشتر مدل‌های AI از تکنیک‌های یادگیری ماشین یا «یادگیری عمیق» (Deep Learning, DL) بهره می‌گیرند، که در هسته خود همبستگی‌های میان ویژگی‌ها را محاسبه و الگوهای موجود در مجموعه‌داده‌ها را بازمی‌شناسند تا پیش‌بینی‌هایی تولید کنند که مطلق یا کاملاً قطعی نیستند. این پیش‌بینی‌ها دارای امتیاز قطعیت خواهند بود (برای مثال: این تصویر با قطعیت ۹۸٪ گربه را نشان می‌دهد).

• عدم قطعیت و خطای انسانی: سامانه‌های هوش مصنوعی خود در معرض دشواری‌های معمول انسانی در ارتباط شفاف و پرهیز از پیامدهای خطاخیز قرار دارند؛ به همین ترتیب، اگرچه AI می‌تواند در برخی حوزه‌ها خطاهای انسانی را کاهش دهد، خطاهای انسانی را از میان نخواهد برد.

• تعامل انسان و فناوری: هرچه انسان‌ها و AI بیشتر تعامل کنند، بیشتر بر یکدیگر اثر می‌گذارند و پویایی‌های نو و خاص خود را آغاز به شکل‌دادن می‌کنند. انسان‌ها به برخی سیستم‌های AI بیش‌اتکایی خواهند کرد و از بازنویسی یا نادیده‌گرفتن پیش‌بینی‌های آن‌ها غفلت خواهند کرد؛ انسان‌ها همچنین کم‌اتکایی به AI خواهند داشت و پیشنهادهای معقولی را که می‌توانند پیامدها را بهبود بخشند رد خواهند کرد. انسان‌ها به مدل‌های AI دستور انجام کارهای درخشان و کارهای وحشتناک را خواهند داد.

نکته حیاتی این است که عدم قطعیت و خطا می‌توانند در مراحل طراحی و توسعه وارد شوند، یا مدت‌ها پس از توسعه، راه‌اندازی و مناسب‌شناخته‌شدن یک مدل AI برای هدف موردنظر ظاهر شوند. برای نمونه، مدلی که در یک زمینه خاص ابتدا با دقت، «قابلیت اطمینان» (Reliability) و «روایی» (Validity) بالایی عمل می‌کند، ممکن است به‌مرور از استانداردها یا اهداف عملکرد موردنظر خود فاصله بگیرد (دریفت کند)، یا ممکن است تداعی‌های نادرستی را بپذیرد یا رفتارهای نامطلوب کنشگران انسانی یا ماشینی را در محیط کاربرد خود بازتولید کند. چند نمونه (غیرجامع):

• انتخاب نامناسب مورد کاربرد: ابزارها و تکنیک‌های AI راه‌حل هر مسئله یا پاسخگوی هر پرسشی نیستند (یا هنوز نیستند). این ابزارها برای انواع خاصی از مسائل که داده‌های باکیفیت برای آن‌ها در دسترس است بسیار مناسب‌اند؛ برای همه پرسش‌ها مناسب نیستند. همچنین، یک مورد کاربرد ممکن است به این دلیل نامناسب باشد که با قانون، اخلاق، هنجارها در تضاد است یا صرفاً با هدف دیگری کسب‌وکاری تعارض دارد، یا به این دلیل که مدلی که برای یک مورد کاربرد طراحی شده، در مورد کاربرد دیگری به‌کار گرفته شود که برای آن مناسب نیست.

• ناهم‌راستایی اهداف و مشکلات چارچوب‌بندی. مدل‌های AI باید با یک هدف طراحی شوند. نحوه تصور و بیان آن هدف (و هر محدودیتی بر آن هدف) اثرات عظیمی بر میزان عملکرد یا عدم عملکرد مدل خواهد داشت. هدف‌گذاری در زمینه AI در معرض چندین آسیب‌پذیری است:

• انسانی: انسان‌ها به بی‌دقتی در ارتباطات شهره‌اند و حتی وقتی توجه کاملی دارند و تلاش می‌کنند اهداف مدل را با پیامدهای به‌دقت سنجیده هم‌راستا کنند، افراد در زبان، تجربه زیسته، فرهنگ، سن، جنسیت و شرایط خود بسیار متفاوت‌اند که همگی می‌توانند بر نتایج مدل اثر بگذارند. به همین دلیل، از جمله دیگر دلایل، تیم‌های توسعه AI که از نظر فردی و حرفه‌ای متنوع باشند می‌توانند شمار دیدگاه‌ها و شانس تیم توسعه را در پیش‌بینی اینکه چارچوب‌بندی، زبان و دیگر مفروضات چگونه ممکن است خوب عمل کنند یا به انحراف بروند افزایش دهند. در برخی محیط‌ها، توصیف بسیار عام یا بسیار خاص دستورالعمل‌ها اهمیت چندانی نخواهد داشت، یا حتی ممکن است سودمند باشد (مثلاً کشف نمونه‌های بیشتر سلول‌های پیش‌سرطانی)؛ اما در محیط‌های دیگر، پیامدها ممکن است وخیم‌تر باشد (مثلاً تشخیص‌ندادن سلول‌های سرطانی بر اساس مجموعه‌ای محدود از پارامترها^۳۰ و اهداف طراحی^۳۱).

• انسان-فناوری: متخصصان فناوری در نهایت دستورالعمل‌های زبان انسانی را به قالبی خوانا برای ماشین ترجمه می‌کنند. این فرایند مستلزم آن است که برنامه‌نویسان تصمیم‌های کوچک بسیاری درباره نحوه توصیف چیزی در قالب کد و با کد اتخاذ کنند و از این رو فرصت‌هایی برای از دست رفتن برخی ظرافت‌ها، یا ورود مفروضات کاملاً طبیعی، سوءتفاهم‌ها یا سوگیری‌ها پدید می‌آورد.

• فناوری: مدل‌های AI زمینه یا محدودیتی ندارند، مگر آنکه برای داشتن آن‌ها طراحی و کدنویسی شده باشند. مدل‌های AI نمی‌توانند میان سطرها را بخوانند یا شروع به استنتاج قصد انسانی کنند. از این رو برخی پژوهشگران از مدل‌های AI طرفداری کرده‌اند که برای پرسیدن پرسش هنگامی که چیزی مبهم یا در تعارض است طراحی شده باشند. مدل‌های AI همچنین در معرض خزش کارکرد قرار دارند؛ حالتی که در آن سامانه هوش مصنوعی از دامنه، هدف، یا زمینه مورد کاربردی که برای آن طراحی شده یا در آن به‌کار گرفته شده فراتر می‌رود، که اغلب — اما نه همیشه — بدون اعتبارسنجی مناسب برای کاربرد جدید رخ می‌دهد.

• داده‌های آموزشی یا تولیدی ناقص، نامناسب یا غیرنماینده: داده‌های آموزشی مدل AI می‌توانند ناقص باشند یا نمونه‌ها، اشیا یا جمعیت‌ها را بیش‌نمایی یا کم‌نمایی کنند. مجموعه‌داده‌ای که برای آموزش یا تولید استفاده می‌شود بهتر است نسبت به یک مورد کاربرد به‌خوبی تدوین‌شده و هدفی به‌خوبی چارچوب‌بندی‌شده، به‌درستی ساخته و دامنه‌گذاری شده باشد. ناهم‌راستایی در این حوزه می‌تواند به خطاها و سوگیری بینجامد. همچنین مجموعه‌داده‌های مخدوش یا به‌درستی پاک‌سازی‌نشده می‌توانند خطاها و سوگیری‌ها وارد کنند.

• بیش‌برازش و کم‌برازش: مدل AI‌ای که ویژگی‌های داده را بیش از حد باریک یا سختگیرانه همبسته می‌کند، می‌تواند روابط و تداعی‌های مهمی را در داده‌ها از دست بدهد که ممکن است درست بیرون از آن پارامترها قرار داشته باشند (بیش‌برازش). در مقابل، مدل AI که ویژگی‌های داده را بیش از حد آزادانه همبسته می‌کند، می‌تواند میان ویژگی‌ها اهمیت یا معناداری نسبت دهد که در واقع وجود ندارد (کم‌برازش). هر دو شکلی از خطای سیستم هستند که می‌توانند بر سودمندی یک مدل AI اثر بگذارند.

• دریفت و افت عملکرد: دریفت می‌تواند هنگامی رخ دهد که یک مدل AI از دستورالعمل‌ها و آموزش خود فاصله بگیرد؛ خواه با انجام‌ندادن وظایف برنامه‌ریزی‌شده خود و خواه با انجام وظایف بیان‌نشده و تولید خروجی‌ها یا بینش‌های جدید. برخی بر این باورند که مدل‌ها به‌ناچار مستعد دریفت و در نتیجه افت عملکرد در طول زمان‌اند. این می‌تواند هنگامی رخ دهد که مدلی که در زمینه‌ای خاص ابتدا با دقت، قابلیت اطمینان و روایی بالایی عمل می‌کند، آغاز به بیش‌آموختن پیامدهای رایج کند (و موارد مرزی مهم را حذف کند)، تداعی‌های نادرستی را بپذیرد، یا رفتارهای نامطلوب کنشگران انسانی یا ماشینی را در محیط مورد کاربرد خود بازتولید کند (برای مثال، چت‌بات Tay ظرف چند روز نژادپرست و توهین‌گر شد، به دلیل نحوه تعامل انسان‌ها با آن). به همین دلیل، مدل‌های AI به «پایش» (Monitoring) مستمر مدل^۳۲ و نظارت نیاز دارند.

• خطای سیستم یا خطای اثر. هنگامی که به یک مدل AI داده‌های بد داده شود، یا در وضعیتی نو یا بدتعریف که برای آن طراحی یا آموزش ندیده به‌کار رود، یا برای هدفی به‌کار رود که نمی‌تواند یادگیری خود را به‌طور مشروع به آن انتقال دهد، این می‌تواند به خطاهای قابل‌تشخیص و غیرقابل‌تشخیص و پیامدهای ناخواسته بینجامد.

تمام مدل‌های AI – حتی مدل‌های بسیار خوب – با پردازش حجم عظیمی از داده‌های تاریخی، سازمان‌دهی آن‌ها بر اساس قواعد و استفاده از برچسب‌هایی که اغلب توسط انسان‌ها ارائه شده است، کار می‌کنند و در نتیجه دربرگیرنده نوعی سوگیری هستند.^۳۳ البته انسان‌ها نیز چنین‌اند.^۳۴

برخی میزان سوگیری برای عملکرد صحیح هر مدل AI ضروری است؛ چراکه همین امر به مدل امکان می‌دهد سلول‌های معمولی و غیرمعمولی را در یک تصویر پوست از هم تفکیک کند یا کفش‌هایی را که با سبک فرد هماهنگ است توصیه کند. پرسش‌های اجتماعی، حقوقی و اخلاقی زمانی مطرح می‌شود که مدل‌های AI در پیش‌بینی اموری با پیامدهای اجتماعی به کار می‌روند؛ مانند اینکه چه کسانی باید کمک‌های دولتی دریافت کنند یا در حوزه اشتغال ارتقا یابند.

سوگیری می‌تواند در هر مرحله از چرخه حیات AI وارد «سامانه هوش مصنوعی» (AI system) شود و محصول جانبی نحوه عملکرد انسان‌ها، داده‌ها و الگوریتم‌ها و قطعاً نحوه تعامل هر سه باشد.

• سوگیری انسانی (Human Bias). سوگیری‌های موجود انسانی، اعم از ضمنی یا صریح، از طریق انواع موارد کاربرد انتخاب‌شده، نحوه صورت‌بندی پرسش‌ها برای مدل‌های AI، داده‌هایی که انتخاب می‌شوند، نحوه تبدیل دستورالعمل‌های مدل به کد و حتی نحوه تفسیر خروجی‌های مدل یا اطلاع‌رسانی آن‌ها به جوامع متأثر، راه خود را به سامانه‌های هوش مصنوعی باز می‌کنند. اثر «سوگیری» (Bias) انسانی ممکن است در قالب «داده» ظاهر شود و ممکن است بر افراد یا جوامعی از افراد تأثیر بگذارد.

هرگونه اثر متفاوت، نامشروع نیست، اما برخی از آن‌ها نامشروع است و نحوه اعمال استانداردهای موجود بر خروجی‌های الگوریتمی موضوعی برای دادگاه‌هاست.

• سوگیری داده (Data bias): «مجموعه‌داده‌ها» (Datasets) حاوی اطلاعات تاریخی‌اند و الگوهای تاریخی را بازتاب می‌دهند که اگر خودشان سوگیری داشته باشند، آن سوگیری‌ها را در مدل‌هایی که روی آن داده‌ها آموزش دیده‌اند رمزگذاری خواهند کرد. مجموعه‌داده‌ها اطلاعات مربوط به رویدادهای تاریخی را گردآوری می‌کنند و ازاین‌رو مصنوعات تاریخ و تجربه انسانی‌اند. برخی داده‌ها حتی اگر سوگیری داشته باشند، امور خنثایی را بازتاب می‌دهند (مثلاً عملکرد یک شبکه ارتباطی خاص در طول زمان، یا تصاویر گربه‌ها). بااین‌حال، برخی داده‌ها رویدادهای تفسیرپذیر و بازتاب‌دهنده مسائل اجتماعی را منعکس می‌کنند (مثلاً شیوه‌های استخدام در طول زمان، نرخ تکرار جرم، یا تصاویر چهره‌ها). به همین ترتیب، مجموعه‌داده‌ها می‌توانند بازنمایی کمتر یا بیش از حد برخی جوامع را داشته باشند، به‌گونه‌ای که یک مدل واحد می‌تواند برای برخی جمعیت‌ها خوب و برای برخی دیگر کمتر خوب کار کند (مثلاً تشخیص چهره ممکن است در صورتی که روی مجموعه‌داده‌هایی آموزش دیده باشد که پوست‌های تیره‌تر یا زنان را به‌اندازه کافی بازنمایی نمی‌کنند، نرخ عدم‌قطعیت کمتری برای چهره‌های سفید یا مردانه و نرخ عدم‌قطعیت بیشتری برای چهره‌های قهوه‌ای یا زنانه داشته باشد).

• سوگیری الگوریتمی (Algorithmic bias): گرایش یک مدل AI به تولید خروجی‌هایی که به دلیل نحوه ساخته‌شدن یا عملکرد الگوریتم با داده‌هایی که مدل بر روی آن‌ها آموزش دیده یا اجرا می‌شود، عملکردی متفاوت دارند. خود الگوریتم می‌تواند سوگیری را رمزگذاری یا یاد بگیرد. این امر معمولاً محصول جانبی تصمیم‌های پیشین فناوران، انتخاب داده‌ها، تکنیک‌های یادگیری یا مدل‌های آموزشی است.

نحوه شناسایی و کاهش سوگیری غیرقابل‌قبول یا ناعادلانه چالشی جدی است. به‌طور فزاینده، روش‌ها و ابزارها به‌سرعت پیشرفت می‌کنند و برای کمک به ارزیابی مدل‌های AI و عملکرد آن‌ها در برابر پارامترهای مشخصی (مثلاً آیا مدل خروجی‌هایی «عادلانه» بر اساس استانداردی معین تولید می‌کند) در حال توسعه‌اند. این ابزارها و تکنیک‌ها همراه با خود مدل‌ها در حال تکامل‌اند و برای تطبیق‌پذیری و کیفیتشان باید به‌طور مستقل ارزیابی شوند.

مدل‌های هوش مصنوعی — حتی مدل‌های بسیار خوب — در سطحی از «پیچیدگی» (Complexity) و به شیوه‌هایی عمل می‌کنند که همیشه فهمیده نمی‌شوند یا فهم‌پذیر نیستند. «تبیین‌پذیری» (Explainability) هوش مصنوعی حوزه‌ای متمایز از کار فنی است که به آشکارسازی تبیین‌پذیری مدل و اینکه مدل‌های معینی از هوش مصنوعی چگونه کار می‌کنند و پیش‌بینی‌ها تولید می‌کنند، اختصاص دارد.

• تاریک‌ساختگی فناورانه. میزانی که مدل‌های هوش مصنوعی یا نتایج آن‌ها تبیین‌شدنی هستند یا می‌توانند تبیین شوند، یا در مقابل به‌شیوه‌ای موسوم به «جعبه سیاه» عمل می‌کنند،^۳۵ برحسب نوع مدل، مورد کاربرد و زمینه متفاوت خواهد بود. در نتیجه آنچه از نظر تبیین یا «شفافیت» (Transparency) انتظار داشتنش معقول است نیز متفاوت خواهد بود. این دشواری‌ها می‌توانند در ارزیابی اینکه چه خروجی‌ها، دستورالعمل‌ها و آموزش‌هایی معتبر و «دقیق» (accurate) هستند پدید آیند. دشواری در کندوکاو فرایند تولید پیش‌بینی مدل جعبه‌سیاه هوش مصنوعی می‌تواند توانایی تجدیدنظرخواهی نسبت به تصمیم‌های مبتنی بر آن پیش‌بینی‌ها را محدود کند. مدل‌های جعبه‌سیاه هوش مصنوعی همچنین احتمال وقوع خطاها را افزایش می‌دهند، به‌ویژه خطاهایی که برای انسان‌ها ناشناخته‌اند یا تشخیص آن‌ها دشوار است و می‌توانند مدت‌ها کشف‌نشده باقی بمانند.

• تاریک‌ساختگی انسانی. میزان تبیین‌پذیری سیستم‌های هوش مصنوعی اندکی بیش از آن در قلمرو پرسش‌های متعارف درباره طراحی، مشارکت، فرایند، آموزش، نظارت و سطوح متناسب با زمینه (یا الزامیِ) شفافیت و افشا قرار دارد. اگرچه اینکه خروجی‌های مدل هوش مصنوعی چگونه استفاده می‌شوند، چه فرایندهای تجدیدنظری در دسترس است و مواردی از این دست، بیشتر در قلمرو فرایندهای مدیریتی انسانی قرار دارند، باز هم نتایج ناشناخته و غیرقابل‌پیش‌بینی معینی در مدل‌ها و سیستم‌های هوش مصنوعی باقی خواهد ماند.