سنجش

انصاف و سوگیری — آن‌گونه که در کارکرد «نگاشت» (MAP) شناسایی شده — ارزیابی می‌شود و نتایج مستند می‌گردد.

درباره

انصاف در هوش مصنوعی شامل توجه به برابری و انصاف از طریق پرداختن به مسائلی مانند سوگیری زیان‌بار و تبعیض است. استانداردهای انصاف می‌توانند پیچیده و دشوار تعریف‌شدنی باشند، زیرا ادراک انصاف میان فرهنگ‌ها متفاوت است و ممکن است بسته به کاربرد تغییر کند. تلاش‌های سازمان‌ها در زمینه «مدیریت ریسک» (Risk management) با شناخت و در نظر گرفتن این تفاوت‌ها تقویت خواهد شد. سامانه‌هایی که در آن‌ها سوگیری‌های زیان‌بار کاهش یافته است، لزوماً منصف نیستند. برای مثال، سامانه‌هایی که پیش‌بینی‌هایشان میان گروه‌های جمعیت‌شناختی تا حدی متوازن است، همچنان ممکن است برای افراد دارای معلولیت در دسترس نباشند یا تحت تأثیر شکاف دیجیتال قرار داشته باشند، یا ممکن است نابرابری‌های موجود یا «سوگیری نظام‌مند» (Systemic Bias) را تشدید کنند.

سوگیری مفهومی گسترده‌تر از توازن جمعیت‌شناختی و بازنمایی‌پذیری داده‌هاست. مؤسسه ملی استاندارد و فناوری آمریکا (NIST) سه دستهٔ اصلی از سوگیری هوش مصنوعی را شناسایی کرده که باید در نظر گرفته و مدیریت شوند: نظام‌مند، محاسباتی و آماری، و شناختی‌ـ‌انسانی. هر یک از این‌ها می‌تواند بدون وجود پیش‌داوری، جانبداری یا قصد تبعیض‌آمیز رخ دهد.

• سوگیری نظام‌مند می‌تواند در «مجموعه‌داده‌ها» (Datasets) هوش مصنوعی، هنجارها، رویه‌ها و فرایندهای سازمانی در سراسر چرخهٔ حیات هوش مصنوعی، و جامعهٔ گسترده‌ای که از «سامانه‌های هوش مصنوعی» (AI system) استفاده می‌کنند، وجود داشته باشد.

• سوگیری‌های محاسباتی و آماری می‌توانند در مجموعه‌داده‌های هوش مصنوعی و فرایندهای الگوریتمی حضور داشته باشند و اغلب ناشی از خطاهای نظام‌مند ناشی از نمونه‌های غیربازنماینده هستند.

• سوگیری‌های شناختی‌ـ‌انسانی به نحوهٔ ادراک یک فرد یا گروه از اطلاعات سامانهٔ هوش مصنوعی برای تصمیم‌گیری یا تکمیل اطلاعاتِ ناموجود، یا به نحوهٔ اندیشیدن انسان‌ها دربارهٔ اهداف و کارکردهای یک سامانهٔ هوش مصنوعی مربوط می‌شود. سوگیری‌های شناختی‌ـ‌انسانی در فرایندهای تصمیم‌گیری در سراسر چرخهٔ حیات هوش مصنوعی و استفاده از سامانه، از جمله طراحی، پیاده‌سازی، بهره‌برداری و نگهداری هوش مصنوعی، همه‌جا حاضرند.

سوگیری به اشکال گوناگون وجود دارد و می‌تواند در سامانه‌های خودکاری که به تصمیم‌گیری دربارهٔ زندگی ما کمک می‌کنند، ریشه دواند. اگرچه سوگیری همیشه پدیده‌ای منفی نیست، سامانه‌های هوش مصنوعی می‌توانند به‌طور بالقوه سرعت و دامنهٔ سوگیری‌ها را افزایش دهند و آسیب‌ها را برای افراد، گروه‌ها، جوامع، سازمان‌ها و کل جامعه تداوم و تشدید کنند.

اقدامات پیشنهادی

• انجام ارزیابی‌های انصاف برای مدیریت اشکال محاسباتی و آماری سوگیری، شامل گام‌های زیر:

• شناسایی انواع آسیب‌ها، از جمله تخصیصی، بازنمایی، کیفیت خدمات، قالب‌زنی (کلیشه‌سازی) یا محو

• شناسایی گروه‌های بین‌گروهی، درون‌گروهی و متقاطعی که ممکن است آسیب ببینند

• کمّی‌سازی آسیب‌ها با استفاده از یک سنجهٔ عمومی انصاف، در صورت مناسب بودن (مانند برابری جمعیت‌شناختی، شانس یکسان‌شده، فرصت برابر، آزمون‌های فرض آماری)، و سنجه‌های سفارشی و وابسته به بستر که با همکاری جوامع متأثر تدوین شده‌اند

• تحلیل آسیب‌های کمّی‌شده برای تفاوت‌های معنادار در بستر، میان گروه‌ها، درون گروه‌ها و در میان گروه‌های متقاطع

• پالایش شناسایی نابرابری‌های درون‌گروهی و گروه‌های متقاطع.

• ارزیابی توزیع‌های داده‌ای زیربنایی و به‌کارگیری تحلیل حساسیت در جریان تحلیل آسیب‌های کمّی‌شده.

• ارزیابی سنجه‌های کیفیت از جمله نرخ‌های مثبت کاذب و منفی کاذب.

• توجه به سوگیری‌های مؤثر بر گروه‌های کوچک، جوامع درون‌گروهی یا متقاطع، یا افراد منفرد.

• درک و در نظر گرفتن منابع سوگیری در داده‌های آموزش و TEVV:

• تفاوت‌ها در توزیع پیامدها میان و درون گروه‌ها، از جمله گروه‌های متقاطع.

• کامل بودن، بازنمایندگی و توازن منابع داده.

• شناسایی ویژگی‌های دادهٔ ورودی که ممکن است به‌عنوان جانشینِ عضویت در گروه جمعیت‌شناختی عمل کنند (مانند نمرهٔ اعتباری، کد پستی) یا به گونه‌ای دیگر منشأ سوگیری نوپدید در سامانه‌های هوش مصنوعی شوند.

• اشکال سوگیری نظام‌مند در تصاویر، متن (یا جاسازی واژه‌ها)، صدا یا سایر داده‌های پیچیده یا ساخت‌نیافته.

• بهره‌گیری از ارزیابی‌های اثرگذاری برای شناسایی و طبقه‌بندی اثرات و آسیب‌های سامانه بر کاربران نهایی، سایر افراد و گروه‌ها، با مشارکت جوامع به‌طور بالقوه متأثر.

• شناسایی طبقات افرادی، گروه‌ها یا اکوسیستم‌های محیطی که ممکن است دچار اثر شوند، از طریق تعامل مستقیم با جوامع به‌طور بالقوه متأثر.

• ارزیابی سامانه‌ها از منظر فراگیری معلولیت، از جمله در نظر گرفتن وضعیت معلولیت در آزمون سوگیری، و فرایندهای تبعیض‌آمیز حذف و کنار گذاشتن (screen out) که ممکن است ناشی از طراحی غیرفراگیر یا تصمیمات «استقرار» (Deployment) باشند.

• تدوین توابع هدف با در نظر گرفتن سوگیری‌های نظام‌مند و پویایی‌های درون‌گروهی/برون‌گروهی.

• استفاده از سنجه‌های انصافِ وابسته به بستر برای بررسی نحوهٔ تغییر عملکرد سامانه میان گروه‌ها، درون گروه‌ها و/یا برای گروه‌های متقاطع. سنجه‌ها می‌توانند شامل برابری آماری، برابری نرخ خطا، تفاضل برابری آماری، تفاضل فرصت برابر، تفاضل میانگین مطلق شانس‌ها، تفاضل میانگین استانداردشده و تفاضل‌های درصدی باشند.

• سفارشی‌سازی سنجه‌های انصاف برای «بستر استفاده» (Context of use) خاص، به‌منظور بررسی نحوهٔ تغییر عملکرد سامانه و آسیب‌های احتمالی در چارچوب هنجارهای بستر.

• تعریف سطوح قابل‌قبول تفاوت در عملکرد مطابق با سیاست‌های جاافتادهٔ «حکمرانی» (Governance) سازمانی، الزامات کسب‌وکاری، «انطباق» (Compliance) تنظیم‌گری، چارچوب‌های حقوقی و استانداردهای اخلاقی در بستر استفاده

• تعریف اقداماتی که در صورت فراتر رفتن سطوح نابرابری از حد قابل‌قبول باید انجام شود.

• شناسایی گروه‌هایی درون جمعیت مورد انتظار که ممکن است به تحلیل تفکیک‌شده نیاز داشته باشند، با همکاری جوامع متأثر.

• بهره‌گیری از کارشناسانِ آشنا به بستر استفادهٔ خاص برای بررسی تفاوت‌های اندازه‌گیری قابل‌توجه و شناسایی علل ریشه‌ای آن تفاوت‌ها.

• پایش خروجی‌های سامانه برای مسائل عملکردی یا سوگیری که از سطوح قابل‌قبولِ تعیین‌شده فراتر می‌روند.

• اطمینان از به‌روزرسانی دوره‌ای مدل‌ها؛ آزمون و بازکالیبره‌سازی با داده‌های به‌روزشده و بازنماینده‌تر برای ماندن در سطوح قابل‌قبول تفاوت.

• به‌کارگیری تبدیل‌های داده‌ایِ پیش‌پردازش برای پرداختن به عوامل مرتبط با توازن جمعیت‌شناختی و بازنمایندگی داده‌ها.

• به‌کارگیری پردازش درون‌مدلی (in-processing) برای توازن میان کیفیت عملکرد مدل و ملاحظات سوگیری.

• به‌کارگیری تکنیک‌های ریاضی/محاسباتی پس‌پردازش بر نتایج مدل در همکاری نزدیک با ارزیابان اثرگذاری، کارشناسان «اجتماعی‌ـ‌فناورانه» (Socio-technical) و سایر «کنشگران هوش مصنوعی» (AI actors) دارای تخصص در بستر استفاده.

• به‌کارگیری رویکردهای انتخاب مدل با در نظر گرفتن شفاف و آگاهانهٔ مدیریت سوگیری و سایر ویژگی‌های قابل‌اعتماد.

• گردآوری و اشتراک‌گذاری اطلاعات دربارهٔ تفاوت‌ها در پیامدها برای گروه‌های شناسایی‌شده.

• در نظر گرفتن میانجی‌گری‌ها برای کاهش تفاوت‌ها، به‌ویژه تفاوت‌هایی که قابل ردیابی به الگوهای گذشتهٔ تصمیم‌گیری ناعادلانه یا سوگیرانهٔ انسانی هستند.

• استفاده از رویه‌های طراحی «انسان‌محور» (Human-centered) برای ایجاد تمرکز عمیق‌تر بر اثرات اجتماعی و مقابله با سوگیری‌های شناختی‌ـ‌انسانی در چرخهٔ حیات هوش مصنوعی.

• ارزیابی رویه‌ها در سراسر چرخهٔ حیات برای شناسایی منابع بالقوه سوگیری شناختی‌ـ‌انسانی مانند سوگیری در دسترس‌پذیری، مشاهده‌ای و تأییدی، و برای آشکارتر و بازتر کردنِ فرایندهای تصمیم‌گیری ضمنی نسبت به بررسی.

• همکاری با کارشناسان عوامل انسانی برای ارزیابی سوگیری‌ها در ارائهٔ خروجی سامانه به کاربران نهایی، اپراتورها و متخصصان.

• استفاده از فرایندهایی برای ارتقای آگاهی بستر، مانند تنوع کارکنان داخلی و تعامل با «ذی‌نفعان» (Stakeholder).

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• رویه‌های جاافتاده تا چه اندازه در کاهش سوگیری، نابرابری و سایر نگرانی‌های ناشی از سامانه مؤثر بوده‌اند؟

• اگر موضوع به افراد مربوط می‌شود، آیا به‌ناحق به گروه اجتماعی خاصی مزیت یا زیان می‌رساند؟ به چه صورت‌هایی؟ این موضوع چگونه کاهش یافته است؟

• با توجه به هدف این هوش مصنوعی، بازهٔ مناسب برای بررسی این‌که آیا همچنان «دقیق» (accurate)، بی‌سوگیرانه، قابل توضیح و غیره است، چه بازه‌ای است؟ بررسی‌های مربوط به این مدل کدام‌اند؟

• نهاد چگونه تأثیرات بالقوه سوگیری در داده‌ها، از جمله پیامدهای ناعادلانه یا تبعیض‌آمیز را شناسایی و کاهش داده است؟

• نهاد تا چه اندازه سوگیری بالقوه — آماری، بستری و تاریخی — را در داده‌ها شناسایی و کاهش داده است؟

• آیا رویکردهای «یادگیری ماشین خصمانه» (Adversarial Machine Learning, AML) برای اندازه‌گیری سوگیری در نظر گرفته یا به‌کار رفته‌اند (مانند مهندسی پرامپت، مدل‌های خصمانه)؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities.

• Artificial Intelligence Ethics Framework For The Intelligence Community.

• WEF Companion to the Model AI Governance Framework- WEF - Companion to the Model AI Governance Framework, 2020.

• «برگه‌های داده برای مجموعه‌داده‌ها» (Datasheets for Datasets).

مراجع

Ali Hasan, Shea Brown, Jovana Davidovic, Benjamin Lange, and Mitt Regan. "Algorithmic Bias and Risk Assessments: Lessons from Practice." Digital Society 1 (2022).

Richard N. Landers and Tara S. Behrend. "Auditing the AI Auditors: A Framework for Evaluating Fairness and Bias in High Stakes AI Predictive Models." American Psychologist 78, no. 1 (2023): 36–49.

Ninareh Mehrabi, Fred Morstatter, Nripsuta Saxena, Kristina Lerman, and Aram Galstyan. "A Survey on Bias and Fairness in Machine Learning." ACM Computing Surveys 54, no. 6 (ژوئیه ۲۰۲۱ (تیر ۱۴۰۰ تا مرداد ۱۴۰۰)): 1–35.

Michele Loi and Christoph Heitz. "Is Calibration a Fairness Requirement?" FAccT '22: 2022 ACM Conference on Fairness, Accountability, and Transparency, ژوئن ۲۰۲۲ (خرداد ۱۴۰۱ تا تیر ۱۴۰۱), 2026–34.

Shea Brown, Ryan Carrier, Merve Hickok, and Adam Leon Smith. "Bias Mitigation in Data Sets." SocArXiv, ۸ ژوئیه ۲۰۲۱ (۱۷ تیر ۱۴۰۰).

Reva Schwartz, Apostol Vassilev, Kristen Greene, Lori Perine, Andrew Burt, and Patrick Hall. "NIST Special Publication 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligence." National Institute of Standards and Technology (NIST), 2022.

Microsoft Research. "AI Fairness Checklist." Microsoft, ۷ فوریه ۲۰۲۲ (۱۸ بهمن ۱۴۰۰).

Samir Passi and Solon Barocas. "Problem Formulation and Fairness." FAT '19: Proceedings of the Conference on Fairness, Accountability, and Transparency, ژانویه ۲۰۱۹ (دی ۱۳۹۷ تا بهمن ۱۳۹۷), 39–48.

Jade S. Franklin, Karan Bhanot, Mohamed Ghalwash, Kristin P. Bennett, Jamie McCusker, and Deborah L. McGuinness. "An Ontology for Fairness Metrics." AIES '22: Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society, ژوئیه ۲۰۲۲ (تیر ۱۴۰۱ تا مرداد ۱۴۰۱), 265–75.

Zhang, B., Lemoine, B., & Mitchell, M. (2018). Mitigating Unwanted Biases with Adversarial Learning. Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society. https://arxiv.org/pdf/1801.07593.pdf Ganguli, D., et al. (2023). The Capacity for Moral Self-Correction in Large Language Models. arXiv. https://arxiv.org/abs/2302.07459

Arvind Narayanan. "Tl;DS - 21 Fairness Definition and Their Politics by Arvind Narayanan." Dora's world, ۱۹ ژوئیه ۲۰۱۹ (۲۸ تیر ۱۳۹۸).

Ben Green. "Escaping the Impossibility of Fairness: From Formal to Substantive Algorithmic Fairness." Philosophy and Technology 35, no. 90 (۸ اکتبر ۲۰۲۲ (۱۶ مهر ۱۴۰۱)).

Alexandra Chouldechova. "Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments." Big Data 5, no. 2 (۱ ژوئن ۲۰۱۷ (۱۱ خرداد ۱۳۹۶)): 153–63.

Sina Fazelpour and Zachary C. Lipton. "Algorithmic Fairness from a Non-Ideal Perspective." AIES '20: Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, ۷ فوریه ۲۰۲۰ (۱۸ بهمن ۱۳۹۸), 57–63.

Hemank Lamba, Kit T. Rodolfa, and Rayid Ghani. "An Empirical Comparison of Bias Reduction Methods on Real-World Problems in High-Stakes Policy Settings." ACM SIGKDD Explorations Newsletter 23, no. 1 (۲۹ مه ۲۰۲۱ (۸ خرداد ۱۴۰۰)): 69–85.

ISO. "ISO/IEC TR 24027:2021 Information technology — Artificial intelligence (AI) — Bias in AI systems and AI aided decision making." ISO Standards, نوامبر ۲۰۲۱ (آبان ۱۴۰۰ تا آذر ۱۴۰۰).

Shari Trewin. "AI Fairness for People with Disabilities: Point of View." arXiv preprint, submitted ۲۶ نوامبر ۲۰۱۸ (۵ آذر ۱۳۹۷).

MathWorks. "Explore Fairness Metrics for Credit Scoring Model." MATLAB & Simulink, 2023.

Abigail Z. Jacobs and Hanna Wallach. "Measurement and Fairness." FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, مارس ۲۰۲۱ (اسفند ۱۳۹۹ تا فروردین ۱۴۰۰), 375–85.

Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. "Quantifying and Reducing Stereotypes in Word Embeddings." arXiv preprint, submitted ۲۰ ژوئن ۲۰۱۶ (۳۱ خرداد ۱۳۹۵).

Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. "Semantics Derived Automatically from Language Corpora Contain Human-Like Biases." Science 356, no. 6334 (۱۴ آوریل ۲۰۱۷ (۲۵ فروردین ۱۳۹۶)): 183–86.

Sina Fazelpour and Maria De-Arteaga. "Diversity in Sociotechnical Machine Learning Systems." Big Data and Society 9, no. 1 (2022).

Fairlearn. "Fairness in Machine Learning." Fairlearn 0.8.0 Documentation, n.d.

Safiya Umoja Noble. Algorithms of Oppression: How Search Engines Reinforce Racism. New York, NY: New York University Press, 2018. Ziad Obermeyer, Brian Powers, Christine Vogeli, and Sendhil Mullainathan. "Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations." Science 366, no. 6464 (۲۵ اکتبر ۲۰۱۹ (۳ آبان ۱۳۹۸)): 447–53.

Alekh Agarwal, Alina Beygelzimer, Miroslav Dudík, John Langford, and Hanna Wallach. "A Reductions Approach to Fair Classification." arXiv preprint, submitted ۱۶ ژوئیه ۲۰۱۸ (۲۵ تیر ۱۳۹۷).

Moritz Hardt, Eric Price, and Nathan Srebro. "Equality of Opportunity in Supervised Learning." arXiv preprint, submitted ۷ اکتبر ۲۰۱۶ (۱۶ مهر ۱۳۹۵).

Alekh Agarwal, Miroslav Dudik, Zhiwei Steven Wu. "Fair Regression: Quantitative Definitions and Reduction-Based Algorithms." Proceedings of the 36th International Conference on Machine Learning, PMLR 97:120-129, 2019.

Andrew D. Selbst, Danah Boyd, Sorelle A. Friedler, Suresh Venkatasubramanian, and Janet Vertesi. "Fairness and Abstraction in Sociotechnical Systems." FAT '19: Proceedings of the Conference on Fairness, Accountability, and Transparency, ۲۹ ژانویه ۲۰۱۹ (۹ بهمن ۱۳۹۷), 59–68.

Matthew Kay, Cynthia Matuszek, and Sean A. Munson. "Unequal Representation and Gender Stereotypes in Image Search Results for Occupations." CHI '15: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, ۱۸ آوریل ۲۰۱۵ (۲۹ فروردین ۱۳۹۴), 3819–28.

منابع نرم‌افزاری

• aequitas

• AI Fairness 360:

• Python

• R

• algofairness

• fairlearn

• fairml

• fairmodels

• fairness

• solas-ai-disparity

• tensorflow/fairness-indicators

• Themis

پیامدهای زیست‌محیطی و پایداری فعالیت‌های آموزش و مدیریت مدل‌های هوش مصنوعی — همان‌گونه که در نگاشت مشخص شده است — ارزیابی و مستند می‌شود.

درباره

منابع محاسباتی کلان‌مقیاس و با عملکرد بالا که سامانه‌های هوش مصنوعی برای آموزش و بهره‌برداری به کار می‌گیرند، می‌توانند به پیامدهای زیست‌محیطی دامن بزنند. پیامدهای مستقیم و منفی این فرایندها بر محیط‌زیست به مصرف انرژی، مصرف آب و انتشار گازهای گلخانه‌ای (GHG) مربوط می‌شود. سازمان همکاری و توسعه اقتصادی (OECD) برای هر یک از انواع این پیامدهای منفی مستقیم، سنجه‌هایی را شناسایی کرده است.

پیامدهای غیرمستقیم و منفی بر محیط‌زیست بازتاب‌دهنده پیچیدگیِ برهم‌کنش‌های میان رفتار انسانی، سیستم‌های اجتماعی–اقتصادی و محیط‌زیست است و می‌تواند مصرف القاشده و «اثرات بازگشتی» را شامل شود؛ یعنی مواردی که دستاوردهای بهره‌وری با شتاب‌گرفتن مصرف منابع خنثی می‌گردد.

پیامدهای زیست‌محیطی دیگرِ مرتبط با هوش مصنوعی می‌تواند از تولید تجهیزات و شبکه‌های محاسباتی (مانند کاوش و استخراج مواد اولیه از معادن)، حمل‌ونقل سخت‌افزار و بازیافت یا دفع پسماند الکترونیکی ناشی شود.

اقدامات پیشنهادی

• گنجاندن شاخص‌های پیامد زیست‌محیطی در طرح‌های طراحی و توسعه سامانه هوش مصنوعی، از جمله کاهش مصرف و بهبود بهره‌وری.

• شناسایی و به‌کارگیری شاخص‌های کلیدی مصرف و بهره‌وری انرژی و آب، و/یا انتشار گازهای گلخانه‌ای در سامانه هوش مصنوعی.

• برقراری مبناهای کمّی‌پذیر برای بهره‌برداری پایدار از سامانه هوش مصنوعی، مطابق با سیاست‌های سازمانی، انطباق نظارتی، چارچوب‌های حقوقی و هنجارهای حفاظت از محیط‌زیست و پایداری.

• ارزیابی بده‌بستان‌های میان عملکرد سامانه هوش مصنوعی و بهره‌برداری پایدار، مطابق با اصول و سیاست‌های سازمانی، انطباق نظارتی، چارچوب‌های حقوقی و هنجارهای حفاظت از محیط‌زیست و پایداری.

• شناسایی و تعیین سطوح قابل‌قبولِ مصرف و بهره‌وری منابع و انتشار گازهای گلخانه‌ای، به همراه اقداماتی که در صورت فراتر رفتن شاخص‌ها از سطوح قابل‌قبول باید صورت گیرد.

• برآورد سطوح انتشار سامانه هوش مصنوعی در سراسر چرخه عمر هوش مصنوعی از طریق محاسبه‌گرهای کربن یا فرایندی مشابه.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• آیا انتشار گازهای گلخانه‌ای و مصرف و بهره‌وری انرژی و آب در سازمان ردیابی می‌شود؟

• آیا سامانه‌های هوش مصنوعی مستقرشده از نظر پیامدهای زیست‌محیطی بالادستی و پایین‌دستیِ احتمالی (مانند افزایش مصرف، افزایش انتشار و غیره) ارزیابی می‌شوند؟

• آیا سامانه‌های هوش مصنوعی مستقرشده ممکن است موجب رخدادهای زیست‌محیطی شوند؛ مانند رخدادهای آلودگی هوا یا آب، نشت مواد سمی، آتش‌سوزی یا انفجار؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities.

• Artificial Intelligence Ethics Framework For The Intelligence Community.

• «برگه‌های داده برای مجموعه‌داده‌ها» (Datasheets for Datasets).

منابع

Organisation for Economic Co-operation and Development (OECD). "Measuring the environmental impacts of artificial intelligence compute and applications: The AI footprint.” OECD Digital Economy Papers, No. 341, OECD Publishing, Paris.

Victor Schmidt, Alexandra Luccioni, Alexandre Lacoste, and Thomas Dandres. “Machine Learning CO2 Impact Calculator.” ML CO2 Impact, n.d.

Alexandre Lacoste, Alexandra Luccioni, Victor Schmidt, and Thomas Dandres. "Quantifying the Carbon Emissions of Machine Learning." arXiv preprint, submitted ۴ نوامبر ۲۰۱۹ (۱۳ آبان ۱۳۹۸).

Matthew Hutson. “Measuring AI’s Carbon Footprint: New Tools Track and Reduce Emissions from Machine Learning.” IEEE Spectrum, ۲۲ نوامبر ۲۰۲۲ (۱ آذر ۱۴۰۱).

Association for Computing Machinery (ACM). "TechBriefs: Computing and Climate Change." ACM Technology Policy Council, نوامبر ۲۰۲۱ (آبان ۱۴۰۰ تا آذر ۱۴۰۰).

Roy Schwartz, Jesse Dodge, Noah A. Smith, and Oren Etzioni. “Green AI.” Communications of the ACM 63, no. 12 (دسامبر ۲۰۲۰ (آذر ۱۳۹۹ تا دی ۱۳۹۹)): 54–63.

اثربخشی سنجه‌ها و فرایندهای TEVV به‌کاررفته در کارکرد سنجش ارزیابی و مستند می‌شود.

درباره

توسعه «سنجه‌ها» (Metrics) فرایندی است که اغلب عینی تلقی می‌شود، اما به‌عنوان تلاشی انسانی و سازمان‌محور، می‌تواند بازتاب سوگیری‌های ضمنی و ساختاری باشد و ممکن است ناخواسته عواملی نامرتبط با تابع هدف را منعکس کند. رویکردهای سنجش می‌توانند بیش‌ازحد ساده‌سازی‌شده باشند، بازی داده شوند، ظرافت‌های حیاتی را از دست بدهند، به شیوه‌های غیرمنتظره به‌کار روند و مورد اتکا قرار گیرند، یا تفاوت‌های گروه‌ها و بافت‌های متأثر را در نظر نگیرند.

بازنگری در سنجه‌های انتخاب‌شده در سنجش ۲.۱ تا ۲.۱۲ در فرایندی از بهبود مستمر می‌تواند به «کنشگران هوش مصنوعی» (AI actors) کمک کند تا اثربخشی سنجه‌ها را ارزیابی و مستند کنند و اصلاحات مسیر ضروری را انجام دهند.

کنش‌های پیشنهادی

• مرور سنجه‌های انتخاب‌شده سیستم و فرایندهای TEVV مرتبط برای تعیین اینکه آیا قادر به پشتیبانی از بهبودهای سیستم هستند، از جمله شناسایی و حذف خطاها.

• ارزیابی منظم سنجه‌های سیستم از حیث کاربردی بودن، و در نظر گرفتن رویکردهای توصیفی به‌جای روش‌های بیش‌ازحد پیچیده.

• مرور سنجه‌های انتخاب‌شده سیستم از حیث پذیرفتنی بودن نزد کاربر نهایی و جامعه ذی‌نفع متأثر.

• ارزیابی اثربخشی سنجه‌ها برای شناسایی و سنجش «خطرها» (Risks).

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• سیستم/نهاد تا چه حد به‌طور پیوسته پیشرفت به‌سوی اهداف و مقاصد اعلام‌شده را می‌سنجد؟

• با توجه به هدف این «هوش مصنوعی» (AI)، بازه مناسب برای بررسی اینکه آیا همچنان «دقیق» (accurate)، بی‌طرف، تبیین‌پذیر و غیره است چیست؟ بررسی‌های مربوط به این مدل کدام‌اند؟

• نهاد چه کنش‌های اصلاحی را برای ارتقای کیفیت، دقت، «قابلیت اطمینان» (Reliability) و نمایندگی‌پذیری داده‌ها انجام داده است؟

• خروجی‌های مدل تا چه حد با ارزش‌ها و اصول نهاد برای تقویت اعتماد عمومی و انصاف سازگارند؟

• دقت یا سنجه‌های عملکرد مناسب چگونه ارزیابی خواهند شد؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal

• Agencies & Other Entities.

• Artificial Intelligence Ethics Framework For The Intelligence Community.

منابع

Arvind Narayanan. "The limits of the quantitative approach to discrimination." 2022 James Baldwin lecture, Princeton University, ۱۱ اکتبر ۲۰۲۲ (۱۹ مهر ۱۴۰۱).

Devansh Saxena, Karla Badillo-Urquiola, Pamela J. Wisniewski, and Shion Guha. “A HumanCentered Review of Algorithms Used within the U.S. Child Welfare System.” CHI ‘20: Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, ۲۳ آوریل ۲۰۲۰ (۴ اردیبهشت ۱۳۹۹), 1–15.

Rachel Thomas and David Uminsky. “Reliance on Metrics Is a Fundamental Challenge for AI.” Patterns 3, no. 5 (۱۳ مه ۲۰۲۲ (۲۳ اردیبهشت ۱۴۰۱)): 100476.

Momin M. Malik. "A Hierarchy of Limitations in Machine Learning." arXiv preprint, submitted ۲۹ فوریه ۲۰۲۰ (۱۰ اسفند ۱۳۹۸).

رویکردها، کارکنان و مستندسازی‌هایی برای شناسایی و ردیابی منظم ریسک‌های موجود، پیش‌بینی‌نشده و نوظهور هوش مصنوعی بر پایه عواملی مانند عملکرد موردنظر و عملکرد واقعی در بافت‌های استقرارشده، در جای خود قرار دارند.

درباره

برای سامانه‌های هوش مصنوعی اعتمادپذیر، پایش منظم سیستم مطابق با سیاست‌های حکمرانی سازمانی، نقش‌ها و مسئولیت‌های کنشگران هوش مصنوعی و در بستری از بهبود مستمر انجام می‌شود. اگر و هنگامی که ریسک‌های نوظهور یا پیچیده به‌روز کنند، ممکن است لازم باشد رویه‌های داخلی مدیریت ریسک، مانند پایش منظم، برای حفظ مسیر سازگار شوند. مستندسازی، منابع و آموزش بخشی از یک راهبرد کلی برای حمایت از کنشگران هوش مصنوعی در بررسی و پاسخ‌دهی به خطاهای سامانه هوش مصنوعی، رخدادها یا اثرات منفی هستند.

اقدامات پیشنهادی

• مقایسه ریسک‌های سامانه هوش مصنوعی با:

• مدل‌های ساده‌تر یا سنتی

• عملکرد مبنای انسانی

• سایر معیارهای مرجع عملکرد دستی

• مقایسه بازخورد کاربران نهایی و جامعه درباره سامانه‌های هوش مصنوعی مستقرشده با سنجه‌های داخلی عملکرد سیستم.

• ارزیابی اثربخشی سنجه‌ها برای شناسایی و اندازه‌گیری ریسک‌های نوظهور.

• اندازه‌گیری زمان‌های پاسخ به خطا و ردیابی کیفیت پاسخ.

• جلب و ردیابی بازخورد از کنشگران هوش مصنوعی در نقش‌های پشتیبانی کاربر درباره نوع سنجه‌ها، توضیحات و سایر اطلاعات سیستمی که برای حل کامل مسائل سیستم لازم است. موارد زیر را در نظر بگیرید:

• مواردی که توضیحات برای بررسی منابع احتمالی خطا یا شناسایی پاسخ‌ها کافی نیستند.

• سنجه‌های سیستمی، از جمله لاگ‌های سیستم و توضیحات، برای شناسایی و تشخیص منابع خطای سیستم.

• جلب و ردیابی بازخورد از کنشگران هوش مصنوعی در نقش‌های پاسخ به رخداد و پشتیبانی درباره کفایت نیروی انسانی و منابع برای انجام وظایف خود به شیوه‌ای مؤثر و به‌موقع.

شفافیت و مستندسازی

سازمان‌ها می‌توانند موارد زیر را مستند کنند

• آیا سازمان شما یک سیستم مدیریت ریسک برای رسیدگی به ریسک‌های ناشی از استقرار راه‌حل هوش مصنوعی شناساییشده (مانند ریسک نیروی انسانی یا تغییرات اهداف تجاری) پیاده‌سازی کرده است؟

• کاربران یا طرف‌های متأثر از خروجی‌های سامانه هوش مصنوعی تا چه اندازه می‌توانند سامانه هوش مصنوعی را آزمون کنند و بازخورد ارائه دهند؟

• نهاد چه سنجه‌هایی برای اندازه‌گیری عملکرد سامانه هوش مصنوعی، از جمله ثبت خطاها، توسعه داده است؟

• سنجه‌ها تا چه اندازه سنجش دقیق و مفیدی از عملکرد ارائه می‌دهند؟

منابع شفافیت هوش مصنوعی

• GAO-21-519SP - Artificial Intelligence: An Accountability Framework for Federal Agencies & Other Entities.

• Artificial Intelligence Ethics Framework For The Intelligence Community.

• WEF Companion to the Model AI Governance Framework – Implementation and SelfAssessment Guide for Organizations

منابع

ISO. "ISO 9241-210:2019 Ergonomics of human-system interaction — Part 210: Humancentred design for interactive systems." 2nd ed. ISO Standards, ژوئیه ۲۰۱۹ (تیر ۱۳۹۸ تا مرداد ۱۳۹۸).

Larysa Visengeriyeva, et al. “Awesome MLOps.“ GitHub.