فهرست این فصلبخش ۶، فصل ۴۸
بخش ۶، فصل ۴۸
کاربرد در سازمان‌های ایرانی: هوش مصنوعی به‌مثابهٔ ادله، سوگیری و آمادگی حقوقی
متن اصلی فارسی با منشأ، شناسه و پیوند استناد پایدار.
تفسیر اجرایی تدوینگر: ادلهٔ هوش مصنوعی، سوگیری و آمادگی حقوقی سازمان
مفاهیم این بخش — «ارتباط»، «احراز اصالت»، «روایی» و «قابلیت اطمینان» برون‌داد هوش مصنوعی و «سوگیری» — در منابع در چارچوب دادرسی آمریکا شرح داده شده‌اند؛ اما در لایهٔ اجرایی این کتاب، پیام آن‌ها برای یک سازمان ایرانی مستقل از آن چارچوب است:
برون‌داد هر سامانهٔ هوش مصنوعی سازمان، بالقوه یک «دلیل» است. خروجی سامانهٔ کشف تقلب، اعتبارسنجی مشتری، بازشناسی چهره یا اولویت‌بندی خسارت ممکن است روزی در یک دعوای تجاری، اداری یا کاری مطرح شود؛ چه به نفع سازمان و چه علیه آن. در آن لحظه، آنچه دفاع حقوقی را ممکن می‌کند خودِ خروجی نیست، مستنداتِ پشتِ آن است: سامانه برای حل کدام مسئله طراحی شده بود؟ داده‌های آموزشی چه بودند و تا چه اندازه نمایندهٔ جامعهٔ هدف بوده‌اند؟ چه آزمون‌هایی انجام شده و نتایج آن کجاست؟ چه کسانی آن را توسعه داده‌اند و سوگیری‌هایش چگونه بررسی شده است؟
واحدهایی که درگیر می‌شوند:
- حقوقی و دعاوی: تعیین سامانه‌های «مولد ادله»، تدوین رویهٔ پاسخ به استعلام‌های حقوقی، انتخاب شاهد فنی.
- تیم AI/ML و تیم داده: مستندسازی طراحی، داده، آموزش و آزمون؛ نگهداری نسخهٔ مدل و داده.
- ریسک و انطباق: طبقه‌بندی ریسک سامانه‌ها، پایش سوگیری، اخذ تصویب به‌کارگیری.
- CISO و SOC: یکپارچگی لاگ‌ها، زنجیرهٔ حفاظت از خروجی‌ها، امنیت زنجیرهٔ تأمین مدل.
- ممیزی داخلی: بازبینی مستقل مستندات و نتایج آزمون.
- تدارکات: تضمین دسترسی قراردادی به مستندات و حق ممیزی تأمین‌کننده.
- منابع انسانی و حریم خصوصی: هرگاه دادهٔ شخصی یا تصمیم‌های کارکنان در میان باشد.
مدارک، داده‌ها و شواهدی که باید از امروز تولید و نگهداری شوند: فهرست دارایی‌های هوش مصنوعی؛ پروندهٔ فنی هر سامانه (طرح مسئله، شرح دادهٔ آموزشی، محدودیت‌ها و کاربرد مجاز)؛ گزارش آزمون روایی و قابلیت اطمینان؛ ارزیابی سوگیری؛ لاگ‌های زمان‌دار و تغییرناپذیر؛ و صورت‌جلسهٔ تصویب به‌کارگیری. ممکن است بسته به صنعت و مقررات حاکم، الزامات دیگری نیز اعمال شود.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S01
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S01-45221CBF
راهنمای اجرای عملی: برنامهٔ «آمادگی ادله‌ای هوش مصنوعی»
در لایهٔ اجرایی این کتاب پیشنهاد می‌شود سازمان برنامه‌ای مشخص با عنوان «آمادگی ادله‌ای هوش مصنوعی» برپا کند. جعبهٔ پیاده‌سازی زیر نمونهٔ پیشنهادی تدوینگر بر پایهٔ مفاهیم مطرح‌شده در منابع این بخش است:
| مؤلفه | شرح پیشنهادی |
|---|---|
| هدف | قابل‌استناد بودن برون‌داد و مستندات سامانه‌های هوش مصنوعی در دعاوی، رسیدگی‌ها و استعلام‌های حقوقی |
| دامنه | همهٔ سامانه‌های AI که برون‌دادشان در تصمیم‌های مؤثر بر حقوق اشخاص یا دارایی سازمان نقش دارد |
| مسئول اصلی | مدیر ریسک (نقش معادل سازمانی: دبیر کمیتهٔ ریسک) با هماهنگی معاونت حقوقی |
| واحدهای درگیر | حقوقی، ریسک، انطباق، حریم خصوصی، تیم AI/ML، تیم داده، زیرساخت، SOC، تدارکات، ممیزی داخلی، منابع انسانی |
| پیش‌نیازها | فهرست دارایی‌های هوش مصنوعی؛ سیاست مالکیت مدل و داده؛ رویهٔ مدیریت رخداد |
| ورودی‌ها | مستندات طراحی و توسعه؛ شرح داده‌های آموزشی؛ نتایج آزمون و اعتبارسنجی؛ لاگ‌های عملیاتی؛ قراردادهای تأمین‌کننده |
| فعالیت‌ها | شناسایی سامانه‌های مولد ادله؛ ساخت پروندهٔ فنی؛ تعیین مالک و شاهد فنی هر سامانه؛ تعریف رویهٔ استخراج و حفاظت از خروجی؛ تمرین سناریوی استعلام |
| خروجی‌ها | پروندهٔ آمادگی ادله‌ای سامانه‌های منتخب؛ فهرست شاهدان فنی؛ رویهٔ مصوب پاسخ به استعلام حقوقی |
| مدارک مورد نیاز | فرم ثبت سامانهٔ مولد ادله (TPL-P06-1)؛ گزارش آزمون روایی و قابلیت اطمینان؛ فرم ارزیابی سوگیری (TPL-P06-2) |
| شواهد قابل ممیزی | صورت‌جلسات تصویب با امضا و تاریخ؛ نسخه‌های تاریخ‌دار گزارش‌ها؛ لاگ تغییر مدل و داده؛ گزارش تمرین سالانه |
| KPIها (نمونه تدوینگر) | پوشش پرونده‌ای (درصد سامانه‌های مولد ادله با پروندهٔ کامل)؛ زمان آماده‌سازی بستهٔ ادله؛ تعداد یافته‌های بازبینی مستقل |
| ریسک‌ها | فقدان مستندات سامانه‌های قدیمی؛ وابستگی به تأمین‌کننده برای مستندات؛ از دست رفتن لاگ‌ها؛ تغییر مدل بدون ثبت |
| کنترل‌ها | الزام قراردادی به تحویل مستندات و حق ممیزی؛ نگهداری لاگ با ضمانت یکپارچگی؛ کنترل تغییر نسخهٔ مدل |
| تناوب بازبینی | هر شش ماه و پس از هر تغییر مهم در مدل، داده یا کاربرد |
| سطح بلوغ پیشنهادی | آغاز در سطح ۱ و هدف‌گذاری سطح ۳ مدل بلوغ تدوینگر (ر.ک. جمع‌بندی تطبیقی همین فصل) طی ۱۸ ماه |
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S02
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S02-2FE50A5C
نگاشت مفهوم‌ها به هدف‌ها، کنترل‌ها، شواهد و مالکان (به‌همراه جدول RACI)
نگاشت زیر «نمونهٔ پیشنهادی تدوینگر بر پایهٔ مفاهیم مطرح‌شده در منابع این بخش» است، نه ترجمه یا توصیهٔ عین NIST؛ منابع این بخش پرسش‌های دادرسی را فهرست کرده‌اند و این نگاشت همان پرسش‌ها را به زبان مدیریت سازمانی برگردانده است:
| مفهوم مطرح‌شده در منبع | هدف سازمانی | کنترل عملیاتی | شواهد | KPI (نمونه تدوینگر) | مالک |
|---|---|---|---|---|---|
| روایی و قابلیت اطمینان | دفاع‌پذیری کارکرد سامانه در دعوا | آزمون و اعتبارسنجی مستند و تکرارپذیر پیش از به‌کارگیری | گزارش آزمون با ذکر نسخهٔ مدل و مجموعه‌آزمون | درصد سامانه‌های دارای گزارش آزمون معتبر | تیم AI/ML |
| احراز اصالت برون‌داد | اثبات اینکه مدرک ارائه‌شده همان خروجی سامانه است | هش یا امضای دیجیتال خروجی‌ها و لاگ تغییرناپذیر | لاگ SIEM با زمان معتبر و گزارش زنجیرهٔ حفاظت | درصد خروجی‌های دارای لاگ یکپارچه | SOC / زیرساخت |
| نمایندگی دادهٔ آموزشی | کاهش ریسک تصمیم مبتنی بر دادهٔ نامتوازن | تحلیل تناسب داده با جامعهٔ هدف پیش از آموزش | گزارش نمایندگی زیرگروه‌ها | درصد سامانه‌های دارای گزارش نمایندگی | تیم داده |
| ارزیابی سوگیری در چرخهٔ توسعه | کاهش ریسک تبعیض و ادعای حقوقی مرتبط | ارزیابی سوگیری در طراحی، داده، آموزش و اعتبارسنجی | فرم ارزیابی سوگیری (TPL-P06-2) | تعداد سوگیری‌های اصلاح‌شده در هر بازه | مدیر ریسک / انطباق |
| شفافیت و تبیین‌پذیری | توان ارائهٔ توضیح فهمیده برای تصمیم به مخاطب حقوقی | لایهٔ توضیح و راهنمای تفسیر خروجی برای هر سامانه | راهنمای تفسیر مصوب | درصد تصمیم‌های دارای تبیین ثبت‌شده | مالک کسب‌وکار + تیم AI/ML |
| استفادهٔ مسئولانه از ابزارهای پژوهش و تحلیل حقوقی AI | پیشگیری از اتکای بدون‌بازبینی به پیش‌بینی‌ها | فهرست ابزارهای مجاز، آموزش و الزام بازبینی انسانی | سیاست استفاده و سوابق آموزش | نرخ بازبینی انسانی خروجی ابزارها | حقوقی |
| آمادگی زمانی | پیشگیری از غافلگیری در میانهٔ دعوا | تمرین سالانهٔ سناریوی استعلام ادلهٔ AI | گزارش تمرین و فهرست نقاط ضعف | زمان پاسخ به استعلام | حقوقی |
جدول RACI زیر نقش‌ها را برای فعالیت‌های کلیدی برنامه مشخص می‌کند (R: مسئول اجرا، A: پاسخگوی نهایی، C: مشاور، I: مطلع):
| فعالیت | هیئت‌مدیره | مدیرعامل | CIO/CTO | CISO | AI Officer | مدیر ریسک | حقوقی | انطباق | ممیزی داخلی | تیم AI/ML | تیم داده | SOC | تدارکات | مالک کسب‌وکار |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| تصویب سیاست آمادگی ادله‌ای | A | R | C | C | C | R | C | C | I | I | I | I | I | I |
| شناسایی و ثبت سامانه‌های مولد ادله | I | I | A | C | R | C | C | C | I | R | R | I | C | R |
| آزمون روایی و قابلیت اطمینان | I | I | C | C | C | C | I | I | C | R | R | I | I | C |
| ارزیابی سوگیری | I | I | C | I | C | A | C | R | C | R | R | I | I | C |
| حفظ لاگ و زنجیرهٔ ادله | I | I | C | A | I | C | I | I | I | C | C | R | I | I |
| پاسخ به دعوا و استعلام ادله | I | A | C | C | C | C | R | C | I | C | C | C | I | C |
| بازبینی دوره‌ای برنامه | I | C | C | C | C | A | C | C | R | C | C | C | C | C |
«نقش معادل سازمانی»: در سازمان‌هایی که واحد مستقل هوش مصنوعی ندارند، «AI Officer» می‌تواند معادل «مدیر دفتر مدیریت داده و هوش مصنوعی» یا معاون فناوری اطلاعات باشد و «مدیر ریسک» معادل دبیر کمیتهٔ ریسک. در موضوع‌های دادهٔ شخصی، واحد «حریم خصوصی» نیز به‌عنوان مشاور وارد می‌شود. ممکن است بسته به صنعت و مقررات حاکم، الزامات دیگری نیز اعمال شود.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S03
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S03-80E7943B
سناریوهای سازمانی و مثال تدوینگر
سناریوی ۱ — یک بانک ایرانی. بانکی تراکنش‌های مشتری را بر پایهٔ خروجی سامانهٔ کشف تقلب مسدود می‌کند و مشتری با ادعای خسارت به تصمیم اعتراض می‌کند. در رسیدگی سه پرسش مطرح می‌شود: آیا مدرک ارائه‌شده همان برون‌داد سامانه است و دستکاری نشده (احراز اصالت)؟ آیا سامانه برای این کاربرد آزمون و اعتبارسنجی شده است (روایی و قابلیت اطمینان)؟ و آیا داده‌های آموزشی نمایندهٔ گروه‌های مختلف مشتریان بوده‌اند (سوگیری)؟ بانکی که لاگ یکپارچه، گزارش آزمون مستند و تحلیل نمایندگی داده دارد، دفاع منظم دارد؛ بانکی که هیچ‌یک را ندارد، عملاً به استنادی بی‌پشتوانه تن می‌دهد. این بانک پس از رخداد، برای سه سامانهٔ پرریسک خود پروندهٔ آمادگی ادله‌ای ساخت و تمرین سالانهٔ استعلام را در برنامهٔ ریسک گنجاند.
سناریوی ۲ — یک بیمارستان خصوصی. بیمارستانی برای اولویت‌بندی مراجعان در پذیرش از مدل ML استفاده می‌کند؛ گروهی از مراجعان الگوی نامتوازنی در تخصیص نوبت‌ها می‌بینند. ارزیابی سوگیری نشان می‌دهد دادهٔ تاریخی ورودی، بازتاب‌دهندهٔ الگوی نامتوازن مراجعه بوده و خطای مدل در موارد نادر بیشتر است. سازمان با وزن‌دهی مجدد داده، افزودن بازبینی انسانی برای موارد مرزی و مستندسازی سنجه‌های انصاف به تفکیک زیرگروه‌ها، هم ریسک بالینی و هم ریسک ادعای حقوقی را کاهش می‌دهد. این سناریو کاملاً فرضی است و به هیچ سازمان واقعی نسبت داده نمی‌شود.
مثال تدوینگر — تفاوت «احراز اصالت» و «قابلیت اطمینان». تصور کنید فیلم یک دوربین مداربسته در دادگاه ارائه می‌شود. «احراز اصالت» پاسخ می‌دهد که این همان فیلمِ دوربین است و دستکاری نشده (زنجیرهٔ حفاظت سالم است)؛ «قابلیت اطمینان» پاسخ می‌دهد که خود دوربین در نور کم، فاصلهٔ زیاد یا زاویهٔ نامناسب به‌درستی ضبط می‌کند. یک مدرک می‌تواند کاملاً اصیل باشد اما از سامانه‌ای ناموثق آمده باشد — و برعکس. برای ادلهٔ هوش مصنوعی هر دو مسیر باید پوشش داده شود: زنجیرهٔ حفاظت خروجی (لاگ و هش) و آزمون سامانه (روایی و قابلیت اطمینان). مثال چهره‌شناسی در منبع این بخش همین تمایز را نشان می‌دهد: کیفیت تصاویر پُروب (زاویه، نور، پوشش چهره) به «قابلیت اطمینان» مربوط است، نه به اصالت فایل.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S04
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S04-109EC715
چک‌لیست اجرایی آمادگی ادله‌ای و ارزیابی سوگیری
طبقه‌بندی اقلام زیر (ضروری برای اجرای پایه / پیشنهادی / پیشرفته) طبقه‌بندی تدوینگر است و راهنماهای اختیاری منابع را به الزام تبدیل نمی‌کند:
- شناسایی کنید همهٔ کاربردهای هوش مصنوعی را که بر حقوق اشخاص، دارایی یا تصمیم‌های حقوقی اثر می‌گذارند — ضروری برای اجرای پایه
- ثبت کنید هر سامانه را در فهرست دارایی‌های هوش مصنوعی با مالک مشخص — ضروری برای اجرای پایه
- تعیین کنید کدام سامانه‌ها «مولد ادله» هستند و نیازمند پروندهٔ کامل‌اند — ضروری برای اجرای پایه
- مستندسازی کنید طرح مسئله، داده‌های آموزشی، محدودیت‌ها و کاربرد مجاز هر سامانه را — ضروری برای اجرای پایه
- آزمون کنید روایی و قابلیت اطمینان هر سامانهٔ مولد ادله را پیش از به‌کارگیری — ضروری برای اجرای پایه
- تعیین کنید رویهٔ استخراج، هش‌گذاری و نگهداری خروجی‌ها (زنجیرهٔ ادله) را — ضروری برای اجرای پایه
- بازبینی کنید پروندهٔ فنی را پس از هر تغییر مهم در مدل، داده یا کاربرد — ضروری برای اجرای پایه
- تصویب کنید به‌کارگیری سامانه‌های پرریسک را در سطح مجاز مدیریت — ضروری برای اجرای پایه
- ارزیابی کنید سوگیری را در مراحل طراحی، داده، آموزش و اعتبارسنجی — پیشنهادی (برای سامانه‌های تعیین‌کننده در حقوق افراد: ضروری برای اجرای پایه)
- پایش کنید عملکرد سامانه را پس از استقرار و تغییرات آن (خزش کارکرد) — پیشنهادی
- گزارش کنید نتایج پایش و رخدادها را به کمیتهٔ ریسک — پیشنهادی
- بازبینی کنید قراردادهای تأمین‌کننده را از نظر دسترسی به مستندات و حق ممیزی — پیشنهادی
- آزمون کنید سناریوی «استعلام ادلهٔ AI» را سالانه (تمرین میز فرضی) — پیشرفته
- ارزیابی کنید سامانه‌های پرریسک را به‌صورت مستقل (ممیزی داخلی مستقل از توسعه‌دهنده یا شخص ثالث) — پیشرفته
- مستندسازی کنید تبیین‌پذیری تصمیم‌ها را به زبان مخاطب غیرفنی و حقوقی — پیشرفته
نمونه فرم — فرم ارزیابی سوگیری سامانهٔ هوش مصنوعی (نمونه پیشنهادی تدوینگر بر پایه مفاهیم مطرح‌شده در منابع این فصل)
| فیلد | English | توضیح | نمونه |
|---|---|---|---|
| مرحلهٔ چرخهٔ عمر | Lifecycle Stage | مرحله‌ای از چرخهٔ عمر که ارزیابی در آن انجام شده است | آموزش مدل |
| جامعهٔ هدف و کاربرد سامانه | Target Population & Use | گروه‌هایی که سامانه دربارهٔ آن‌ها تصمیم یا پیش‌بینی می‌کند | متقاضیان تسهیلات خرد در سراسر کشور |
| شرح مجموعه‌داده و منابع | Dataset & Sources | منبع، بازهٔ زمانی و نحوهٔ گردآوری داده | دادهٔ درخواست‌های سه سال اخیر از سامانهٔ مرکزی |
| تحلیل نمایندگی زیرگروه‌ها | Representativeness Analysis | مقایسهٔ سهم زیرگروه‌ها در دادهٔ آموزشی با جامعهٔ هدف | گروه سنی ۱۸ تا ۲۵ کم‌نمایی دارد؛ اقدام: وزن‌دهی مجدد |
| سوگیری‌های شناسایی‌شده | Identified Biases | نوع و منشأ احتمالی سوگیری در طراحی، داده یا آموزش | سوگیری تاریخی داده و سوگیری اندازه‌گیری |
| سنجه‌های انصاف ارزیابی‌شده | Fairness Metrics Evaluated | سنجه‌های کمی به تفکیک زیرگروه‌ها | نرخ مثبت کاذب به تفکیک گروه‌های سنی و منطقه‌ای |
| نتیجه و ریسک باقیمانده | Result & Residual Risk | نتیجهٔ ارزیابی و ریسکی که پس از اصلاح باقی می‌ماند | اختلاف نرخ خطا زیر آستانهٔ مصوب است |
| اقدام اصلاحی | Remediation | اصلاحات انجام‌شده یا برنامه‌شده | بازنمونه‌گیری و افزودن بازبینی انسانی برای موارد مرزی |
| تأییدکننده و تاریخ | Approver & Date | نام، سمت و تاریخ تأیید ارزیابی | مدیر ریسک — ۱۴۰۵/۰۶ |
| موعد بازبینی بعدی | Next Review | بازبینی پس از بازآموزی یا تغییر داده | پس از نخستین بازآموزی مدل |
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S05
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S05-DB9B21A3
اگر سازمان شما از صفر شروع می‌کند
اگر هیچ زیرساختی ندارید، با این توالی آغاز کنید؛ هیچ‌یک از گام‌ها به ابزار گران یا تیم بزرگ نیاز ندارد:
- هفتهٔ ۱ تا ۲ — شناسایی: فهرست کنید همهٔ جایی را که هوش مصنوعی (حتی سرویس‌های ابری عمومی LLM) در فرایندها استفاده می‌شود و برای هر مورد یک مالک بنویسید.
- هفتهٔ ۳ تا ۴ — اولویت‌بندی: تعیین کنید ۱ تا ۳ سامانه‌ای را که هم پرریسک‌اند و هم احتمال طرح‌شدن در دعوا دارند.
- ماه ۲ — پروندهٔ حداقلی: برای هر سامانهٔ منتخب سندی ۲ تا ۴ صفحه‌ای بنویسید: مسئله، داده، مدل، آزمون‌های انجام‌شده، محدودیت‌ها و مالک.
- ماه ۳ — لاگ و زنجیرهٔ ادله: مشخص کنید خروجی کجا ذخیره می‌شود، چه کسی می‌تواند آن را تغییر دهد و یکپارچگی‌اش چگونه اثبات می‌شود.
- ماه ۴ تا ۶ — ارزیابی و تمرین: نخستین ارزیابی سوگیری را روی داده و خروجی انجام دهید و تمرین سادهٔ «اگر فردا استعلام بیاید چه؟» را اجرا کنید.
- ماه ۶ — تصویب: نتیجه را به هیئت‌مدیره گزارش کنید و تناوب بازبینی را تصویب کنید.
حداقل حاکمیت قابل‌دوام هوش مصنوعی: تا آماده‌شدن برنامهٔ کامل، این سه جزء را فراموش نکنید: (۱) فهرست به‌روز کاربردهای هوش مصنوعی، (۲) مالک پاسخگو برای هر کاربرد، (۳) پروندهٔ فنی حداقلی به‌علاوهٔ لاگ تغییرناپذیر برای سامانه‌های مولد ادله. این اصطلاح، اصطلاح رسمی NIST نیست و صرفاً برای توصیف کمینهٔ آغازین در لایهٔ اجرایی این کتاب به‌کار رفته است.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S06
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S06-C363370E
برای تیم فنی: مستندسازی، آزمون، لاگ و لایهٔ دفاعی
- معماری و چرخهٔ عمر مدل: محیط‌های توسعه، آزمون و عملیات را جدا کنید؛ نسخهٔ مدل، دادهٔ آموزشی و ابرپارامترها را ثبت کنید تا هر خروجی به نسخهٔ مشخصی قابل نسبت دادن باشد؛ هیچ بازآموزی بی‌ثبتی انجام نشود.
- لاگ: برای سامانه‌های مولد ادله، ورودی، خروجی، نسخهٔ مدل، زمان و شناسهٔ کاربر را ثبت کنید؛ لاگ‌ها تغییرناپذیر و زمان‌دار باشند و به SIEM ارسال شوند؛ مدت نگهداری را بر پایهٔ نیاز حقوقی تعیین کنید — ممکن است بسته به صنعت و مقررات حاکم، الزامات دیگری نیز اعمال شود.
- آزمون: مجموعه‌آزمون جداشده و قفل‌شده داشته باشید؛ سنجه‌های روایی و قابلیت اطمینان را متناسب با دامنه (نه صرفاً دقت کلی) انتخاب کنید؛ نتایج را به تفکیک زیرگروه‌ها بشکنید تا سوگیری آشکار شود؛ شرایط آزمون (اندازهٔ نمونه، توازن کلاس‌ها، رویدادهای نادر) را ثبت کنید.
- RAG و LLM: منابع ورودی به پایگاه دانش را معتبر و قابل ردیابی نگه دارید؛ ارجاع پاسخ‌ها به منبع را ثبت کنید؛ داده‌های محرمانه را از محتوای عمومی جدا کنید و محتوای ورودی به RAG را از نظر مسموم‌سازی پایش کنید.
- API و کنترل دسترسی: احراز هویت و مجوزدهی برای همهٔ APIهای مدل؛ کمترین امتیاز (Least Privilege) در IAM؛ برای عامل‌های خودکار، اعتبارنامه‌های مجزا و محدود به‌کار و ثبت اقدامات آن‌ها.
- لایهٔ دفاعی امنیتی: در برابر Prompt Injection (اعتبارسنجی ورودی و جداسازی دستور از داده)، نشت داده (پیشگیری از افشای دادهٔ آموزشی یا شخصی در خروجی)، سرقت و استخراج مدل (محدودسازی نرخ و پایش الگوهای استخراجی)، مسموم‌سازی داده و RAG، زنجیرهٔ تأمین مدل (اصالت وزن‌ها و بسته‌ها)، امنیت API، لاگ/SIEM/SOC و DevSecOps (بازبینی کد و کنترل تغییر در خط لولهٔ CI/CD) دفاع بچینید؛ نقض امنیتی می‌تواند هم قابلیت اطمینان سامانه و هم اصالت ادله را از بین ببرد.
- استقرار و پایش: آستانه‌های افت عملکرد و پایش خزش (Drift) تعریف کنید؛ امکان بازگشت سریع به نسخهٔ پیشین مدل را حفظ کنید و هر رویداد مؤثر بر رفتار مدل را در پروندهٔ فنی ثبت کنید.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S07
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S07-0EEAC22D
نگاشت به ISO/IEC، مدل بلوغ تدوینگر و نمونهٔ KPI/KRI
نگاشت زیر نمونهٔ پیشنهادی تدوینگر است؛ سطح اطمینان بر پایهٔ شباهت مفهومی تعیین شده است:
| استاندارد | مفهوم مرتبط این بخش | سطح اطمینان | دلیل مفهومی |
|---|---|---|---|
| ISO/IEC 42001 | نظام مدیریت هوش مصنوعی: مستندسازی، نقش‌ها، کنترل‌ها | PARTIAL | چارچوب مستندسازی و کنترل AI را فراهم می‌کند اما موضوع پذیرش ادله در دادرسی را در بر نمی‌گیرد |
| ISO/IEC 23894 | مدیریت ریسک هوش مصنوعی شامل سوگیری و آزمون | PARTIAL | فرایند ارزیابی ریسک سوگیری و آزمون را پوشش می‌دهد؛ «ادله» محور آن نیست |
| ISO/IEC 27001 | یکپارچگی و اصالت لاگ‌ها و رکوردها | RELATED | کنترل‌های امنیت اطلاعات زیربنای احراز اصالت ادله است اما تمرکزش امنیت است، نه دادرسی |
| ISO/IEC 27005 | مدیریت ریسک امنیت اطلاعات از جمله زنجیرهٔ تأمین مدل | RELATED | ریسک امنیتی تأمین‌کننده را می‌پوشاند؛ ریسک حقوقی و سوگیری خارج از دامنهٔ آن است |
| ISO/IEC 27701 | حفاظت داده‌های شخصی در دادهٔ آموزشی و خروجی | RELATED | حریم خصوصی داده‌های آموزشی و داده‌های اشخاص در رسیدگی را تقویت می‌کند؛ معادلی برای قواعد پذیرش ادله ندارد |
| معیارهای پذیرش ادله در دادرسی (ارتباط، احراز اصالت، عوامل داوبرت و قاعدهٔ ۷۰۲) | پذیرش ادلهٔ AI | NO_DIRECT_EQUIVALENT | این معیارها از آیین دادرسی سرچشمه می‌گیرند و در نظام‌های ISO/IEC معادل مستقیم ندارند |
مدل بلوغ تدوینگر (سطح ۰ تا ۵):
- سطح ۰ — ناشناخته: فهرستی از کاربردهای هوش مصنوعی وجود ندارد.
- سطح ۱ — شناسایی: فهرست دارایی‌ها هست؛ مستندات پراکنده و بی‌مالک است.
- سطح ۲ — مستندسازی: پروندهٔ فنی حداقلی برای سامانه‌های مولد ادله تکمیل شده است.
- سطح ۳ — آزمون‌پذیری: آزمون روایی و قابلیت اطمینان و ارزیابی سوگیری، مستند و تکرارپذیر انجام می‌شود.
- سطح ۴ — پایداری: لاگ و زنجیرهٔ ادله، پایش خزش، بازبینی دوره‌ای و تمرین استعلام برقرار است.
- سطح ۵ — بهبود مستمر: اعتبارسنجی مستقل، سنجه‌های انصاف در خط تولید و بازخورد دعاوی به طراحی سامانه برمی‌گردد.
این مدل بلوغ، چارچوب رسمی NIST نیست و برای کاربرد اجرایی این کتاب تدوین شده است.
نمونهٔ KPI/KRI تدوینگر: KPI — پوشش پروندهٔ آمادگی ادله‌ای؛ درصد خروجی‌های دارای لاگ یکپارچه؛ زمان آماده‌سازی بستهٔ ادله. KRI — تعداد اعتراض‌ها و ادعاهای مرتبط با تصمیم سامانه‌ها؛ تعداد رخدادهای از دست رفتن لاگ؛ تعداد سامانه‌های بدون مالک مشخص. همهٔ این سنجه‌ها نمونهٔ پیشنهادی تدوینگر بر پایهٔ مفاهیم مطرح‌شده در منابع این بخش‌اند.
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S08
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S08-D612405A
نمونه فرم: فرم ثبت سامانهٔ مولد ادله
فرم زیر نمونهٔ پیشنهادی تدوینگر بر پایهٔ مفاهیم مطرح‌شده در منابع این بخش است و باید متناسب با ساختار، صنعت و مقررات حاکم بر سازمان تنظیم شود. این فرم برای هر سامانهٔ «مولد ادله» یک‌بار تکمیل و پس از هر تغییر مهم بازبینی می‌شود.
نمونه فرم — فرم ثبت سامانهٔ هوش مصنوعی مولد ادله و پروندهٔ آمادگی ادله‌ای (نمونه پیشنهادی تدوینگر بر پایه مفاهیم مطرح‌شده در منابع این فصل)
| فیلد | English | توضیح | نمونه |
|---|---|---|---|
| نام سامانه و شناسهٔ دارایی | System Name & Asset ID | نام رسمی سامانه و شناسهٔ یکتا در فهرست دارایی‌های هوش مصنوعی | سامانهٔ کشف تقلب کارت — AI-INV-003 |
| هدف طراحی و مسئلهٔ هدف | Design Purpose & Problem | مسئله‌ای که سامانه برای حل آن طراحی شده و پرسش‌هایی که باید پاسخ دهد | شناسایی تراکنش‌های مشکوک در پرداخت‌های آنی |
| مالک کسب‌وکار | Business Owner | واحد یا فرد پاسخگوی کارکرد و نتایج سامانه | معاونت پرداخت |
| نوع مدل و الگوریتم | Model & Algorithm | خانوادهٔ مدل، ورودی‌های اصلی و خروجی | دسته‌بند گرادیان‌بوستینگ؛ ورودی: مبلغ، زمان و الگوی تراکنش |
| شرح داده‌های آموزشی و نمایندگی | Training Data & Representativeness | منبع، بازهٔ زمانی و تحلیل تناسب داده با جامعهٔ هدف | دادهٔ ۱۲ ماه تراکنش؛ تحلیل نمایندگی زیرگروه‌های مشتریان پیوست است |
| نتایج آزمون روایی و قابلیت اطمینان | Validity & Reliability Test Results | سنجه‌ها، مجموعه‌آزمون، شرایط و محدودیت‌های آزمون با ذکر نسخهٔ مدل | دقت ۹۴ درصد روی مجموعه‌آزمون جداشده؛ گزارش پیوست |
| اعتبارسنجی مستقل | Independent Validation | بازبینی توسط واحد یا شخصی مستقل از تیم توسعه | بازبینی ممیزی داخلی — ۱۴۰۵/۰۳ |
| ارزیابی سوگیری | Bias Assessment | ارجاع به فرم ارزیابی سوگیری و خلاصهٔ نتایج | فرم TPL-P06-2 تکمیل شد؛ دو مورد اصلاح شد |
| لاگ و زنجیرهٔ حفاظت از ادله | Logging & Chain of Custody | محل و شیوهٔ نگهداری خروجی‌ها، هش و مدت نگهداری | خروجی‌ها با هش در SIEM؛ نگهداری پنج‌ساله |
| تبیین‌پذیری خروجی | Explainability | شیوهٔ توضیح تصمیم یا هشدار برای مخاطب غیرفنی | سه عامل اصلی هر هشدار در گزارش کارشناس درج می‌شود |
| تأیید حقوقی و تصویب به‌کارگیری | Legal Approval & Sign-off | نام و سمت تأییدکننده و تاریخ تصویب | معاونت حقوقی — ۱۴۰۵/۰۵ |
| تاریخ بازبینی بعدی | Next Review Date | موعد بازبینی پرونده پس از تغییر مدل، داده یا کاربرد | ۱۴۰۶/۰۵ |
استناد
محمدعلی کهندژ، راهنمای جامع حاکمیت، امنیت و مدیریت ریسک هوش مصنوعی، شناسه بخش: KDJ-AI-2026E1-P06-C48-S09
شناسهٔ محتوا KDJ-AI-2026E1-P06-C48-S09-DC4DE95E