مطالعهٔ آزمایشی GenAI مؤسسه ملی استاندارد و فناوری آمریکا (2024): مرور و نتایج ارزیابی متن به متن

مطالعه پایلوت متن‌به‌متن NIST GenAI چارچوب ارزیابی ساختارمند و دقیقی برای «تشخیص» (Detection) «هوش مصنوعی مولد» (Generative AI, GAI) ارائه می‌کند. اگرچه این مطالعه بینش‌های ارزشمندی درباره نقاط قوت و ضعف مدل‌های نسل کنونی به دست می‌دهد، اما چالش‌هایی مانند توانایی‌های در حال تکامل هوش مصنوعی و محدودیت‌های مقیاس‌پذیری بهتر است در پژوهش‌های «آینده» (Future) مورد توجه قرار گیرند. گسترش دامنه حوزه‌های متنی، گنجاندن محتوای ترکیبی انسان–هوش مصنوعی، و پالایش تکنیک‌های ارزیابی، تأثیر این ارزیابی را در پیشبرد روش‌شناسی‌های تشخیص محتوای تولیدشده توسط هوش مصنوعی بیشتر تقویت خواهد کرد.

گسترش دامنه حوزه‌های متنی: پژوهش‌های آینده بهتر است فراتر از وظایف خلاصه‌سازی حرکت کنند تا محتوای تولیدشده توسط هوش مصنوعی را در حوزه‌های متنوعی همچون نویسندگی خلاق، هوش مصنوعی گفت‌وگومحور، مستندسازی فنی و متون حقوقی ارزیابی کنند. این کار درکی جامع‌تر از قابلیت‌های «هوش مصنوعی مولد» (Generative AI, GenAI) و چالش‌های تشخیص آن فراهم خواهد کرد.

توسعه متمایزکننده‌های مقاوم‌تر: با توجه به پیشرفت سریع هوش مصنوعی مولد، مدل‌های متمایزکننده نیز بهتر است تحول یابند. کارهای آینده بهتر است بر رویکردهای ترکیبی متمرکز شوند که روش‌های آماری، زبانی و مبتنی بر یادگیری عمیق را برای تشخیص دقیق‌تر متون تولیدشده توسط هوش مصنوعی با هم ترکیب می‌کنند.

بررسی همکاری انسان و هوش مصنوعی: به‌جای آنکه متون تولیدشده توسط هوش مصنوعی و متون تولیدشده توسط انسان را دو مقوله متمایز در نظر بگیریم، مطالعات آینده بهتر است مدل‌های ترکیبی را بررسی کنند که در آن‌ها هوش مصنوعی به نویسندگان انسانی کمک می‌کند. درک تفاوت محتوای هم‌نویسته‌شده با متنِ صرفاً هوش‌مصنوعی‌زاده یا انسان‌زاده اهمیتی حیاتی دارد.

ارتقای مقیاس‌پذیری و کارایی: ارزیابی‌های در مقیاس بزرگ به منابع محاسباتی گسترده نیاز دارند. پژوهش‌های آینده بهتر است روش‌شناسی‌های ارزیابی بهینه‌شده، از جمله یادگیری فعال و رویکردهای نیمه‌نظارت‌شده را بررسی کنند تا کارایی را با حفظ دقت بهبود بخشند.

پرداختن به سوگیری در مدل‌های تشخیص: مدل‌های متمایزکننده می‌توانند عملکرد نامتوازنی در طبقات مختلف ورودی‌ها از خود نشان دهند که می‌تواند بر اثربخشی آن‌ها اثر بگذارد. مطالعات آینده بهتر است روش‌های کاهش «سوگیری» (Bias) را بررسی کنند؛ روش‌هایی مانند مجموعه‌داده‌های آموزشی متنوع و تکنیک‌های یادگیری ماشینِ آگاه از «انصاف» (Fairness).

توسعه مجموعه‌داده‌های معیار برای محتوای چندوجهی: از آنجا که رسانه‌های «محتوای مصنوعی» (Synthetic Content) دربرگیرنده چند وجه هستند (متن، تصویر، صدا و ویدیو)، کارهای آینده بهتر است بر ایجاد مجموعه‌داده‌های معیار متمرکز شوند که محتوای تولیدشده توسط هوش مصنوعی را به‌صورت جامع در قالب‌های رسانه‌ای مختلف ارزیابی کنند. در حال حاضر، تیم GenAI بر سنجش و ارزیابی قابلیت‌ها و محدودیت‌های فناوری‌های هوش مصنوعی مولد متمرکز است، بدون آنکه دغدغه‌های «اجتماعی‌ـ‌فناورانه» (Socio-technical) را در نظر بگیرد.

پیشبرد «تبیین‌پذیری» (Explainability) در مدل‌های تشخیص: شایسته بررسی است که تشخیص دهیم چه زمانی و برای چه هدفی توضیحات می‌توانند برای کاربران مفید باشند؛ در مواردی که مفیدند، چه انواع توضیحاتی سودمند خواهند بود؛ و چه تکنیک‌های XAI ممکن است بتوانند آن گونه توضیحات را ارائه دهند. پژوهش‌های آینده بهتر است توسعه تکنیک‌های هوش مصنوعی تبیین‌پذیر (XAI) را در نظر بگیرند که بینش‌هایی درباره چرایی طبقه‌بندی یک متن خاص به‌عنوان هوش‌مصنوعی‌زاده یا انسان‌نوشته ارائه می‌دهند.

برپاسازی محک‌زنی مستمر و مسابقات: بهتر است به‌طور منظم اقدامات محک‌زنی و مسابقاتی مشابه مطالعه پایلوت NIST GenAI برگزار شود تا پیشرفت در تولید و «تشخیص» (Detection) هوش مصنوعی رصد گردد و همکاری میان دانشگاه، صنعت و نهادهای سیاست‌گذاری تقویت شود.

منابع

• [1] Adobe Content Authenticity Initiative (CAI) (2023). Content authenticity initiative.

• [2] Baly, R., Karadzhov, G., Alexandrov, D., Glass, J., and Nakov, P. (2020). What was written vs. who read it: News media profiling using text analysis and social media context. In Findings of EMNLP 2020.

• [3] DeepMind, G. (2023). Synthid: Ai-generated image detection.

• [4] DetectGPT (2023). Zero-shot ai text detection via probability curvature. arXiv Preprint.

• [5] FakeCatcher (2022). Deepfake video detection.

• [6] Ferrara, E. (2020). Manipulating social media: Machine learning-based automation in the age of disinformation. Annual Review of Statistics and Its Application, 7:273–297.

• [7] GPTZero (2023). A classifier for ai-generated text detection.

• [8] Harvard & MIT-IBM Watson Lab (2019). Gltr – giant language model test room.

• [9] Hive AI (2023). Ai content detector api for enterprises.

• [10] Hu, X., Chen, P.-Y., and Ho, T.-Y. (2023). RADAR: Robust AI-text detection via adversarial learning. In Proceedings of the 37th International Conference on Neural Information Processing Systems (NeurIPS 2023). Accessed: مارس ۲۰۲۵ (اسفند ۱۴۰۳ تا فروردین ۱۴۰۴).

• [11] Kirchenbauer, J., Geiping, J., Wen, B., Katz, N., Goldstein, T., and Jermyn, J. (2023). A watermark for large language models. arXiv Preprint.

• [12] Kumarage, T., Agrawal, G., Sheth, P., Karim, R., Deb, R. P., and Liu, H. (2024). A survey of ai-generated text forensic systems: Detection, attribution, and characterization. arXiv preprint arXiv:2403.01152.

• [13] Macmillan, N. A. and Creelman, C. D. (2005). Detection Theory: A User's Guide. Lawrence Erlbaum Associates, Mahwah, NJ, 2nd edition.

• [14] Martin, A., Doddington, G., Kamm, T., Ordowski, M., and Przybocki, M. (1997a). The DET curve in assessment of detection task performance. Technical report, DTIC Document.

• [15] Martin, A., Doddington, G., Kamm, T., Ordowski, M., and Przybocki, M. (1997b). The DET curve in assessment of detection task performance. In Proceedings of the 5th European Conference on Speech Communication and Technology (Eurospeech 1997), pages 1895–1898.

• [16] Microsoft (2023). Deepfake detection by microsoft.

• [17] NIST AI 100-4 (2024). Reducing Risks Posed by Synthetic Content: An Overview of Technical Approaches to Digital Content Transparency. Technical Report NIST AI NIST AI 100-4, National Institute of Standards and Technology, Gaithersburg, MD.

• [18] OpenAI (2022). Roberta-base openai detector. Accessed: مارس ۲۰۲۵ (اسفند ۱۴۰۳ تا فروردین ۱۴۰۴).

• [19] OpenAI (2023a). Ai text classifier. [Discontinued].

• [20] OpenAI (2023b). Gpt-4 technical report. arXiv preprint , arXiv:2303.08774.

• [21] OpenAI (2024). Cryptographic watermarking (in development). OpenAI’s watermarking research.

• [22] Penn State News (2024). Q&A: The increasing difficulty of detecting AI- versus humangenerated text. https://www.psu.edu/news/information-sciences-and-technology/st ory/qa-increasing-difficulty-detecting-ai-versus-human. Accessed: 2025-02-24 (۶ اسفند ۱۴۰۳).

• [23] Pennycook, G. and Rand, D. G. (2019). Fighting misinformation on social media using ”accuracy prompts”. Nature Human Behaviour , 3(5):484–488.

• [24] Shu, K., Mahudeswaran, D., Wang, S., Lee, D., and Liu, H. (2020). Fakenewsnet: A data repository with news content, social context, and spatiotemporal information for studying fake news on social media. Big Data , 8(3):171–188.

• [25] Tan, R., Plummer, B. A., and Saenko, K. (2020). Detecting cross-modal inconsistency to defend against neural fake news. arXiv preprint arXiv:2009.07698 .

• [26] Turnitin AI Detection (2023). Ai writing detection for academic integrity.

• [27] Vosoughi, S., Roy, D., and Aral, S. (2018). The spread of true and false news online. Science , 359(6380):1146–1151.

• [28] Wardle, C. and Derakhshan, H. (2017). Information disorder: Toward an interdisciplinary framework for research and policy making. Technical report, Council of Europe.

• [29] Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., and Waddington, L. (2023). Testing of detection tools for aigenerated text. International Journal for Educational Integrity , 19(1):1–39.

• [30] Yang, Y., Zheng, L., Zhang, J., Cui, Q., Li, Z., and Yu, P. S. (2021). Rumor detection on social media with graph neural networks. In Proceedings of the Web Conference 2021 , pages 798–808.

• [31] Ye, J., Chen, X., Xu, N., Zu, C., Shao, Z., Liu, S., Cui, Y., Zhou, Z., Gong, C., Shen, Y., Zhou, J., Chen, S., Gui, T., Zhang, Q., and Huang, X. (2023). A comprehensive capability analysis of gpt-3 and gpt-3.5 series models. arXiv preprint arXiv:2303.10420 .

A. اطلاعات تکمیلی

هر یک از شرکت‌کنندگان G و D تعداد متغیری از submissionهای ارزیابی ارسال کرده‌اند.

جدول ۹. شرکت‌کنندگان D در D-round-1، شناسه‌های submission آن‌ها و تعداد کل submission هر شرکت‌کننده.

Table 9. D-participants in D-round-1, their submission IDs, and total number of submissions per participant.

جدول ۱۰. شرکت‌کنندگان G در G-round-1، شناسه‌های submission آن‌ها و تعداد submission‌ها. دو شرکت‌کننده G پایه (baseline) از مؤسسه ملی استاندارد و فناوری آمریکا وجود داشتند: NIST-gpt35 و NIST-gpt4. بدون احتساب baseline‌های NIST، در مجموع ۲۷ submission وجود داشت که هر submission شامل یک خلاصه تولیدشده با هوش مصنوعی برای هر یک از ۱۰ موضوع بود. بنابراین، در مجموع ۱۰ خلاصه به‌عنوان بخشی از هر submission توسط هر شرکت‌کننده خارجی G ارائه شد.

Table 9. D-participants in D-round-1, their submission IDs, and total number of submissions per participant.

جدول ۱۱. شرکت‌کنندگان D در D-round-2، شناسه‌های submission و تعداد submission‌ها. در مجموع ۱۳۷ submission از ۸ شرکت‌کننده D وجود داشت.

Table 11. D-participants in D-round-2, submission IDs, and number of submissions. There were a total of 137 D-submissions from 8 D-participants.

جدول ۱۲. شرکت‌کنندگان G در G-round-2، شناسه‌های submission و تعداد submission‌ها. هفت شرکت‌کننده خارجی G و دو مولد پایه (baseline) از مؤسسه ملی استاندارد و فناوری آمریکا وجود داشت (NIST-gpt35 و NIST-gpt4). در مجموع ۴۷ submission از شرکت‌کنندگان خارجی وجود داشت.

جدول ۱۲. مشارکت‌کنندگان G در G-round-2، شناسه‌های ارسال‌ها و تعداد ارسال‌ها. هفت مشارکت‌کنندهٔ خارجی G و دو مولّد پایهٔ مؤسسه ملی استاندارد و فناوری آمریکا (NIST-gpt35 و NIST-gpt4) وجود داشت. در مجموع ۴۷ ارسال از مشارکت‌کنندگان خارجی ثبت شد.

جدول ۱۳. مشارکت‌کنندگان D در D-round-3، شناسه‌های ارسال‌ها و تعداد ارسال‌ها. در این مرحله ۷ تیم متمایز‌ساز و در مجموع ۱۶۱ ارسال وجود داشت. یکی از این ارسال‌ها از تیم NIST GenAI با استفاده از یک الگوریتم پایهٔ داخلی است.

تصویر در نسخهٔ PDF شکل ۱۹. مقدار AUC برای مجموعهٔ ارسال‌های D از D-round-1.

شکل ۱۹. مقدار AUC برای مجموعهٔ ارسال‌های D از D-round-1.

تصویر در نسخهٔ PDF شکل ۲۱. (ادامه). مقدار AUC برای مجموعهٔ ارسال‌های D از D-round-3.

شکل ۲۱. (ادامه). مقدار AUC برای مجموعهٔ ارسال‌های D از D-round-3.