هوش مصنوعی، پژوهش حقوقی و تحلیل داده‌های قضایی

هوش مصنوعی و دادگاه‌ها: مواد آموزشی برای قضات

انجمن پیشبرد علوم آمریکا (AAAS) مفتخر است که از سوی مؤسسه ملی استاندارد و فناوری آمریکا (NIST) مأموریت تهیه مواد آموزشی درباره «هوش مصنوعی» (Artificial Intelligence, AI) برای قضات و دادگاه‌ها را بر عهده گرفته است.

از این رو AAAS این مجموعه از مواد آموزشی برای قضات را ارائه می‌کند که طیفی گسترده، اما متناسب، از مسائل را در بر می‌گیرد. (ر.ک. فهرست زیر). هدف AAAS آن است که مجموعه‌ای از تعاریف، تحلیل‌ها و دیدگاه‌های کاربرپسند، دقیق و در عین حال به‌آسانی قابل‌فهم درباره مجموعه‌ای از اصطلاحات و موضوعاتی که قوه قضاییه لازم است با آن‌ها آشنا شود، فراهم آورد.

مواد موجود در این مجموعه توسط تیم‌هایی از متخصصان علوم و حقوق که بر یک موضوع خاص تمرکز داشتند، تدوین شده‌اند. موضوعاتی که شایسته گنجاندن تشخیص داده شدند، هم بر اساس مأموریت محول‌شده از سوی NIST و هم بر اساس راهنمایی‌هایی که AAAS از یک کمیته مشاوره متشکل از گروهی بزرگ و متنوع از متخصصان حقوق و هوش مصنوعی دریافت کرد، برگزیده شدند. سپس پیش‌نویس‌های این مواد برای اعضای کمیته مشاوره و نیز «داوران» متخصص خارجی ارسال شد تا پیش از نهایی‌سازی سهم هر تیم از نویسندگان (مقاله، پادکست، ضمیمه و غیره)، هرگونه پیشنهادی برای اصلاحات به دست آید.

انتظار نمی‌رود که دادگاه‌ها در این امور که گاه پیچیده یا فنی هستند، متخصص شوند؛ بلکه این مجموعه واقعیت‌ها و مرورهایی را به شیوه‌ای ارائه می‌کند که هدف آن آگاه ساختن قضات از مسائل کلیدی و امکان‌پذیر ساختن دسترسی آسان دادگاه‌ها به اطلاعات سودمند موجود در این مجموعه است.

سرانجام، امید است که دادگاه‌ها برخی عناصر نوآورانه این محصول، به‌ویژه گنجاندن پادکست‌ها را ارج نهند. این پادکست‌ها واقعیت‌ها و تحلیل مسائل مهم را در قالبی در اختیار دادگاه‌ها می‌گذارند که می‌تواند برای آن‌ها خوشایند و با توجه به متن‌های نوشتاری همراه آن، سودمند باشد. AAAS از NIST به این دلیل قدردانی می‌کند که اجازه داد تیمی از متخصصان در چارچوب این پروژه، رویکردی پیشرو در ارائه اطلاعات و بینش‌های مورد نیاز به دادگاه‌ها در پیش گیرد.

مواد این مجموعه عبارت‌اند از:

۱. هوش مصنوعی – مسائل بنیادین و واژه‌نامه

۲. هوش مصنوعی و نظام عدالت (سری پادکست و متن‌های گفتگو)

قسمت ۱: هوش مصنوعی (Artificial Intelligence, AI) و نمره‌های ریسک (۴۹ دقیقه)

قسمت ۲: هوش مصنوعی در حوزه حقوقی – کاربردهای تجاری و غیرمنتظره (۷۰ دقیقه)

قسمت ۳: هوش مصنوعی، تصمیم‌گیری و نقش قضات (۵۸ دقیقه)

3. هوش مصنوعی، اعتمادپذیری و دادرسی

4. هوش مصنوعی، پژوهش حقوقی و تحلیل داده‌های قضایی

5. هوش مصنوعی و سوگیری – یک ارزیابی

سپاسگزاری‌ها

انجمن آمریکایی پیشرفت علوم (AAAS) از نگارش این اثر به‌دست John Facciola، استاد مدعو حقوق در دانشکده حقوق دانشگاه Georgetown و قاضی (بازنشسته) دادگاه ناحیه‌ای ایالات متحده برای ناحیه Columbia، و Nicholas Mignanelli، کتابدار خدمات پژوهشی و آموزشی در کتابخانه حقوق Lillian Goldman و مدرس پژوهش حقوقی در دانشکده حقوق دانشگاه Yale، صمیمانه قدردانی می‌کند.

همچنین از اعضای کمیته مشاوره برای دیدگاه‌ها و راهنمایی‌هایشان در سراسر طراحی و تولید این اثر قدردانی می‌کنیم: Rediet Abebe، استادیار علوم رایانه، دانشگاه کالیفرنیا، Berkeley؛ Theodore F. Claypoole، شریک، Womble, Bond, Dickenson, LLP؛ John Cooke، مدیر، Federal Judicial Center؛ Cynthia Cwik، مشاور ارشد حقوقی، همکار پیشین دانشگاه Stanford و شریک پیشین Jones Day و Latham & Watkins؛ Herbert B. Dixon, Jr.، قاضی (بازنشسته) دادگاه عالی ناحیه Columbia و مشاور ارشد حقوقی مرکز فناوری حقوق و دادگاه، دانشکده حقوق William & Mary؛ Finale Doshi-Velez، دانشیار علوم رایانه، دانشکده مهندسی و علوم کاربردی، دانشگاه Harvard؛ Paul W. Grimm، قاضی دادگاه ناحیه‌ای ایالات متحده برای ناحیه Maryland؛ James Harris، مشاور فناوری، National Center for State Courts؛ Joseph Sawyer، مدیر توسعه هیئت‌علمی و یادگیری برخط، National Judicial College؛ Elham Tabassi، رئیس ستاد، آزمایشگاه فناوری اطلاعات، مؤسسه ملی استاندارد و فناوری آمریکا (NIST)؛ و Zachary Zarnow، مشاور ارشد مدیریت دادگاه، National Center for State Courts.

AAAS از مشارکت‌های Solomon Assefa، معاون ارشد، IBM Research؛ Nicole Clark، مدیرعامل، Trellis Research؛ Rebecca Crootof، دانشیار حقوق، دانشکده حقوق دانشگاه Richmond؛ Patrick Huston، سرلشکر و معاون دادستانی کل برای امور نظامی و عملیات، وزارت دفاع ایالات متحده؛ Maia LevyDaniel، وکیل و مشاور سیاست‌گذاری عمومی؛ Matthew Stepka، شریک مدیر، Machina Ventures و مدرس دانشکده کسب‌وکار Haas، دانشگاه کالیفرنیا، Berkeley؛ Peter Stone، استاد دانشکده علوم رایانه و بنیان‌گذار و مدیر گروه پژوهشی عامل‌های یادگیرنده، آزمایشگاه هوش مصنوعی، دانشگاه تگزاس، Austin؛ Rebecca Wexler، استادیار حقوق و هم‌مدیر هیئت‌علمی، مرکز حقوق و فناوری Berkeley، دانشگاه کالیفرنیا، Berkeley؛ و دیگرانی که نسخه‌های پیشین مجموعه «هوش مصنوعی و دادگاه‌ها: مواد آموزشی برای قضات» را بازبینی کردند و نظرات ارزشمندی ارائه دادند، سپاسگزاری می‌کند.

ویراستاری این مقاله بر عهده Joel Ericsen، همکار برنامه، و Alain Norman، همکار ارشد برنامه، بخش علم و حقوق، AAAS بود. قدردانی ویژه‌ای از Theresa Harris، مدیر برنامه مسئولیت علمی، حقوق بشر و قانون، و Nathaniel Weisenberg، همکار برنامه، هر دو از AAAS، و همچنین از Barbara «Bebe» Holloway از دانشگاه ویرجینیا، به‌پاس مشارکت‌هایشان داریم.

Paula Fry، مدیر خلاقیت و برند AAAS، طرح جلد این نشریه را طراحی کرد.

تولید این نشریه و سایر مواد مجموعه «هوش مصنوعی و دادگاه‌ها: مواد آموزشی برای قضات» با بودجه مؤسسه ملی استاندارد و فناوری آمریکا (NIST) از طریق اعطای شماره 60NANB21D031 تأمین شده است.

چکیده

این مقاله به دو موضوع—که اغلب نادیده گرفته می‌شوند—اما دارای اهمیتی بالقوه بسیار مستقیم برای قضات می‌پردازد: اینکه سیستم‌های هوش مصنوعی (AI) چگونه می‌توانند بر فرایند و نتایج «پژوهش حقوقی» (Legal Research) اثر بگذارند، و اینکه آیا ارزیابی‌های حاصل از آرای، تصمیم‌ها یا حتی سبک پیشین قضات (یعنی «تحلیل داده‌های قضایی» (Judicial Analytics)) می‌تواند وکیل طرف‌های دعوا را قادر سازد مزیتی به دست آورد یا خیر، و چگونه. به بیان دیگر، جست‌وجوهای کلیدواژه‌ای یا دیگر اشکال «بازبینی به‌کمک فناوری» ممکن است بسته به طرز طراحی موتورهای جست‌وجو، بیش‌تر یا کم‌تر اثربخش باشند یا از آن اثر بپذیرند. جدا از این، به‌طور فزاینده‌ای فروشندگانی هستند که محصولاتی عرضه می‌کنند—بر پایه تحلیل رفتارها و آرای قضات—که مدعی‌اند بینش‌هایی فراهم می‌آورند که به نوبه خود «خطرها» (Risks) را برای اصحاب دعوا یا طرف‌ها کاهش خواهد داد. سرانجام، ممکن است هوش مصنوعی بتواند به‌گونه‌ای سودمند روشن کند که آیا اصلاحات قواعد یا رویه‌ها در بهبود ادارهٔ عدالت اثربخش بوده‌اند یا خیر، و در چه زمانی.

نویسندگان:

John Facciola، استاد مدعو حقوق، دانشکده حقوق دانشگاه Georgetown؛ قاضی (بازنشسته)، دادگاه ناحیه‌ای ایالات متحده برای ناحیه District of Columbia

Nicholas Mignanelli، کتابدار خدمات پژوهشی و آموزشی، کتابخانه حقوق Lillian Goldman؛ مدرس پژوهش حقوقی، دانشکده حقوق دانشگاه Yale

در سال‌های اخیر، «هوش مصنوعی» (Artificial Intelligence, AI)^۱ به اصطلاحی پرکاربرد در صنعت حقوق تبدیل شده است و مقالات و نوشته‌های وبلاگی بی‌شماری به استقبال از آن رفته و از راه‌های گوناگونی سخن گفته‌اند که وعدهٔ دگرگونی بنیادینِ وکالت را می‌دهد. اما هوش مصنوعی چیست؟ هوش مصنوعی به‌سادگی مرحله‌ای از پیشرفت فناورانه است که در آن رایانه‌ها می‌توانند کارهایی را انجام دهند که به‌طور سنتی مستلزم هوش انسانی بوده است. هوش مصنوعی را می‌توان به دو دسته تقسیم کرد: هوش مصنوعی مبتنی بر قاعده و «یادگیری ماشین» (Machine Learning, ML). در رویکرد مبتنی بر قاعده، فرایندها از طریق قواعدی که انسان‌ها کدنویسی کرده‌اند خودکار می‌شوند. یادگیری ماشین اما دربردارندهٔ آن است که رایانه‌ها الگوهایی را در داده‌ها شناسایی کنند و بر اساس آن‌ها قاعده بسازند.

در حوزهٔ «پژوهش حقوقی» (Legal Research)، یادگیری ماشین جست‌وجوی زبان طبیعی و بازیابی اسناد مرتبط را ممکن می‌سازد؛ بازیابی‌ای که عامل‌هایی مانند رفتار کاربران پیشین و مطابق با الگوریتم‌ها (دستورالعمل‌هایی) که برنامه‌نویسان ایجاد کرده‌اند، تعیین می‌شود. با این حال، جزئیات این دستورالعمل‌ها و چگونگی عملکرد آن‌ها اغلب در «جعبهٔ سیاهِ» استعاری وجود دارد؛ بدین معنا که برای کاربران دست‌نیافتنی است و در برخی موارد حتی برای برنامه‌نویسان نیز چنین است. در نتیجه، کاربر می‌تواند ورودی و خروجی را ببیند، اما نمی‌تواند ببیند چرا یک ورودی خاص به خروجی خاصی می‌انجامد. برای نمونه، وقتی وکیلی در یک پایگاه دادهٔ حقوقی جست‌وجوی کلیدواژه‌ای انجام می‌دهد، نمی‌داند چرا برخی نتایج ظاهر می‌شوند و برخی دیگر نمی‌شوند، و همچنین نمی‌داند چرا نتایج به آن ترتیب خاص ظاهر می‌شوند.

افزون بر این، «هر پایگاه داده‌ای یک دیدگاه دارد.» پروفسور Susan Nevelow Mart در مقاله‌ای در سال ۲۰۱۷، ۱۰ نتیجهٔ برتر ۵۰ جست‌وجوی انجام‌شده روی یک مجموعه‌دادهٔ یکسان را در شش پایگاه دادهٔ حقوقی با هم مقایسه کرد.^۲ او دریافت که نتایج از پایگاه داده‌ای به پایگاه دادهٔ دیگر به‌شدت متفاوت بود. این موضوع نشان داد آنچه پژوهشگر در فرایند جست‌وجو می‌یابد، به‌شدت به این بستگی دارد که چه کسی الگوریتم جست‌وجو را ساخته و سازنده (برنامه‌نویس) در این فرایند چه انتخاب‌هایی کرده است.^۳ بنابراین، پیش‌فرض‌ها و «سوگیری» (Bias)های برنامه‌نویسان در الگوریتم‌های جست‌وجویی که انسان‌ها می‌نویسند تعبیه شده است، و سوگیری‌های پژوهشگران پیشین در داده‌های کاربری که الگوریتم‌ها بر آن‌ها تکیه می‌کنند جای گرفته است. این امر از آن جهت نگران‌کننده است که برنامه‌نویسان به‌طور معمول از گروه‌های همگن مردم با انگیزه‌های خاصی برمی‌آیند، و پژوهشگران پیشین را کسانی تشکیل می‌دادند که توانِ دسترسی به پلتفرمِ پرهزینهٔ پژوهش حقوقی مورد بحث را داشتند.^۴ این پدیده «سوگیری الگوریتمی» نامیده می‌شود.

تحوّل مرتبط اما متمایزی در فناوری پژوهش حقوقی، در پیدایش آنچه «تحلیل داده‌های قضایی» (Judicial Analytics) نامیده می‌شود، دیده می‌شود. فروشندگان، محصولات تحلیل داده‌های قضایی را با گردآوری داده‌ها از پرونده‌های عمومی در دسترس و به‌کارگیری آن داده‌ها برای شناسایی الگوهایی در شیوهٔ صدور آرای پیشین یک قاضیِ معین می‌سازند. سپس وکیل می‌تواند از این الگوها برای تلاش به پیش‌بینی کردنِ رفتار آیندهٔ قاضی‌ای که پیش او حضور دارد بهره گیرد. با استفاده از محصولات تحلیل داده‌های قضایی، وکلا می‌توانند دریابند قاضی تا چه اندازه به‌احتمال زیاد به درخواست آن‌ها ترتیب اثر می‌دهد، به‌طور میانگین چه مدت برای رسیدگی به پرونده‌هایی مانند پروندهٔ آن‌ها زمان می‌گذارد، و در رسیدگی به پرونده‌های مشابه معمولاً به چه منابعی استناد می‌کند.

اگرچه وکلا، به‌ویژه آنان که در مؤسسه‌های حقوقی بزرگ اشتغال دارند، با وعدهٔ کاهش «ریسک» (Risk) به این محصولات پرهزینه جذب می‌شوند، دقت تحلیل داده‌های قضایی به در دسترس بودن و جامعیتِ پرونده‌هایی بستگی دارد که داده‌ها از آن‌ها گردآوری می‌شود. افزون بر این، این محصولات پرسش‌های اخلاقی جدی دربارهٔ برابری و دسترسی به عدالت را مطرح کرده‌اند؛ منتقدان مدعی‌اند تنها اشخاص و نهادهای ثروتمند خواهند توانست وکلایی را به خدمت بگیرند که توان دسترسی به این محصولات را دارند. در حقیقت، فرانسه به‌کارگیری برخی انواع تحلیل داده‌های قضایی را جرم‌انگاری کرده است.^۵

گفته می‌شود که هوش مصنوعی و تحلیل داده‌های قضایی در حال متحول کردن وکالت هستند. با این حال، چنین ادعاهایی باید با تردیدی سالم روبه‌رو شود. از آنجا که همچنان روشن نیست این فناوری‌های جدید وکالت را چگونه تغییر خواهند داد، مهم است که اصول کلیِ چگونگی کارکرد این فناوری‌های جدید و کاستی‌های آن‌ها را بشناسیم.

۲. کاربرد عمل‌گرایانهٔ نرم‌افزارهای پیش‌بین

تا زمانی که وکلا و بیش از یک دادگاه وجود داشته است، وکلا همواره کوشیده‌اند دادگاهی را بیابند که به نفع موکل آن‌ها باشد. این که موضوع، حوزهٔ قضایی در سطح فدرال باشد، یا قاضی، یا استخر احتمالی هیئت منصفه، وکلا به توانایی خود در «انتخاب دادگاهِ مناسب» (forum shopping) افتخار می‌کنند. هرچند تلاش‌های وکلا معمولاً علمی‌تر از تماس تلفنی با یک دوست و پرسیدن دربارهٔ گرایش‌های قاضی مشخصی نیست، وکلا به اطلاعات مشترک اطمینان ضمنی دارند، حتی اگر این اطلاعات چیزی بیش از شایعات بازگرم‌شدهٔ محیط دادگاه نباشد.

چیز تازه‌ای افزوده شده است. مهندسان نرم‌افزار در حال ساخت برنامه‌هایی هستند که پیامد یک پرونده را بر اساس داده‌هایی که برنامه تحلیل می‌کند، پیش‌بینی کنند. در این که برنامه‌های رایانه‌ای بخواهند آنچه انسان‌ها ممکن است بپسندند و/یا انجام دهند را پیش‌بینی کنند، هیچ چیز انقلابی وجود ندارد. این همان فناوری‌ای است که سرویس پخش موسیقی Pandora از آن استفاده می‌کند تا به ما بگوید اگر به Bach یا Drake علاقه‌مند باشیم، به‌احتمال زیاد به Mozart و Bruno Mars نیز علاقه‌مند خواهیم شد. در واقع، ثروت‌های هنگفتی ساخته می‌شود چون نرم‌افزار می‌تواند با دقتی ادعایی پیش‌بینی کند که آیا پاس بعدیِ کوارتربک به یک تاچ‌داون منجر خواهد شد.

افرادی با سن مشخص ممکن است به یاد بیاورند که وقتی دوربین تلویزیون روی رختکن می‌چرخید، پرتاب‌کنندهٔ توپ را در حال گذاشتن تکه‌ای توتون در دهانش می‌دید. اکنون، دوربین به ما نشان می‌دهد که ضربه‌زنندهٔ بعدی در حال بررسی iPad خود است تا محاسبه کند اگر به توپ کرِیو‌بال چوب نزند، احتمال گرفتن یک ضربهٔ موفق در نوبت ضربه‌زنی بعدی‌اش چقدر است.

همهٔ این‌ها چیزی نیست جز کاربرد اکنون تقریباً فراگیرِ الگوریتم.

در نظری اخیر، قاضی Grimm دربارهٔ الگوریتم‌ها چنین گفت:

الگوریتم‌ها نه دانای مطلق‌اند، نه توانای مطلق، و نه خطاناپذیر. آن‌ها چیزی نیستند جز یک روش نظام‌مند برای اجرای فرایندی معین از آغازی تا پایانی. Paul W. Grimm, et al, Artificial Intelligence as Evidence, 19 NW. J. Tech & Intell. Prop. 9. 11 (2021) (تعریف الگوریتم). اگر نادرست برنامه‌ریزی شده باشند، اگر گام‌های تحلیلی نهفته در آن‌ها نادرست یا ناقص باشند، یا اگر آزموده نشده باشند تا تأیید شود که خروجی‌شان محصول سیستم یا فرایندی توانا در تولید نتایج است… آنگاه نمی‌توان نشان داد که نتایجی که تولید می‌کنند مربوط، قابل‌اتکا، سودمند برای یابندهٔ واقعیت‌اند، یا با اوضاع و احوال پروندهٔ خاصی که در آن به کار می‌روند متناسب‌اند.^۶

الگوریتم‌ها همچون باران و آفتاب در زندگی ما حاضرند. قاضی‌ها و وکلا در یک جنبهٔ مهم با آن‌ها راحت‌تر و آشناتر می‌شوند: کاربرد آن‌ها در کشفِ اسناد مدنی.

با آنکه فناوری، تولید داده‌ها توسط کسب‌وکارهای آمریکایی را دگرگون کرد، وکلا دریافتند که موکلان آن‌ها کوه‌هایی از داده‌ها دارند. متأسفانه، اندکی از این شرکت‌ها سیاست‌های حکمرانی اطلاعات داشتند. در عوض، بیشتر این کوه‌های داده از تپه‌های بلندی از مواد بی‌ارزش تشکیل شده بود. در میان داده‌های حیاتی، دعوت‌نامه‌های مهمانی تعطیلات، اطلاعیهٔ تمرین سافتبال و ثبت‌نام‌های مسابقهٔ جدول حذفی NCAA March Madness در سراسر دفتر دفن شده بودند.

وکلا با مطالبات کشفِ اسناد روبه‌رو شدند که آن‌ها را وادار می‌کرد با چیزی جز چشم‌ها و یک مداد، تا حد یک ترابایت یا حتی یک پتابایت از این آمیختگیِ حیاتی و پوچ را بازبینی کنند. متأسفانه، وکلای زیادی امید زندگیِ کافی برای خواندن یک پتابایت داده را ندارند.^۷ شاید از سر نومیدی، به علوم اطلاعات روی آوردند.

از پیش، رشتهٔ علمی‌ای برای ساخت سیستم‌های مکانیکی جهت یافتن داده‌های مربوط در مجموعه‌داده‌های بزرگ وجود داشت. آن رشته، چیزی را به بار آورد که وکلا آن را «بازبینی با کمک فناوری» (technology assisted review, TAR) می‌نامیدند. این اصطلاح به معنای استفاده از الگوریتم‌ها برای تعریف و سپس محدودسازی جست‌وجوها بود. وکیل، با یاری الگوریتم، داده‌ها را با روش‌شناسی‌های متفاوتی جست‌وجو می‌کرد.

یکی از این روش‌ها، عبارت‌های جست‌وجو بود؛ واژه‌هایی که وکلا فکر می‌کردند باید در اسنادی که در پی آن‌ها هستند ظاهر شوند. روشی پالوده‌تر لقب «یادگیری ماشین» (Machine Learning, ML) گرفت. این بدان معنا نیست که ماشین همان‌گونه که یک انسان می‌آموزد «می‌آموزد». ماشین از افزایش ظرفیت خود در شناسایی سند مربوط آگاه نیست. در عوض، بهتر است بگوییم استفاده از الگوریتمی خوش‌تعریف و یک فرایند تکرارشونده، جست‌وجو را به‌طور مستمر چنان پالایش می‌دهد که وکیل بتواند از فرایند به‌کاررفته به‌عنوان وسیله‌ای معقول برای یافتن اسناد مطالبه‌شده در درخواست کشفِ اسناد طرف مقابل دفاع کند.

دو اصطلاح در اینجا سودمندند: بازیابی (Recall) و دقت (Precision) که در همه‌جا و صرف‌نظر از روش نمونه‌گیری از حجم انبوه داده‌ها به کار می‌روند. بازیابی «کسرِ اسنادِ دارای ارتباط است که توسط یک تلاش جست‌وجو یا بازبینی به‌عنوان دارای ارتباط شناسایی می‌شوند». دقت، کسرِ اسنادی است که توسط یک تلاش جست‌وجو یا بازبینی به‌عنوان دارای ارتباط شناسایی شده‌اند و در واقع دارای ارتباط‌اند.^۸ همان‌گونه که مؤلفان آن واژه‌نامه در تعریف اصطلاح دیگری یادآور می‌شوند، دقت و بازیابی به‌صورت معکوس عمل می‌کنند:

• بده‌بستان دقت–بازیابی (Precision-Recall Tradeoff): این تصور که بیشتر راهبردهای جست‌وجو را می‌توان به‌گونه‌ای تنظیم کرد که دقت به قیمت کاهش بازیابی افزایش یابد یا برعکس. در یک حد افراطی، بازیابی ۱۰۰٪‌ای می‌توانست با جست‌وجویی حاصل شود که کل جمعیت اسناد را بازگرداند، اما دقت پایین می‌بود (برابر با شیوع). در حد افراطی دیگر، دقت ۱۰۰٪‌ای می‌توانست با جست‌وجویی حاصل شود که تنها یک سند دارای ارتباط را بازگرداند، اما بازیابی پایین می‌بود (برابر با 1/N، که در آن N تعداد اسناد دارای ارتباط در جمعیت اسناد است). به‌طور کلی، جست‌وجوی گسترده‌تری که اسناد بیشتری بازمی‌گرداند بازیابی بالاتر و دقت پایین‌تری خواهد داشت، در حالی که جست‌وجوی محدودتری که اسناد کمتری بازمی‌گرداند بازیابی پایین‌تر و دقت بالاتری خواهد داشت.^۹

با توجه به این بده‌بستان، دانشمندان علوم اطلاعات و حقوقدانانی که از این رشته بهره می‌گیرند می‌کوشند به آنچه F1 می‌نامند دست یابند؛ مؤلفان واژه‌نامه آن را چنین تعریف کرده‌اند:

• F1: میانگین همساز بازیابی و دقت، که اغلب در مطالعات بازیابی اطلاعات برای سنجش اثربخشی یک تلاش جست‌وجو یا بازبینی به کار می‌رود و بده‌بستان میان بازیابی و دقت را لحاظ می‌کند. برای دستیابی به امتیاز F1 بالا، یک تلاش جست‌وجو یا بازبینی باید هم بازیابی بالا و هم دقت بالا به دست آورد.^۱۰

حقوقدانان می‌توانند از این میانگین همسازِ F1 برای دفاع از فرایند جست‌وجوی خود در برابر حمله‌ی طرف مقابل مبنی بر آنکه در پاسخ به مطالبه‌ی افشای اسناد، همه‌ی آنچه را باید پیدا نمی‌کرده‌اند، استفاده کنند.

تفاوت در روشی که انسان و ماشین به کار می‌برند حیاتی است. انسان به داده‌ها می‌نگرد و ارتباط آن‌ها را با مطالبه‌ی افشای اسناد تعیین می‌کند. ماشین از آنچه Grossman و Cormack، مؤلفان واژه‌نامه، «یادگیری فعال پیوسته» می‌نامند استفاده می‌کند. انسان، فرض کنیم، ۱۰۰ سند در رایانه وارد می‌کند. سپس انسان همان ۱۰۰ سند را که اکنون در حافظه‌ی رایانه ثبت شده بررسی می‌کند. انسان ۲۰ سند را که به‌نظر دارای ارتباط می‌رسند می‌یابد و اکنون رایانه را برنامه‌ریزی می‌کند تا موارد مشابه آن ۲۰ را بیابد. سپس رایانه موارد بیشتری مشابه آن ۲۰ می‌یابد و فرض کنیم ۴۰ مورد دیگر تولید می‌کند. انسان موارد فاقد ارتباط را حذف می‌کند و رایانه را برنامه‌ریزی می‌کند تا موارد مشابه موارد دارای ارتباط را بیابد. این فرایند ادامه می‌یابد تا آنچه را می‌توان F1 نامید حاصل شود.

تحلیل علمی این فرایند جست‌وجو اطلاعاتی مهم درباره‌ی این تفاوت به دست داده است. نخست، علم نشان می‌دهد که انسان‌ها در جست‌وجوی پایگاه‌های داده‌ی بزرگ عملکرد ضعیفی دارند. در یک پژوهش به نام «Blair Marrion»، حقوقدانان پایگاه داده‌ی بزرگی مربوط به یک خروج قطار از ریل را جست‌وجو کردند. آن‌ها برآورد کردند که حدود ۷۵٪ اسنادی را که به‌دنبالش بودند یافته‌اند. در واقع، آن‌ها ۲۰٪ را یافتند؛ این بدان معنا بود که، به‌طور میانگین، سیستم «STAIRS»^۱۱ ــ که در این پژوهش ارزیابی می‌شد ــ می‌توانست تنها برای بازیابی ۲۰٪ اسناد دارای ارتباط به کار رود، در حالی که حقوقدانانِ استفاده‌کننده از این سیستم گمان می‌کردند درصد بسیار بالاتری را بازیابی می‌کنند (یعنی بیش از ۷۵٪).^۱۲۱۳

از سوی دیگر، بر اساس چندین مطالعه‌ای که با حمایت مؤسسه ملی استاندارد و فناوری آمریکا (NIST) انجام شده بود، Grossman و Cormack، نویسندگان واژه‌نامه‌ای که پیش‌تر به آن اشاره شد، به‌طور قطعی اثبات کردند که «یادگیری ماشین» (Machine Learning, ML) یا بازبینی به‌یاری فناوری می‌تواند دست‌کم به نتایجی به‌اندازه آنچه انسان‌ها ممکن است به دست آورند برسد، اما در کسری کوچک از زمان و هزینه.^۱۴ در حقیقت، Grossman به‌طور مشخص به نویسندگان این مقاله اطلاع داده است که تیم Grossman/Cormack و دیگر پژوهشگران از بازبینی به‌یاری فناوری (TAR) در صدها پرونده استفاده کرده‌اند و دادگاه‌ها بارها به صحت نتایج آن و نتایج مطالعات مشابه، که به موضوعات بسیار گوناگونی می‌پرداختند، استناد قضایی کرده‌اند.^۱۵

برای وکلایی که با پرونده‌های داده‌های عظیم سر و کار دارند، این فرایند بازبینی به‌یاری فناوری در حال تبدیل‌شدن به امری بدیهی است. قاضیان اکنون وقت خود را صرف ارزیابی «روایی» (Validity) جست‌وجوهایی می‌کنند که توسط این فرایند انجام شده است.

برای آنکه یک سیستم ساده متن‌کامل بتواند مؤثر بازیابی کند، کاربر/جست‌وجوگر باید بتواند آن واژه‌ها، عبارت‌ها و ترکیب‌واژه‌هایی را که در بیشترِ اسنادِ دارای ارتباط رخ می‌دهند و در بیشترِ اسنادِ فاقد ارتباط رخ نمی‌دهند، پیش‌بینی کند (و به‌عنوان عبارت‌های پرس‌وجوی خود به کار برد). (ر.ک. نیز: Maron, 1988.) اگر جست‌وجوگر بتواند چنین پرس‌وجویی بسازد، آن را «پرس‌وجوی مؤثر» خواهیم نامید. می‌بینیم که پرس‌وجوی مؤثر دو بخش به‌هم‌پیوسته دارد؛ پیش‌بینی الف، یعنی واژه‌ها، ترکیب‌واژه‌ها و غیره‌ای که در اسنادِ دارای ارتباط رخ می‌دهند، و سپس ب، یعنی کوچک‌کردن آن مجموعه از اصطلاحات با کنارگذاشتن آن واژه‌ها یا ترکیب‌واژه‌هایی که به‌احتمال زیاد در اسنادِ فاقد ارتباط نیز رخ می‌دهند.»

David C. Blair & M.E. Maron, Full Text Information Retrieval: Further Analysis and Clarification , Information Management & Processing, Vol. 26, No. 3, pg. 438 (1990); online at: https://deepblue.lib.umich.edu/bitstream/handle/2027.42/28883/0000719.pdf?sequence=1.