آیا می‌توان به مدل‌های زبانی برای قضاوت دربارهٔ تازگی ایده‌های پژوهشی اعتماد کرد؟

چه چیزی منتشر شد؟

مؤسسه Ai2 در بلاگ Hugging Face از مطالعه‌ای با عنوان «Old Ideas, Novel Problems» خبر داد که بررسی می‌کند مدل‌های زبانی چقدر در ارزیابی تازگی ایده‌های علمی قابل اعتمادند. همراه مقاله، یک بنچمارک، داده، کد و یک خط لولهٔ خودکار برای ساخت مجموعه‌های ارزیابی جدید منتشر شده است. به گفتهٔ Ai2، این قضاوت‌گرها معمولاً فقط روی مقالات نوشته‌شده توسط انسان اعتبارسنجی می‌شوند، در حالی که قرار است ایده‌های تولیدشده با هوش مصنوعی را بسنجند.

برای بررسی:Can we trust LLMs to judge whether a research idea is novel?

بنچمارک چگونه ساخته شد؟

تیم از بازبینی‌های همتای ICLR 2026 استفاده کرد و به‌جای تکیه بر پذیرش مقاله، بخش‌هایی را استخراج کرد که داورها صریحاً دربارهٔ اصالت بحث کرده بودند. حاصل، ۱۵۴ ایدهٔ انسانی با تازگی بالا و ۱۴۵ ایدهٔ انسانی با تازگی پایین‌تر بود. در بررسی جداگانه، یک ارزیاب در ۴۷ مورد از ۵۰ مورد با قطبیت استخراج‌شده موافق بود.

در تنظیم دوم، Human+Generated، همان ۱۵۴ ایدهٔ انسانی با ۱۵۴ ایدهٔ تولیدشده توسط یک مولد ساده جفت شد. Ai2 تصریح می‌کند که کمتر نو بودن ایده‌های تولیدشده فرض است و برچسب ضعیف محسوب می‌شود. یک متخصص ۳۰ جفت را بررسی کرد و در همه ایدهٔ انسانی را ترجیح داد.

برای بررسی:Can we trust LLMs to judge whether a research idea is novel?

یافته‌های اصلی

شش قضاوت‌گر آزمایش شدند: GPT-5.1، GPT-5.2، GPT-5.4، Claude Sonnet 4.5، Claude Opus 4.5 و Claude Opus 4.6. طبق گزارش Ai2، تغییر چند کلمه در پرامپت می‌تواند دقت تشخیص ایدهٔ نوتر را بیش از ۵۰ درصد واحد جابه‌جا کند. نمونه: برای GPT-5.4 روی جفت‌های Human+Generated، گذار از پرامپتی که می‌گفت دقیقاً یکی از دو ایده نو است به پرامپت ساده‌تر، دقت را از ۹۳٫۵٪ به ۴۰٫۹٪ رساند. روی مجموعهٔ Human-Only همین تغییر فقط حدود هفت واحد اثر داشت، و برای Claude Opus 4.6 تغییر ۲۱ واحدی دیده شد.

در مقایسهٔ ایده‌های دو مولد هوش مصنوعی، به‌طور میانگین حدود یک‌چهارم تا یک‌سوم قضاوت‌ها با تغییر پرامپت عوض شد. همچنین هیچ پرامپت برتر جهانی وجود نداشت؛ حذف یک دستورالعمل برای بعضی مدل‌ها دقت را بالا و برای بعضی پایین برد.

برای بررسی:Can we trust LLMs to judge whether a research idea is novel?

جستجو، استدلال بیشتر و هزینه

قضاوت‌گر عاملی با بودجهٔ استدلال بسیار بالا و جستجوی زندهٔ محدود به arXiv، امتیاز macro-F1 برابر ۰٫۷۸ گرفت؛ ۱۱ امتیاز کمتر از Claude Opus 4.6 با ۰٫۸۹ که پنج چکیدهٔ از پیش بازیابی‌شده می‌دید، و هزینهٔ هر تصمیم حدود ۱۰ برابر بود.

روی Human+Generated، یک پرامپت ساده با Claude Opus 4.6، استدلال کم و رأی‌گیری اکثریتی روی سه فراخوانی به ۰٫۸۵۴ با هزینهٔ کل ۲٫۵۹ دلار رسید. Idea Novelty Checker امتیاز ۰٫۶۴۲ با ۳۰٫۶۶ دلار و AI Scientist از Sakana AI امتیاز ۰٫۷۷۲ با ۸۲٫۰۵ دلار گرفت. هر دو سامانهٔ اختصاصی با Claude Opus 4.6 و یک فراخوانی برای هر تصمیم اجرا شدند.

برای بررسی:Can we trust LLMs to judge whether a research idea is novel?

برای خوانندگان چه معنایی دارد؟

پیام عملی این است که نتیجهٔ یک قضاوت‌گر تازگی را نباید بدون آزمون حساسیت به پرامپت و مدل پذیرفت، به‌ویژه وقتی خروجی سامانه‌های ایده‌پردازی مقایسه می‌شود. Ai2 توصیه می‌کند قضاوت‌گرها روی همان نوع ایده‌هایی آزمایش شوند که قرار است ارزیابی کنند.

محدودیت‌ها: برچسب ایده‌های تولیدشده ضعیف است، داده‌ها از ICLR 2026 آمده‌اند و این منبع آزمون مستقل از سوی گروهی غیر از Ai2 ارائه نمی‌کند. دربارهٔ دسترسی در ایران یا ادغام در ابزارهای فارسی نیز در این منبع چیزی گفته نشده است.

برای بررسی:Can we trust LLMs to judge whether a research idea is novel?

پشت این نوشته