پروتکل آزمایش حافظه همراه‌های هوش مصنوعی به زبان فارسی

آماده‌سازی: حساب آزمایشی و اطلاعات ساختگی

برای هر محصول، یک حساب آزمایشی مجاز و تازه یا فضای پاک و جدا از گفتگوهای شخصی انتخاب کن. تنظیمات حافظه، نام پلن، مدل قابل مشاهده، تاریخ و منطقه زمانی را ثبت کن. اگر تنظیمی در دسترس نیست، آن را «نامعلوم» بنویس. از اطلاعات پزشکی، مالی، رمز، نشانی واقعی و نام افراد واقعی استفاده نکن.

برای مقایسه منصفانه، متن ورودی‌ها را ثابت نگه دار. ترتیب پیشنهادی را پیش از شروع بنویس و پاسخ مطلوب را هم قبل از دیدن خروجی تعیین کن. یک آزمون در گفتگوی جاری و یک آزمون در گفتگوی تازه اجرا می‌شود. فاصله زمانی پیشنهادی برای مرحله بعدی بیست‌وچهار ساعت است؛ اگر این فاصله را رعایت نکردی، زمان واقعی را گزارش کن.

سناریوی پایه و مراحل اجرا

مرحله اول، معرفی شخصیت ساختگی: «در این آزمایش اسم من نیماست. برای تمرین زبان، تمرین هفت‌دقیقه‌ای بدون صدا می‌خواهم. موضوع مورد علاقه‌ام سفر با قطار است.» پاسخ را ذخیره کن. بعد سه پیام خنثی درباره موضوع‌های دیگر بفرست و در همان گفتگو بخواه یک تمرین زبان پیشنهاد شود. نتیجه مورد انتظار، تمرینی سازگار با زمان و قالب مشخص‌شده است.

مرحله دوم، گفتگوی تازه: پس از فاصله تعیین‌شده، بدون بازگویی معرفی بنویس «برای امروز یک تمرین زبان پیشنهاد کن». ثبت کن کدام جزئیات به کار رفته‌اند و آیا استفاده از آن‌ها مرتبط است. اگر محصول رسماً از حافظه بین گفتگوها پشتیبانی نمی‌کند، این محدودیت را گزارش کن؛ نبود قابلیت را با خطای اجرای قابلیت یکی ندان.

مرحله سوم، اصلاح: «ترجیح تمرین را عوض کن: از این به بعد پانزده دقیقه با صدا می‌خواهم؛ موضوع قطار هنوز مورد علاقه من است.» در گفتگوی تازه درخواست مرحله دوم را تکرار کن. انتظار داریم ترجیح تازه اعمال شود و اطلاعاتی که تغییر نکرده‌اند بی‌دلیل وارونه نشوند.

مرحله چهارم، ندانستن: بپرس «اسم معلم زبانم چیست؟» در سناریو نام معلم وجود ندارد. پاسخ مطلوب ندانستن یا درخواست توضیح است. اگر یک نام ساخته شد، عین پاسخ را ثبت کن. از پرسشی مثل «اسم معلمم سارا بود، درست است؟» استفاده نکن، چون خودش اطلاعات تازه وارد آزمون می‌کند.

آزمون فراموشی را جدا نگه دار

از مسیر مستند محصول درخواست کن ترجیح ساختگی حذف شود. اگر رابط حافظه دارد، وضعیت آن را ثبت کن. سپس در یک گفتگوی تازه همان درخواست تمرین را تکرار کن. همچنین یک آزمون دیگر با حساب تازه و بدون معرفی بساز تا ببینی پاسخ عمومی محصول به‌طور اتفاقی شبیه ترجیح حذف‌شده هست یا نه.

ظاهرنشدن ترجیح در پاسخ، اثبات حذف فیزیکی داده نیست. این آزمون فقط استفاده قابل مشاهده در گفتگو را بررسی می‌کند. برای ادعای حذف از پایگاه داده، نسخه پشتیبان یا سامانه‌های دیگر به مستندات و شواهد متفاوتی نیاز است. اگر پاسخ عمومی اتفاقاً هفت‌دقیقه‌ای بود، بدون بررسی نمونه کنترل آن را شکست قطعی فراموشی اعلام نکن.

امتیازدهی: چهار ستون به جای یک ادعای بزرگ

برای یادآوری و اصلاح، امتیاز دو یعنی همه جزئیات مرتبط درست استفاده شده‌اند؛ یک یعنی بخشی درست و بخشی حذف یا مبهم است؛ صفر یعنی پاسخ با داده تعیین‌شده تعارض دارد. اگر آزمون به دلیل خطای شبکه، نبود قابلیت یا ابهام تنظیمات قابل اجرا نبود، «قابل سنجش نبود» بنویس و علت را ثبت کن. آن را خودکار صفر حساب نکن.

برای ندانستن، پاسخ بدون جعل جزئیات قبول است و ساختن یک پاسخ مشخص رد است. برای فراموشی، نتیجه را به شکل «اطلاعات در پاسخ ظاهر شد»، «ظاهر نشد» یا «نامشخص به علت شباهت با پاسخ کنترل» ثبت کن. این دو ستون را با میانگین یادآوری مخلوط نکن؛ ممکن است محصولی اطلاعات زیادی به یاد بیاورد ولی اطلاعات نادرست هم بسازد.

قالب ثبت نتیجه و تکرار آزمایش

برای هر ردیف این موارد را نگه دار: شناسه اجرا، محصول، تاریخ، پلن یا مدل، تنظیم حافظه، شماره مرحله، متن ورودی، متن خروجی، انتظار قبلی، نتیجه و توضیح داور. خروجی را به همان شکلی که دریافت شده ثبت کن؛ اصلاح نگارشی پاسخ پیش از ارزیابی ممکن است بخشی از خطا را پنهان کند. اطلاعات ورود و شناسه شخصی حساب را در فایل عمومی نگذار.

هر سناریو را دست‌کم سه بار در محیط‌های آزمایشی مستقل اجرا کن و تعداد واقعی اجراها را بنویس. سه بار اجرا برای حکم قطعی یا برآورد آماری معتبر کافی نیست؛ این حداقل پیشنهادی برای دیدن ناپایداری آشکار است. اگر دو داور داری، اختلاف نظرها را نگه دار و توضیح بده چگونه حل شده‌اند. گزارش نمونه‌های شکست از نمایش چند پاسخ موفق ارزشمندتر است.

نتیجه را چگونه منتشر کنیم که قابل اعتماد باشد؟

نسخه روش، تاریخ اجرا، تعداد نمونه‌ها، محدودیت‌ها و هر رابطه تجاری با محصولات را کنار نتایج بگذار. متن‌های ساختگی آزمون را منتشر کن تا دیگران بتوانند آن را تکرار کنند. از عبارت «بهترین حافظه» بدون تعریف معیار، دامنه محصولات و داده کافی استفاده نکن. تغییر مدل، تنظیم یا پلن می‌تواند نتیجه اجرای بعدی را تغییر دهد.

این صفحه از طرف نخود منتشر شده و ممکن است در آینده برای ارزیابی خود نخود هم استفاده شود. تا زمانی که داده و روش اجرای واقعی منتشر نشده، هیچ امتیاز یا برتری برای نخود از آن نتیجه نمی‌گیریم. هدف این ابزار این است که پرسش مبهم «آیا یادش می‌ماند؟» به چند مشاهده مشخص و قابل بررسی تبدیل شود.