چه چیزی معرفی شد؟
Google Research در ۲۷ اکتبر ۲۰۲۶ چارچوبی به نام «خواب» (sleep framework) برای یادگیری مداوم مدل‌های زبانی بزرگ معرفی کرد. به گفته نویسندگان، مدل‌های امروزی پس از استقرار تقریباً ثابت می‌مانند و تاریخ قطع دانش دارند. به‌روزرسانی پیوسته پارامترها هم می‌تواند به فراموشی فاجعه‌بار منجر شود، و تکیه صرف بر یادگیری درون‌متنی فقط تا پایان نشست حافظه ایجاد می‌کند.
ایده این است که مدل بین فاز بیداری (دریافت و پردازش ورودی با حافظه کوتاه‌مدت) و فاز خواب (توقف ورودی جدید و تمرکز بر تثبیت حافظه و بهبود خود) جابه‌جا شود. نویسندگان تأکید می‌کنند اصطلاحاتی مانند خواب و رؤیا از علوم اعصاب الهام گرفته‌اند، اما چارچوب در معماری ثابت و قوانین آموزشی تعریف‌شده توسط انسان اجرا می‌شود.
سازوکار: تثبیت حافظه و رؤیاپردازی
در مرحله تثبیت، مدل در زمان خواب بلوک‌های حافظه Mixture-of-Experts از پیش‌تخصیص‌یافته را باز می‌کند و خبرگان کم‌رتبه جدید را به بلوک‌های پایدارتر و کم‌بسامدتر اضافه می‌کند. سپس حافظه‌های شکننده کوتاه‌مدت با تقطیر دانش تعمیم‌یافته و یادگیری تقلیدی مبتنی بر یادگیری تقویتی به پارامترهای بلندمدت منتقل می‌شوند. پس از آن پارامترهای موقت پربسامد بازنشانی می‌شوند.
در مرحله «رؤیاپردازی»، مدل با فعال‌سازی تصادفی خبرگان غیراستاندارد نمونه‌های آموزشی مصنوعی تولید می‌کند، آن‌ها را با انتخاب مبتنی بر گرادیان فیلتر می‌کند و روی نمونه‌های برتر fine-tuning نظارت‌شده انجام می‌دهد. این چرخه به‌گفته نویسندگان یک فرایند خودکار پس‌آموزش است که معماری اصلی مدل را تغییر نمی‌دهد.
نتایج گزارش‌شده
بر اساس متن منبع، در ترجمه مداوم زبان‌های دیده‌نشده مانند مانچو و کالاماگ، این روش در ارزیابی‌های چندمرحله‌ای افت عملکردی نزدیک به صفر داشته، در حالی که ICL، Cartridges و SFT دچار فراموشی شدید شده‌اند. در آزمون BABILong، گفته شده مقیاس‌پذیری تقریباً کامل تا ۱۰ میلیون توکن حاصل شده و از پایه‌هایی مثل GPT-4 و Titans بهتر بوده است.
برای افزودن دانش واقعی روی SQuAD و پیش‌آموزش ادامه‌دار (CPT)، امتیازهای ۴۸٫۹٪ (تک‌وظیفه‌ای) و ۴۶٫۲٪ (CPT) گزارش شده و مبنای مقایسه مدل پایه، SFT و SEAL بوده است. در استدلال ریاضی، مدل پایه تقویت‌شده با خواب در AIME 24، AIME 25 و HMMT 25 به ترتیب ۷۹٫۲٪، ۶۹٫۰٪ و ۴۶٫۱٪ گرفته و از SFT، GRPO و OPSD بهتر عمل کرده است. جزئیات سخت‌افزار و شرایط دقیق آزمون‌ها در متن ارائه‌شده نیامده است.
پیامدها و محدودیت‌ها
اگر این نتایج در شرایط دیگر هم تکرار شود، چنین رویکردی می‌تواند مسیری برای مدل‌هایی باشد که دانش جدید را بدون آموزش مجدد کامل نگه می‌دارند. با این حال، همه ادعاها از خود نویسندگان است و آزمون مستقل در این منبع ارائه نشده است.
منبع درباره عرضه محصولی، دسترسی عمومی، اشتراک، منطقه یا پلتفرم خاصی توضیحی نمی‌دهد؛ بنابراین نمی‌توان از دسترسی کاربران، از جمله در ایران، یا ادغام آن در ابزارهای دیگر سخن گفت. همچنین چارچوب نیازمند فاز آفلاین تثبیت و معماری دارای حافظه‌های MoE و Hope است، و نتایج بیان‌شده به معیارهای مشخص محدودند.
پشت این نوشته
منابع و جزئیات
این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.
این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.
- The sleep framework: A new way for LLMs to retain knowledge in continual learningresearch.googleبررسی:
نخستین انتشار:
روش تهیه و بازبینی نوشته‌ها