آنچه اعلام شده است
در این نوشته وبلاگی که در ۲۱ اکتبر ۲۰۲۶ منتشر شده، تیم Dharma-AI پیش‌نمایشی از نتایج مقاله‌ای به نام VocabX را معرفی کرده است. این مقاله هنوز در حال داوری است و نویسندگان گفته‌اند اعداد آن ممکن است پیش از انتشار تغییر کنند. ایده اصلی این است که واژگان یک مدل پایه بر اساس هزینه هر توکن بازسازی شود، نه صرفاً بر اساس بسامد آن.
بر اساس گزارش نویسندگان، در یک سامانهٔ نمره‌دهی مقالهٔ پرتغالی بر پایهٔ Qwen3-4B، هزینهٔ استنتاج ۷۷ درصد کاهش یافته و امتیاز ترکیبی ارزیابی کیفیت از ۰٫۷۰۳ به ۰٫۸۱۰ رسیده است. آن‌ها هفت نسخهٔ مدل را با همان داده و روش آموزش، روی ۵۰۰ درخواست یکسان، کارت گرافیک RTX 5090 و سرور استنتاج vLLM آزمایش کرده‌اند. هزینه از زمان اجرای اندازه‌گیری‌شده محاسبه شده است. این‌ها نتایج آزمایش نویسندگان هستند و منبع تأیید مستقلی از آن‌ها ارائه نمی‌کند.
چرا تولید متن گران‌تر است
نویسندگان استدلال می‌کنند که در استنتاج، تولید هر توکن به‌مراتب پرهزینه‌تر از خواندن ورودی است و در مورد سامانه آن‌ها این نسبت حدود ۷٫۴ برابر اندازه‌گیری شده است. همچنین لایه خروجی مدل برای هر توکن تولیدی روی کل واژگان امتیاز محاسبه می‌کند، پس واژه‌های بی‌استفاده نیز هزینه می‌سازند. VocabX دو کار را همزمان انجام می‌دهد: بازسازی تکه‌بندی زیرکلمات و ساخت توکن‌های چندکلمه‌ای برای عبارات تکراری مانند ساختار JSON.
بر اساس گزارش، روش‌های مرجع پیشین مانند FVT و MWT و BPE درون‌جای بیشتر بر پایه بسامد انتخاب می‌کنند و معمولاً فقط یک لایه را بهینه می‌کنند. نویسندگان این را محدودیت آن‌ها دانسته‌اند. برای تخمین سهم توکن‌هایی که در نمونه دیده نمی‌شوند نیز روش آماری پیشنهاد شده که بنا بر گزارش، در یک مجموعه قراردادها کاهش شمار توکن‌ها را از ۴۴٫۷ به ۵۲٫۸ درصد رسانده است.
پیامدها و محدودیت‌ها
عدد ۷۷ درصد به هزینهٔ اجرای اندازه‌گیری‌شده در همان سامانهٔ نمره‌دهی پرتغالی مربوط است. با این حال، پژوهش گزارش‌شده به آن وظیفه محدود نیست: نویسندگان VocabX را در پنج حوزهٔ قراردادها، مقاله‌های پزشکی، مقاله‌های علمی، خبر و کد پایتون، با سه خانوادهٔ Qwen3، Llama-3.1 و Gemma-3 مقایسه کرده‌اند. آن‌ها در هر ۱۵ ترکیب، کاهش بیشتر توکن نسبت به روش مرجع برتر و برتری نسخهٔ هرس‌شده در هزینهٔ تخمینی استنتاج گزارش کرده‌اند. این آزمایش‌های گسترده‌تر به معنای صرفه‌جویی اندازه‌گیری‌شدهٔ ۷۷ درصدی در همهٔ کاربردها نیستند و منبع ارزیابی مشخصی برای زبان فارسی ارائه نمی‌کند.
همچنین نویسندگان نشان داده‌اند که ادغام بیش از حد توکن‌ها می‌تواند به تصمیم اصلی مدل آسیب بزند: ادغام نمره با ساختار JSON امتیاز کیفیت را پایین آورد و جدا کردن توکن نمره این مشکل را برطرف کرد. بنابراین کاهش شمار توکن‌ها باید همراه با ارزیابی کیفیت خروجی بررسی شود.
گزارش، تفکیک کاملی از هزینهٔ ساخت واژگان، آموزش دوباره و نگهداری مدل سفارشی ارائه نمی‌کند. تیم‌ها برای تصمیم عملی باید این هزینه‌ها، کیفیت و زمان اجرای مدل را روی دادهٔ خود بسنجند. مقالهٔ کامل هنوز منتشر نشده و به گفتهٔ نویسندگان اعداد فعلی ممکن است تغییر کنند.
پشت این نوشته
منابع و جزئیات
این خبر با کمک هوش مصنوعی تهیه شده است. متن با منبع پیوندشده تطبیق و بازبینی شده است. تصویر، تصویرسازی مفهومی است.
این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.
- How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applicationshuggingface.coبررسی:
نخستین انتشار:
روش تهیه و بازبینی نوشته‌ها