چه چیزی معرفی شد
طبق گزارش وبلاگ Hugging Face، Muse Spark Open مدلی با وزن‌های باز از متاست که معماری mixture-of-experts دارد. حدود ۸۱۶ میلیارد پارامتر کل و حدود ۴۲ میلیارد پارامتر فعال برای هر توکن دارد و پنجره زمینه آن تا یک میلیون توکن است. ورودی‌هایش متن، تصویر، صدا و ویدیو است، اما خروجی فقط متن تولید می‌کند؛ پس صدا یا تصویر جدید نمی‌سازد.
متا این مدل را برای کدنویسی عاملی توصیف کرده است: خواندن کدبیس، نوشتن و اشکال‌زدایی کد و فراخوانی ابزار. ادعای «توانمندترین مدل open-weights آمریکایی» در متن منبع آمده و در همین منبع آزمون مستقلی برای تأیید آن ارائه نشده است. در هر لایه MoE، از ۲۵۶ متخصص برای هر توکن ۸ متخصص انتخاب می‌شود. چک‌پوینت‌ها در قالب BF16 و NVFP4 عرضه شده‌اند.
نیازهای سخت‌افزاری و محدودیت‌ها
هرچند فقط ۸ متخصص برای هر توکن اجرا می‌شوند، همه ۲۵۶ متخصص باید در حافظه بمانند؛ بنابراین حافظه‌ی مورد نیاز مثل مدل ۸۱۶ میلیاردی است. چک‌پوینت BF16 حدود ۱٫۵ ترابایت است و در transformers روی ۴ نود هشت‌تایی H200 با TP=32 اجرا می‌شود. نسخه NVFP4 مخصوص GPUهای NVIDIA Blackwell است و روی یک نود B200 اجرا می‌شود.
در vLLM، پیکربندی مرجع فقط ورودی متن و تصویر را با چک‌پوینت NVFP4 پشتیبانی می‌کند و به GPUهای سری Blackwell نیاز دارد؛ زمینه سرو در آن مثال ۱۲۸ هزار توکن است. SGLang ورودی متن، تصویر، صدا و ویدیو را پشتیبانی می‌کند و پیکربندی مرجع NVFP4 روی چهار GPU از نوع GB300 اجرا می‌شود. حافظه KV کامل برای یک میلیون توکن در BF16 حدود ۲۶۶ گیگابایت برآورد شده است. خاموش‌کردن reasoning ممکن نیست و فقط می‌توان سطح آن را روی low گذاشت.
اجرای محلی و ابری
برای اجرای محلی، نویسندگان کوانت‌های llama.cpp و MLX را روی Mac M3 Ultra با ۵۱۲ گیگابایت حافظه آزمایش کرده‌اند. کوانت ۲بیتی در llama.cpp حدود ۱۸ توکن بر ثانیه داد و حدود ۳۰۴ گیگابایت حافظه گرفت. کوانت oQ3e در oMLX حدود ۳۴۴ گیگابایت مصرف کرد و با پرامپت ۱۰۲۴ توکنی و ۱۲۸ توکن تولیدی، حدود ۲۲۵ توکن بر ثانیه برای prefill و ۲۱ توکن بر ثانیه برای تولید ثبت شد. این‌ها اندازه‌گیری‌های خود تیم Hugging Face روی همین دستگاه‌اند، نه مقایسه با مدل دیگر. حتی کوانت ۳بیتی به بیش از ۲۵۶ گیگابایت RAM نیاز دارد.
روی Inference Endpoints، دستور آماده SGLang برای NVFP4 با ۸ کارت RTX Pro 6000 و زمینه ۱۳۱۰۷۲ توکن، یا ۸ کارت H200 با زمینه ۱٫۰۴۸٬۵۷۶ توکن ارائه شده است.
فاین‌تیون و نمونه‌ها
نویسندگان با TRL و SFTTrainer روی ۸ نود هشت‌تایی H100 (۶۴ GPU) آداپتورهای LoRA را روی لایه‌های attention آموزش دادند و متخصص‌ها منجمد ماندند. ۵۰۰ گام حدود ۲ ساعت طول کشید؛ دقت میانگین توکن از ۷۲٪ به ۸۴٪ رسید و loss از ۱٫۲۶ به ۰٫۵۷ کاهش یافت. این نتیجه برای کار سادهٔ تطبیق قالب چت روی یک دیتاست باز است و تعمیم‌دهنده به کاربردهای دیگر نیست.
دموهای ارائه‌شده شامل تولید دارایی سه‌بعدی Three.js با نسخه ۲بیتی، عامل مرورگر با OpenEnv و عامل مرورگر صوتی برای جست‌وجوی محصول در Amazon است. این‌ها نمونه‌های نمایشی‌اند و آزمون مستقل یا ارزیابی جامع در این منبع ارائه نشده است. منبع درباره دسترس‌پذیری در ایران یا یکپارچگی با ابزارهای ایرانی چیزی نمی‌گوید.
پشت این نوشته
منابع و جزئیات
این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.
این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.
- Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Metahuggingface.coبررسی:
نخستین انتشار:
روش تهیه و بازبینی نوشته‌ها