چه چیزی معرفی شد

انویدیا در بلاگ Hugging Face از Nemotron 3.5 Transcribe رونمایی کرده است؛ مدلی با وزن‌های باز که طبق ادعای انویدیا رونویسی، تشخیص گوینده (دایری‌سازی)، ترجمه و پرسش‌وپاسخ صوتی را در یک چک‌پوینت ارائه می‌دهد. این مدل ۴۰ زبان را رونویسی می‌کند، ۳۱ زبان را به انگلیسی یا از انگلیسی ترجمه می‌کند و در ۱۳ زبان گوینده‌ها را تفکیک می‌کند. ضبط‌هایی تا یک ساعت و حداکثر هشت گوینده پشتیبانی می‌شود.

کاربر با دستور متنی خروجی را هدایت می‌کند؛ مثلاً رونویسی با برچسب گوینده، ترجمه به انگلیسی یا پرسش درباره تصمیمات یک جلسه. پشتیبانی زبانی بسته به وظیفه فرق دارد و پرسش‌وپاسخ صوتی به انگلیسی آموزش دیده است. برچسب زمانی در سطح کلمه هم پشتیبانی می‌شود. این مدل برای صدای ضبط‌شده ساخته شده، نه پخش زنده.

برای بررسی:NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

نتایج ارزیابی‌ها

بر اساس بلاگ، مدل در لیدربورد Open ASR هاگینگ‌فیس در مسیر انگلیسی میان مدل‌های با وزن باز با میانگین ۵٫۳۳٪ WER رتبه اول است. در مسیر چندزبانه (هفت زبان) ۴٫۶۲٪ و در مسیر متن‌بلند ۱۰٫۹۸٪ گزارش شده که طبق مقایسه‌ی کارت مدل کمترین میان مدل‌های باز ارزیابی‌شده است. در Artificial Analysis مدل با ۲٫۸٪ AA-WER مشترکاً اول میان مدل‌های باز است، با حدود ۴ میلیارد پارامتر فعال از ۳۰ میلیارد در برابر ۲۴ میلیارد برای مدلی که با آن برابر شده.

برای تشخیص گوینده، در لیدربورد دایری‌سازی David AI (۲۱ زبان) خطای ۱۸٫۲۶٪ و در VoiceArena (۱۴ سیستم) مقدار cpWER برابر ۳۲٫۴٪ گزارش شده است. بخشی از این ارزیابی‌ها را اشخاص ثالث اجرا کرده‌اند، اما اعداد را همین منبع نقل می‌کند؛ آزمون مستقل جداگانه‌ای در این منبع ارائه نشده است.

برای بررسی:NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

Granary v2 و تطبیق با حوزه تخصصی

Granary v2 مجموعه‌داده و خط لوله‌ی بازاستفاده‌پذیر برای آماده‌سازی داده گفتار است. مانیفست عمومی ۴۶۳٬۰۶۲ ساعت در ۴۸ زبان و ۱۶ پیکره را پوشش می‌دهد؛ انویدیا تصریح می‌کند این اعداد مربوط به انتشار دیتاست است، نه کل داده آموزش مدل. صوت منبع باید جدا و مطابق مجوز هر پیکره دانلود شود.

در مطالعه موردی پزشکی روی بنچمارک Eka Care، تغییر پرامپت WER کل مجموعه را از ۳۰٫۸٪ به ۲۳٫۸٪ رساند. روی ۲٬۷۶۴ کلیپ کنارگذاشته‌شده از گویندگان جدید، فاین‌تیونینگ WER را از ۲۲٫۴۴٪ (بهترین پرامپت) به ۱۲٫۱۷٪ کاهش داد، یعنی ۴۵٫۸٪ کاهش نسبی. در LibriSpeech test-clean خطا اندکی از ۱٫۵۴٪ به ۱٫۶۹٪ بالا رفت. مدل تخصصی پزشکی همچنان در تطبیق دقیق نام تجاری داروها جلوتر است. کل تطبیق حدود ۱۴ ساعت GPU روی یک GB300 طول کشید.

برای بررسی:NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

اجرا، دسترسی و محدودیت‌ها

مدل روی یک GPU انویدیا از Jetson AGX Thor و DGX Spark تا GPUهای Blackwell اجرا می‌شود. انویدیا می‌گوید روی RTX PRO 6000 Blackwell Server Edition با NVFP4، ۱۰۰ ساعت صوت را روی کلیپ‌های ۳۰ ثانیه‌ای و همزمانی بالا در کمتر از سه دقیقه پردازش می‌کند. چک‌پوینت از Hugging Face و ModelScope در دسترس است و با vLLM یا NeMo-Speech.cpp اجرا می‌شود؛ نسخه میزبانی‌شده از Baseten، DeepInfra و Simplismart هم ذکر شده است.

خود نویسندگان توصیه می‌کنند نام‌ها، تغییر گوینده و پاسخ‌ها با ضبط اصلی بررسی شوند. برای حوزه‌های تخصصی حداقل ۱۰۰ کلیپ برچسب‌خورده واقعی لازم است. منبع درباره دسترسی در ایران یا کیفیت زبان فارسی مطلبی نمی‌گوید؛ پیش از استفاده باید ماتریس وظیفه-زبان در کارت مدل بررسی شود.

برای بررسی:NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

پشت این نوشته

منابع و جزئیات

این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.

این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.

  1. NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt
    huggingface.coبررسی:

نخستین انتشار:

روش تهیه و بازبینی نوشته‌ها