چه چیزی معرفی شد

Hugging Face در نوشته‌ای به تاریخ ۲۳ اکتبر ۲۰۲۶ از Space ای به نام «torch-neuronx model support» خبر داد. بر اساس این منبع، پیش‌تر TorchNeuron یا همان بسته torch-neuronx، بک‌اند بومی PyTorch برای AWS Trainium، معرفی شده بود و به Transformers اجازه می‌دهد کد مدل‌سازی خودش را روی Trainium اجرا کند. پرسش بعدی این بود که کدام مدل‌ها در عمل اجرا می‌شوند. این Space برای مدل‌های پرطرفدار Hub به همین پرسش پاسخ می‌دهد و می‌گوید آیا مدل بدون تغییر روی Trainium اجرا می‌شود یا نه، و اسکریپت اجرا را هم ارائه می‌کند.

برای بررسی:Does Your Model Run on AWS Trainium? Look It Up

نحوه جست‌وجو و اجرای مدل

نمای پیش‌فرض Space شامل مجموعه‌ای انتخابی از مدل‌های برتر Hub بر اساس دانلود و امتیاز ترند است. هر ردیف نتیجه، تعداد هسته‌های Trainium برای شاردینگ، زمان اجرا (با احتساب کامپایل) و اوج حافظه دستگاه را نشان می‌دهد. با نماهای Trending و Downloads می‌توان بخشی از نام مدل را جست‌وجو کرد. اگر مدلی عمداً کنار گذاشته شده باشد، Space دلیل را می‌گوید؛ طبق منبع معمولاً اولویت نداشته و گاهی واقعاً ناسازگار بوده است. همچنین می‌توان نسخه کامپایلر neuronx-cc و Transformers را انتخاب کرد.

برای اجرا، Space نسخه پشته Neuron، بسته‌های لازم و اسکریپت run.py را نشان می‌دهد. اسکریپت مدل را با from_pretrained بارگذاری می‌کند، در صورت نیاز شارد می‌کند و با static cache و torch.compile با backend برابر neuron متن تولید می‌کند. طبق منبع، اجرا روی نمونه Trainium2 یا trn2 انجام می‌شود، مثلاً در AWS Neuron Deep Learning Container، و به torchrun نیاز نیست. اجرای اول گراف‌ها را کامپایل می‌کند، اما می‌توان گراف‌های ساخته‌شده در آزمون را از باکت عمومی NEFF cache همگام‌سازی کرد.

برای بررسی:Does Your Model Run on AWS Trainium? Look It Up

«اجرا می‌شود» یعنی چه؟

هر آزمون مدل را روی trn2 و روی کمترین تعداد هسته‌ای که وزن‌ها را جا بدهد بارگذاری می‌کند. بیشتر مدل‌ها با tensor parallelism شارد می‌شوند و مدل‌های mixture-of-experts بدون طرح tensor-parallel فقط از expert parallelism استفاده می‌کنند. سپس ۳۲ توکن تولید و بررسی می‌شود. روی یک هسته، توکن‌ها با اجرای CPU همان checkpoint مقایسه می‌شوند؛ در حالت شارد، یک مدل داور کوچک روان‌بودن متن انگلیسی را می‌سنجد.

به گفته منبع، PASS چیزی درباره throughput یا تولیدهای طولانی‌تر نمی‌گوید.

برای بررسی:Does Your Model Run on AWS Trainium? Look It Up

محدودیت‌ها و دیتاست

در زمان نگارش، فقط مدل‌های Transformers آزمایش می‌شوند و مجموعه انتخابی به مدل‌های text-generation و image-text-to-text محدود است؛ نویسندگان قصد دارند diffusers، sentence transformers و سایر وظایف را اضافه کنند. فقط مدل‌هایی که روی ۴ دستگاه Trainium2 (حداکثر ۱۶ هسته) جا شوند آزمایش می‌شوند.

نتایج در دیتاست عمومی aws-neuron/torch-neuronx-model-support با یک فایل Parquet برای هر جفت نسخه neuronx-cc و کتابخانه منتشر شده‌اند. هر ردیف نتیجه، خطا، نسخه‌های پشته و run.py را دارد. در این منبع آزمون مستقل ارائه نشده است. درباره دسترسی در ایران یا یکپارچگی با نخود نیز چیزی در منبع نیامده است.

برای بررسی:Does Your Model Run on AWS Trainium? Look It Up

پشت این نوشته

منابع و جزئیات

این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.

این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.

  1. Does Your Model Run on AWS Trainium? Look It Up
    huggingface.coبررسی:

نخستین انتشار:

روش تهیه و بازبینی نوشته‌ها