آنچه اعلام شده است

بر اساس بلاگ هاگینگ‌فیس، TorchNeuron یک بک‌اند جدید برای PyTorch روی AWS Trainium است. این افزونه از حالت اجرای eager، torch.compile و APIهای توزیع‌شده بومی مانند FSDP و TP پشتیبانی می‌کند. مقالهٔ ۱۹ اکتبر، آغاز دسترسی به نسخهٔ بتای عمومی را برای ۲۰ اکتبر ۲۰۲۶ اعلام کرده است و با دستور pip install torch-neuronx نصب می‌شود.

برای بررسی:TorchNeuron: running HF models on AWS Trainium is easier than ever

تغییر برای کتابخانه‌های هاگینگ‌فیس

تا پیش از این، تجربه هاگینگ‌فیس روی Trainium و Inferentia از طریق optimum-neuron ارائه می‌شد که بر پایه torch-neuronx و PyTorch XLA بود. نویسندگان می‌گویند با TorchNeuron، Transformers، Diffusers، Accelerate، PEFT و TRL مستقیم روی Trainium اجرا می‌شوند و توصیه کرده‌اند کاربران از همین کتابخانه‌ها استفاده کنند.

این مقاله ادعا می‌کند ۸۹ درصد از ۱۰۰ معماری پرکاربرد تولید متن به‌صورت بومی پشتیبانی می‌شوند، در حالی که این عدد برای Optimum Neuron v0.4.5 برابر ۴۶ درصد اعلام شده است. این ارقام ادعای خود نویسندگان است و در متن منبع روش اندازه‌گیری آن‌ها توضیح داده نشده است.

برای بررسی:TorchNeuron: running HF models on AWS Trainium is easier than ever

نمونه آموزش و موازی‌سازی

مقاله یک اسکریپت fine-tuning با TRL را نشان می‌دهد که با چند تنظیم مخصوص Neuron روی Trainium اجرا می‌شود. موازی‌سازی تنسوری و FSDP از طریق DistributedConfig در Transformers انجام می‌شود. نویسندگان گزارش داده‌اند این اجرا روی ۸ تراشه Trainium2 یعنی ۳۲ هسته NeuronCore به پایان رسیده و checkpoint استاندارد Transformers تولید کرده است.

برای خواننده، نکته عملی این است که ساختار کد شبیه آموزش روی GPU است، اما اجرای واقعی به تنظیمات سخت‌افزار و نسخه‌های نرم‌افزار وابسته است و باید پیش از استفاده در مستندات رسمی بررسی شود.

برای بررسی:TorchNeuron: running HF models on AWS Trainium is easier than ever

محدودیت‌ها و نکات احتیاطی

مقاله چند محدودیت مشخص را ذکر می‌کند. در نمونهٔ آموزشِ کامپایل‌شده، شکل‌های پویا به‌صورت خودکار هنوز پشتیبانی نمی‌شوند و automatic_dynamic_shapes در torch._dynamo.config خاموش شده است. برای کاهش تنوع شکل‌ها، در TRL نسخهٔ ۱٫۱۶ یا بالاتر طول دسته‌ها به مضربی از ۱۲۸ توکن می‌رسد؛ گراف کامپایل‌شده برای شکل تکراری دوباره استفاده می‌شود. این محدودیت را نباید به نبود حالت eager تعمیم داد. بارگذاری ناهمگام وزن‌ها در Transformers روی Neuron پشتیبانی نمی‌شود و در مثال با HF_DEACTIVATE_ASYNC_LOAD=1 خاموش شده است.

همچنین همه pipelineهای Diffusers از موازی‌سازی تنسوری پشتیبانی نمی‌کنند و نویسندگان گفته‌اند پشتیبانی بیشتر در حال افزودن است. درباره kernelهای NKI، مقاله از سرعت‌افزایی تا حدود ۲.۴ برابر برای برخی ترنسفورمرهای بینایی خبر می‌دهد، اما این عدد هم ادعای مقاله است و در متن جزئیات آزمایش آن نیامده است. درباره دسترسی‌پذیری در ایران یا یکپارچگی با سرویس‌های داخلی هیچ اطلاعاتی در منبع وجود ندارد.

برای بررسی:TorchNeuron: running HF models on AWS Trainium is easier than ever

پشت این نوشته

منابع و جزئیات

این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.

این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.

  1. TorchNeuron: running HF models on AWS Trainium is easier than ever
    huggingface.coبررسی:

نخستین انتشار:

روش تهیه و بازبینی نوشته‌ها