چه چیزی معرفی شده است

بر اساس پست AWS، مانع اصلی مقیاس‌دهی آموزش PyTorch روی خوشه، بیشتر خود کانتینر است تا کد مدل: هر کانتینر باید CUDA، PyTorch سازگار، NCCL، کتابخانه‌های EFA، افزونه AWS OFI NCCL و نسخه‌ای از Ray داشته باشد که اپراتور خوشه بپذیرد. AWS می‌گوید Ray Train Deep Learning Container این پشته را یکجا مونتاژ، آزمایش و وصله می‌کند و در Amazon ECR Public منتشر می‌کند.

نمونه‌ی همراه پست، مدل Qwen2.5-1.5B را با PyTorch FSDP روی هشت GPU از نوع NVIDIA L4 و دو نمونه g6.12xlarge فاین‌تیون می‌کند. تگ استفاده‌شده train-ml-cuda-v1.1 است و طبق جدول پست شامل Ray 2.58.0، PyTorch 2.13.0، CUDA 13.0.2 و NCCL 2.29.7 است.

برای بررسی:Distributed training with Ray Train DLCs and EFA on EKS

معماری و نحوه کار

KubeRay از یک مانیفست RayCluster، یک head روی گره CPU از نوع m7i.xlarge و دو worker با چهار GPU می‌سازد. همان ایمیج برای head و worker استفاده می‌شود و تفاوت‌ها، از جمله درخواست منابع nvidia.com/gpu و vpc.amazonaws.com/efa و متغیرهای شبکه‌ای NCCL، از بیرون ایمیج تنظیم می‌شوند. به گفته پست، بدون درخواست منبع EFA، NCCL آن را نمی‌بیند و به سوکت‌ها برمی‌گردد.

Ray Train هشت worker (یکی برای هر GPU) را جای‌گذاری و گروه پردازش torch.distributed را تشکیل می‌دهد. FSDP وزن‌ها، گرادیان‌ها و حالت بهینه‌ساز را بین هشت GPU تقسیم می‌کند؛ پست تخمین می‌زند مدل bfloat16 حدود ۱۲ گیگابایت برای این چهار تانسور نیاز دارد و سهم هر L4 حدود ۱٫۵ گیگابایت می‌شود. بهای این کار ارتباط بیشتر بین رتبه‌هاست.

برای بررسی:Distributed training with Ray Train DLCs and EFA on EKS

پیش‌نیازها و محدودیت‌ها

پیش‌نیازها شامل AWS CLI v2، eksctl، kubectl، Helm و envsubst، سهمیه ۹۶ vCPU از خانواده G در حالت On-Demand و Regionی است که حداقل یک زون g6.12xlarge ارائه دهد. هزینه تقریبی ذکرشده حدود ۹٫۵۰ دلار در ساعت برای دو نمونه، control plane و NAT Gateway است. چون ترافیک EFA از مرز Availability Zone عبور نمی‌کند، هر دو نمونه باید در یک زون باشند. برای تغییر خانواده نمونه، باید EFA را پشتیبانی کند و در فهرست مجاز افزونه دستگاه EFA باشد.

محدودیت مهم دیگر این است که نمونه از توکن‌های تصادفی استفاده می‌کند تا فقط عبور جمع‌های FSDP از هر دو گره و تکمیل کار سنجیده شود؛ برای فاین‌تیون واقعی باید خط لوله داده جایگزین شود. این پست درباره دسترسی در ایران یا ادغام با نوخود چیزی نمی‌گوید.

برای بررسی:Distributed training with Ray Train DLCs and EFA on EKS

ادعاها و شواهد

AWS می‌گوید مسیر EFA با چهار متغیر محیطی فعال شد و روی کد بدون تغییر، توان عملیاتی را نسبت به TCP دو برابر کرد. در متن ارائه‌شده، جزئیات اندازه‌گیری، مدل مقایسه و بار کاری آن ارائه نشده است؛ بنابراین این عدد ادعای فروشنده است و نباید به سخت‌افزار یا بارهای دیگر تعمیم داده شود. آزمون مستقل در این منبع ارائه نشده است.

برای خوانندگان، ارزش عملی نمونه در حذف ساخت و نگهداری ایمیج است؛ اسکریپت‌ها نیز ظرفیت، سهمیه و وجود افزونه‌های GPU و EFA را بررسی می‌کنند. برای تکرارپذیری، پست پین کردن تگ نسخه یا digest را پیشنهاد می‌کند.

برای بررسی:Distributed training with Ray Train DLCs and EFA on EKS

پشت این نوشته

منابع و جزئیات

این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.

این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.

  1. Distributed training with Ray Train DLCs and EFA on EKS
    aws.amazon.comبررسی:

نخستین انتشار:

روش تهیه و بازبینی نوشته‌ها