چه چیزی اعلام شد

AWS اعلام کرده است که نمایه‌سازی Seekable OCI یا همان SOCI برای کارهای آموزش (Training) و پردازش (Processing) در Amazon SageMaker AI در دسترس است. به گفته AWS، سرویس به‌جای دانلود کامل ایمیج پیش از اجرا، فقط فایل‌های لازم برای راه‌اندازی کانتینر را می‌گیرد و بقیه را همزمان با اجرای کد در پس‌زمینه بارگیری می‌کند. هدف، کم‌کردن زمان دانلود ایمیج‌های بزرگ یادگیری عمیق است که طبق متن منبع اغلب از ۱۰ گیگابایت هم بیشتر می‌شوند و این زمان به‌عنوان زمان کار قابل پرداخت محاسبه می‌شود.

نمایه SOCI یک آرتیفکت متادیتا در Amazon ECR است و به ایمیج اصلی پیوند می‌خورد؛ بنابراین digest و امضاهای موجود ایمیج معتبر می‌مانند. AWS می‌گوید برای استفاده، تعریف job و نقطه ورود و کانالهای داده تغییری نمی‌کند. اگر نمایه وجود نداشته باشد یا خوانده نشود، job با دانلود معمولی ادامه می‌یابد.

برای بررسی:Announcing SOCI-indexed images for faster SageMaker AI jobs

نتایج بنچمارک‌های ارائه‌شده توسط AWS

AWS آزمایش‌ها را روی ۸ ایمیج با حجم فشرده ۱٫۸ تا ۳۵٫۴ گیگابایت و چندین نوع نمونه GPU و CPU در مناطق us-west-2 و us-east-1 گزارش کرده است. مبنای مقایسه، دانلود استاندارد همان ایمیج در همان jobهای SageMaker است. مثلاً ایمیج ۱۳٫۲ گیگابایتی با دانلود استاندارد حدود ۳ دقیقه و ۴۲ ثانیه و با بارگذاری lazy حدود ۶ ثانیه زمان برده و ایمیج ۳۵٫۴ گیگابایتی از ۷ دقیقه و ۱۷ ثانیه به ۳ تا ۱۱ ثانیه رسیده است. AWS همچنین از کاهش تا ۹۰ درصدی زمان بیکاری GPU هنگام دریافت ایمیج در بنچمارک‌های خود خبر داده است.

در آموزش کامل ResNet-50 روی Imagenette و فاین‌تیونینگ Qwen2.5-0.5B، از اپوک دوم زمان هر اپوک مشابه بود، اما اپوک اول ۳ تا ۱۶ ثانیه بیشتر طول کشید. AWS خالص صرفه‌جویی را ۱ تا ۶ دقیقه برای هر job گزارش کرده است. این اعداد از دو بار کاری مشخص‌اند و AWS خودش توصیه می‌کند روی بار کاری شما آزمایش شود. در این منبع، آزمون مستقل ارائه نشده است.

برای بررسی:Announcing SOCI-indexed images for faster SageMaker AI jobs

روش استفاده

دو راه وجود دارد. اول، استفاده از نسخه‌های از پیش نمایه‌شده AWS Deep Learning Containers با پسوند -soci در تگ؛ این نسخه‌ها برای PyTorch Training، TensorFlow Training، vLLM و SGLang عرضه شده‌اند و برای برخی فریمورک‌ها نسخه arm64 هم دارند. دوم، ساخت نمایه برای ایمیج سفارشی روی یک میزبان لینوکس (مثلاً EC2 با Amazon Linux 2023) با containerd، SOCI snapshotter و Finch یا nerdctl. اگر ایمیج خودتان را از روی پایه DLC بسازید، نمایه پایه به ایمیج مشتق‌شده منتقل نمی‌شود و باید برای ایمیج نهایی نمایه ساخت. برای خودکارسازی، AWS ابزار CFN ECR SOCI Index Builder را معرفی کرده که با EventBridge پس از هر push نمایه می‌سازد.

برای بررسی:Announcing SOCI-indexed images for faster SageMaker AI jobs

محدودیت‌ها و نکات مهم

این قابلیت فقط برای مخازن خصوصی Amazon ECR است؛ ایمیج‌های رجیستری‌های دیگر یا حالت TrainingRepositoryAccessMode برابر Vpc واجد شرایط نیستند. ایمیج‌های کوچک‌تر از حدود ۴ گیگابایت بهبود نسبتاً کمی می‌بینند. اگر کد ورودی پیش از آموزش بخش بزرگی از ایمیج را بخواند (مثل اسکن یا preload)، صرفه‌جویی کم می‌شود؛ با این حال AWS می‌گوید در آزمون‌های خودش مواردی مانند torch.compile یا مدل ۶ گیگابایتی داخل ایمیج هم همچنان نتیجه مثبت داشتند.

چون اجرا روی runtime مبتنی بر containerd انجام می‌شود، باید وابستگی‌های اسکریپت‌ها به Docker CLI، فایل /var/run/docker.sock یا شناسه‌های مبتنی بر cgroup بررسی شود. AWS می‌گوید قابلیت در همه Regionهای AWS موجود است. منبع درباره دسترس‌پذیری در ایران یا یکپارچگی با ابزارهای دیگر چیزی نگفته است.

برای بررسی:Announcing SOCI-indexed images for faster SageMaker AI jobs

پشت این نوشته

منابع و جزئیات

این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.

این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.

  1. Announcing SOCI-indexed images for faster SageMaker AI jobs
    aws.amazon.comبررسی:

نخستین انتشار:

روش تهیه و بازبینی نوشته‌ها