چه چیزی معرفی شده است
AWS در یک پست آموزشی نشان می‌دهد که تیم‌هایی که مدل سفارشی تبدیل متن به گفتار (TTS) را خودشان میزبانی می‌کنند، چگونه می‌توانند به‌جای حدس زدن، هدف مقیاس‌پذیری خودکار را اندازه بگیرند. به گفته AWS، حدس محافظه‌کارانه GPUهای بیکار و حدس تهاجمی خطر عبور از SLO تأخیر را به همراه دارد.
مدل نمونه Kokoro-82M با ۸۲ میلیون پارامتر است که به‌صورت کانتینر سفارشی روی اندپوینت real-time در Amazon SageMaker AI و با استک‌های AWS CDK مستقر می‌شود. دو مقدار اندازه‌گیری می‌شود: Q_max یعنی بیشینه همزمانی قابل تحمل برای یک نمونه پیش از نقض SLO، و T_total یعنی زمان کامل یک scale-out. آستانه‌های scale-out و scale-in و هر دو cooldown از این دو عدد محاسبه می‌شوند. سیاست روی ConcurrentRequestsPerModel، معیار بومی SageMaker، تنظیم شده است.
نتایج اندازه‌گیری‌شده
طبق گزارش پست، در آزمون نردبان همزمانی با حلقه بسته، p95 زمان تا اولین بایت صدا در همزمانی ۵۰ برابر ۲٬۸۰۵٫۷ میلی‌ثانیه بود و در ۶۰ به ۳٬۳۷۴٫۸ رسید و SLO سه‌هزار میلی‌ثانیه نقض شد؛ بنابراین Q_max برابر ۵۰ است. زمان سرویس بدون صف حدود ۶۱٫۳ میلی‌ثانیه (میانگین) و p95 آن ۶۶٫۱ میلی‌ثانیه بود.
scale-out اجباری ۲۶۰٫۲ ثانیه طول کشید که بیشترین سهم، حدود ۱۸۱ ثانیه، مربوط به تأمین نمونه EC2 و کشیدن ایمیج کانتینر بود. پست ۶۰ ثانیه تأخیر تشخیص سیاست را که اندازه‌گیری نشده و از پیکربندی برآورد شده اضافه می‌کند و به ۳۲۰٫۲ ثانیه می‌رسد.
با SLO برابر ۳٬۰۰۰ میلی‌ثانیه و نسبت افزایش ۱٫۲۵، هدف scale-out برابر ۳۷٫۵ و آستانه scale-in برابر ۲۵ شد. cooldown خروج ۳۰ ثانیه و cooldown ورود ۹۶۰ ثانیه است. کانتینر با صف حداکثر ۵۰، درخواست‌های بیشتر را با 503 رد می‌کند.
محدودیت‌ها و پیامدها برای خوانندگان
اعداد فقط برای Kokoro-82M روی ml.g5.xlarge معتبرند و برای مدل یا نمونه دیگر تغییر می‌کنند؛ روش است که قابل انتقال است. پست می‌گوید رویکرد برای اندپوینت‌های real-time حساس به تأخیر و وابسته به همزمانی، مثل embedding تصویر، نیز قابل استفاده است.
خود ابزار دو هشدار گزارش می‌کند: با آستانه ۳۷٫۵ در برابر Q_max برابر ۵۰، یک نمونه هنگام شروع scale-out حدود ۹۷٫۴٪ بهره‌برداری دارد؛ و با حداقل یک نمونه، scale-in از ۲ به ۱ می‌تواند نوسان ایجاد کند. بالا بردن حداقل به ۳ این را برطرف می‌کند، اما ظرفیت ثابت بیشتری هزینه دارد.
پیش‌نیازها شامل حساب AWS با مجوزهای لازم، AWS CDK نسخه ۲، پایتون ۳٫۱۱ یا بالاتر، uv، Docker و سهمیه ml.g5.xlarge با یک جای خالی اضافه است. کانتینر نمونه PyTorch قدیمی‌تر با یک هشدار امنیتی را پین کرده و پیش از استفاده فراتر از اثبات مفهوم باید ارتقا یابد. منبع آزمون مستقل ارائه نمی‌کند؛ نتایج از اجرای خود نویسندگان در مخزن نمونه است. درباره دسترسی در ایران یا یکپارچگی با نخود در منبع چیزی نیامده است.
پشت این نوشته
منابع و جزئیات
این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.
این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.
- Stop guessing auto scaling targets for TTS on Amazon SageMaker AIaws.amazon.comبررسی:
نخستین انتشار:
روش تهیه و بازبینی نوشته‌ها