چه چیزی معرفی شده است؟
AWS در یک راهنمای عملی، قابلیت Multi-Turn Reinforcement Learning یا MTRL در Amazon SageMaker AI را شرح داده است. به گفته AWS، فاین‌تیونینگ معمول پاسخ بهتر به یک پرامپت را آموزش می‌دهد، اما عامل‌هایی که چند اقدام پشت‌سرهم انجام می‌دهند فقط یک بازخورد قابل اتکا دارند: موفق بودن کل مسیر. MTRL مدل را بر همین سیگنال آموزش می‌دهد و نیازی به تعیین مسیر درست ندارد؛ فقط باید شیوه امتیازدهی نتیجه را مشخص کنید.
در این معماری، SageMaker AI کار آموزش و مدل سیاست را بر عهده دارد و عامل روی Amazon Bedrock AgentCore یا زیرساخت خودتان (مثلاً EKS، EC2 یا Fargate از طریق یک Lambda forwarder) اجرا می‌شود. عامل مدل در حال آموزش را فراخوانی می‌کند، در محیط عمل می‌کند و در پایان هر اپیزود یک پاداش گزارش می‌دهد. الگوریتم GRPO از پراکندگی پاداش چند اجرای یک نمونه برای به‌روزرسانی آداپتور LoRA استفاده می‌کند.
نتایج مثال Wordle و هزینه
مثال آموزشی بازی Wordle است. AWS خودش تأکید می‌کند که مدل‌های پیشرو این بازی را خوب انجام می‌دهند و کاربرد واقعی، بهبود یک مدل کوچک و ارزان برای وظیفه چندمرحله‌ای اختصاصی کسب‌وکار است. طبق گزارش AWS از اجرای خودش، نرخ حل روی واژه‌های کنارگذاشته‌شده برای gpt-oss-20b با تلاش استدلال پیش‌فرض از ۶۱ به ۸۴ درصد رسید و در تلاش استدلال پایین (که آموزش در آن انجام شد) از ۱۵ به ۶۹ درصد. مقایسه‌ها بین مدل پایه و مدل آموزش‌دیده روی همان ۱۲۸ واژه اعتبارسنجی است. عدد ۸۴ درصد مربوط به تلاش متوسط و دمای ۱٫۰ است؛ میانگین دو اجرا (۸۰ و ۸۸ درصد).
هزینه آموزش حدود ۳۳۹ دلار توکن (با قیمت فهرست GPT-OSS-20B در us-east-1) برای ۱۰۰ گام و ۱۰۵٬۴۸۶ اجرای بازی در ۱۲ ساعت و ۴۰ دقیقه گزارش شده است. اجرای AgentCore حدود ۷۹ دلار جداگانه هزینه داشت. بخش train بیشترین سهم را دارد و با طول مسیر بالا می‌رود.
دسترس‌پذیری و پیش‌نیازها
MTRL بدون سرور است و شما فقط مدل پایه را انتخاب می‌کنید. در زمان نگارش منبع، مدل‌ها با آداپتور LoRA پشتیبانی می‌شوند: Amazon Nova 2 Lite و GPT-OSS-20B در us-east-1 و us-west-2، و Gemma 4 31B و Qwen 3.6 27B فقط در us-west-2. منبع درباره دسترسی در ایران چیزی نمی‌گوید.
پیش‌نیازها شامل پایتون ۳٫۱۰ یا بالاتر، uv، Node 20 یا بالاتر، AgentCore CLI، نسخه botocore 1.43.37 یا بالاتر، دو نقش IAM و یک باکت S3 در همان ریجن عامل است. اپ MLflow الزامی است. نقش آموزش باید به job.sagemaker.amazonaws.com اعتماد کند. سهمیه پیش‌فرض فقط یک کار ارزیابی همزمان اجازه می‌دهد. در حین اجرای کار نباید عامل را دوباره دیپلوی کرد، چون کل کار شکست می‌خورد.
درس‌های عملی و محدودیت‌ها
نکته مهم برای خوانندگان، ارزیابی در شرایط سرویس‌دهی است. منحنی اعتبارسنجی آموزش که در دمای ۰ سنجیده می‌شود، ۳۷ درصد نشان داد، اما ارزیابی در دمای ۱٫۰ و تلاش متوسط ۸۴ درصد داد. AWS این اختلاف را ناشی از شیوه امتیازدهی اعتبارسنجی آموزش می‌داند. همچنین گزارش می‌کند آموزش‌دیده در همه تنظیمات ۱۴ تا ۵۴ امتیاز بهبود داشت.
طراحی پاداش اهمیت زیادی داشت: نسخه اول که پاداش هر حدس را جمع می‌کرد، باخت را مثبت و حل سریع‌تر را کم‌امتیازتر می‌کرد. راه‌حل، جزء نتیجه‌محور غالب به‌علاوه جمله شکل‌دهی کوچک و کران‌دار بود. AWS مشکلات دیگری مثل توکن‌های Bearer زیر همزمانی بالا، تبدیل فراخوانی ابزار به متن ساده و رکود پس از حدود گام ۱۵ را نیز گزارش کرده است. همه نتایج از آزمایش خود AWS روی Wordle هستند؛ آزمون مستقل در این منبع ارائه نشده و تعمیم به وظایف داخلی سازمان‌ها اثبات نشده است.
پشت این نوشته
منابع و جزئیات
این خبر با کمک هوش مصنوعی نوشته شده و با بررسی خودکار منابع و متن منتشر شده است. تصویر، تصویرسازی مفهومی است.
این منابع را می‌توانی برای بررسی ادعاها و جزئیات بیشتر بخوانی. تاریخ کنار هر منبع، زمان بررسی آن برای این نوشته است.
- Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guideaws.amazon.comبررسی:
نخستین انتشار:
روش تهیه و بازبینی نوشته‌ها