FLUX.3 Image Klein در Diffusers: مدل متن‌به‌تصویر با کنترل چیدمان

قابلیت‌ها و نحوه استفاده

در کنترل چیدمان، هر ناحیه یک شناسه، یک کادر و یک توضیح دارد و مختصات به‌صورت [y_min, x_min, y_max, x_max] روی مقیاس ۰ تا ۱۰۰۰ نوشته می‌شود. برای ویرایش، هر ناحیه با src_bbox مبدأ در تصویر مرجع و با tgt_bbox مقصد در خروجی را تعیین می‌کند. مثال خود پست، جابه‌جایی یک شخصیت بافتنی در تصویر مرجع است، در حالی که بقیه اجزا ثابت نگه داشته می‌شوند.

نصب نیازمند آخرین نسخه diffusers و transformers است، چون رمزگذار متن Qwen3-VL است. مدل به‌صورت Modular Diffusers عرضه شده و کاربر می‌تواند بلوک‌ها را حذف یا اضافه کند؛ برای نمونه می‌توان رمزگذار متن را یک‌بار اجرا و آزاد کرد و سپس چند تصویر ساخت. اسکریپت‌های LoRA از نوع DreamBooth هم برای متن‌به‌تصویر و هم برای ویرایش مبتنی بر دستور (با سه‌تایی تصویر مرجع، تصویر هدف و دستور) ارائه شده است.

سرعت، حافظه و محدودیت‌ها

اعداد زیر اندازه‌گیری‌های خود نویسندگان پست است، نه آزمون مستقل؛ آزمون مستقل در این منبع ارائه نشده است. برای نسخه تقطیرشده روی یک H100 با ۸۰ گیگابایت، بدون offloading و با backend پیش‌فرض attention، میانگین سه اجرا پس از گرم‌کردن چنین است: متن‌به‌تصویر ۱۰۲۴×۱۰۲۴ حدود ۱٫۹۳ ثانیه، تصویر‌به‌تصویر با یک مرجع ۳٫۸۷ ثانیه و ویرایش چیدمان با مرجع ۱۳۶۰×۷۶۸ حدود ۴٫۱۰ ثانیه، با اوج حافظه ۲۳٫۸ گیگابایت.

وزن‌های کوانتیزه fp8r و nvfp4 با from_single_file بارگذاری می‌شوند. fp8r برای سرعت‌گرفتن به compute capability 8.9 یا بالاتر (Ada، Hopper، Blackwell) نیاز دارد و nvfp4 روی Blackwell با flashinfer-python و flashinfer-cubin هم‌نسخه. روی سایر GPUها وزن‌ها هر گام dequantize می‌شوند: حافظه کمتر، اما بدون افزایش سرعت. حافظه اوج پس از استنتاج برای نسخه base چنین گزارش شده است: nvfp4 روی RTX6000 حدود ۱۵٫۳ گیگابایت، fp8r روی H100 حدود ۱۶٫۳ و bf16 روی H100 حدود ۲۰٫۷.

پست می‌گوید CPU offloading خودکار را محک نزده‌اند. همچنین اطلاعاتی درباره در دسترس بودن در ایران یا هر یکپارچه‌سازی دیگر در منبع نیامده است.

نکات معماری

طبق توضیح پست، FLUX.3 مدل جریان در فضای نهفته است و از VAE مشابه Flux.2 استفاده می‌کند؛ تصویر ۱۰۲۴×۱۰۲۴ به ۴٫۰۹۶ توکن تبدیل می‌شود. ترنسفورمر ابتدا ۵ بلوک جداگانه برای هر جریان (متن، تصویر نویزی، مرجع) و سپس ۲۸ بلوک مشترک دارد. توکن‌های مرجع به دنباله اضافه می‌شوند و به همین دلیل مرجع ۱۰۲۴×۱۰۲۴ در هر فراخوانی ۴٫۰۹۶ توکن اضافه می‌کند؛ پست این را دلیل تقریباً دو برابر شدن زمان با تصویر مرجع می‌داند.

برای خوانندگان، پیام عملی این است که این مدل برای کاربران Diffusers مسیر آماده‌ای برای تولید، ویرایش با مرجع و آموزش LoRA فراهم می‌کند، اما سرعت و حافظه به نوع GPU و فرمت وزن بستگی دارد.