به یه ویدیوی ۱۵ ثانیه‌ای که چند تا کات و برش داره بگو «اون مرد رو حذف کن» تا از همه‌ی نماها، با زاویه‌های مختلف، یه‌جا غیبش بزنه. این دقیقاً کاریه که MoviEdit انجام می‌ده؛ مدل ویرایش ویدیوی مشترک Adobe و KAIST که ادیت رو به‌صورت یکدست روی کل کلیپ پخش می‌کنه. البته توی گیت‌هاب فعلاً فقط بنچمارک همین کار منتشر شده و خبری از کد اجرای خود مدل نیست.
حذف مرد لباس‌مشکی از همه‌ی نماها؛ ویدیوی کوچیکِ بالا سمت چپ نسخه‌ی اصلیه.
مشکل دقیقاً کجاست؟
ادیتورهای فعلی هوش مصنوعی برای کلیپ‌های چندثانیه‌ای و تک‌نما ساخته شدن. توی یه فیلم واقعی، دوربین مدام کات می‌خوره و زاویه و نور عوض می‌شه. مدل ادیت باید بعد از هر برش دوباره همون آدم رو پیدا کنه و ظاهرش رو هم دقیقاً مثل نمای قبلی نگه داره. اگه هر نما رو جداگونه ادیت کنی، این هماهنگی از بین می‌ره؛ از اون طرف اگه کل ویدیو رو یه‌جا بدی به مدل، مصرف حافظه و هزینه سر به فلک می‌کشه.
راه‌حل دو مرحله‌ای
ببین ایده چقدر هوشمندانه‌ست: اول یه نسخه‌ی کم‌کیفیت و سبک از کل ویدیو ادیت می‌شه (معماری‌ش «Draft Editor» هست، با رزولوشن ۲۷۰ پیکسل و نرخ ۱۲ فریم). چون این مرحله همه‌ی نماها رو با هم می‌بینه، تصمیم می‌گیره که ادیت همه‌جا یکسان باشه. بعدش «Render Editor» میاد ویدیو رو تکه‌تکه با کیفیت کامل (۵۴۰ پیکسل، ۲۴ فریم) می‌سازه و اون نسخه‌ی پیش‌نویس رو لنگر کارش قرار می‌ده تا ظاهر سوژه کم‌کم از دست نره. جالبه که هر دو مرحله هم از وزن‌های یکسانی استفاده می‌کنن (البته این‌ها گزارش‌های خود نویسنده‌های مقاله‌ست).
ویدیوی اصلی و سه ادیت مختلف کنار هم.
سرعتش هم خیلی خوبه: بعد از تقطیر مدل و بهینه‌سازی‌ها، ادیت یه ویدیوی ۱۵ ثانیه‌ای روی هشت تا گرافیک H100 حدود ۱۲ ثانیه طول می‌کشه، در حالی که بدون این بهینه‌سازی‌ها ۳۶۴ ثانیه زمان می‌برد. داده‌های آموزش مدل هم بدون هیچ‌گونه برچسب‌زنی دستی ساخته شدن: ۸۷ هزار جفت ویدیوی قبل و بعد که برای جلوگیری از افت کیفیت و به‌هم‌ریختگی تصویر در طول زمان، به روش‌های خودکار فیلتر شدن.
چه کارهایی از دستش برمیاد؟
ادیت فقط با دستور متنی، یا اینکه یه فریم دلخواه از هر نما رو خودت ادیت کنی و مدل اون تغییر رو به کل ویدیو منتقل کنه (حتی چند تا فریم مرجع رو هم همزمان قبول می‌کنه).
پردازش ویدیوهای تا ۲۵ ثانیه، با اینکه خودش فقط روی کلیپ‌های ۱۵ ثانیه‌ای آموزش دیده.
اعمال یک ادیت واحد روی چند تا ویدیوی کاملاً جدا از هم به‌صورت یکجا.
یک ویدیو و سه ادیت متفاوت: تغییر شخصیت، چمن‌کردن کف مترو و تاریک‌کردن فضا.
توی گیت‌هاب چی پیدا می‌شه؟
مخزن گیت‌هاب فقط شامل MoviEdit-Bench هست: ۶۴ ویدیوی چندنمایی ساخته‌شده با هوش مصنوعی (شامل ۴ تا ۶ نما، حدود ۱۵ ثانیه) و ۱۲۸ سناریوی ادیت متنوع؛ از حذف و اضافه‌کردن سوژه گرفته تا تغییر محیط و استایل. داده‌ها، کد ارزیابی و نتایج مرجع همگی توی مخزن هستن. امتیازدهی هم بر اساس هفت معیار مختلف (مثل دست‌نخوردن بقیه‌ی صحنه و یکدستی ادیت بین نماها) و یه قاضی هوش مصنوعی انجام می‌شه. کدها فقط برای پژوهش‌های غیرتجاری آزادن و همون‌طور که گفتم، کد اجرای خود مدل توی مخزن نیست.
مقاله‌ی علمی چی می‌گه؟
طبق گزارش نویسنده‌ها، در امتیاز کلی «موفقیت ادیت» روی دستورهای متنی، MoviEdit به امتیاز 0.790 رسیده و Runway Aleph 2.0 امتیاز 0.764 رو گرفته؛ بهترین مدل متن‌باز هم به 0.378 رسیده. توی ادیت با فریم مرجع، Aleph 2.0 وقتی فقط فریم اول رو بدی یه کوچولو جلوتره (0.806 در برابر 0.803)، اما وقتی یه فریم دلخواه از وسط ویدیو رو انتخاب کنی MoviEdit جلو می‌افته (0.786 در برابر 0.781). نقطه ضعفش هم اینه که وقتی چند نفر شبیه هم توی کادر باشن یا سوژه فقط نصفه دیده بشه، ممکنه ادیت رو اشتباهی روی آدم دیگه پیاده کنه.
نظر من
جذاب‌ترین بخش این کار همون ایده‌ی اول هست: یعنی مدل اول یه تصمیم سبک و سراسری برای کل صحنه می‌گیره و بعد می‌ره سراغ جزئیات و کیفیت. این الگو خیلی جاهای دیگه هم می‌تونه به کار بیاد. نکته‌اش اینجاست که همه‌ی این مقایسه‌ها روی بنچمارکی انجام شده که خود سازنده‌ها ساختن، اونم با ویدیوهای تولیدی هوش مصنوعی و قاضی هوش مصنوعی. تا وقتی خود مدل منتشر نشه، هیچ‌کس نمی‌تونه این عددها رو مستقل تست کنه. فعلاً ارزش اصلی این گیت‌هاب اینه که بقیه‌ی پژوهشگرها بتونن مدل‌های خودشون رو با همین متر و معیار محک بزنن.
