پیش‌نمایش شکل لب با هوش مصنوعی؛ دمو و پژوهش روی روش‌های هندسی، سه‌بعدی و مولد

معرفی

یک وب‌اپ دمو برای پیش‌نمایش شکل لب در کلینیک‌های زیبایی. مراجعه‌کننده عکس خودش را می‌دهد، یکی از چند سبک لب (عروسکی، قلبی، هالیوودی، طبیعی و روسی) را انتخاب می‌کند و در چند ثانیه می‌بیند لبش بعد از آن سبک چه شکلی می‌شود، کنار عکس اصلی. هدف این است که پزشک و مراجعه‌کننده پیش از تزریق درباره‌ی نتیجه به تصور مشترک برسند. دمو روی lip.alipour.me اجرا می‌شود و می‌توانی امتحانش کنی. این پروژه را در سال ۲۰۲۶ ساختم.

تصاویر این صفحه از خود دمو و با عکس‌های نمونه‌ی آن گرفته شده‌اند.

وب‌سایت دمو

• نمونه‌ی آماده: پنج چهره‌ی نمونه و پنج سبک لب. با انتخاب یک چهره و یک سبک، نتیجه کنار عکس اصلی دیده می‌شود تا بازدیدکننده بدون بارگذاری عکس خودش کیفیت کار را ببیند.

• موتور اختصاصی: عکس خودت را بارگذاری می‌کنی، سبک را انتخاب می‌کنی و روند ساخت را زنده می‌بینی (کار در پس‌زمینه انجام می‌شود و صفحه وضعیت آن را دنبال می‌کند).

• طراحی: تیره و تمیز، با پیش‌نمایش لب هر سبک روی دکمه‌ی انتخاب، و سازگار با موبایل.

کاری که برای رسیدن به آن انجام دادم

بخش اصلی این پروژه پژوهش و آزمایش بود: چطور می‌شود شکل لب را روی یک عکس واقعی، طبیعی و قابل‌باور تغییر داد؟ چند راه کاملا متفاوت را ساختم و آزمایش کردم، و نتیجه‌ی همه را با هم مقایسه کردم.

• مطالعه‌ی زیبایی لب. مقاله‌های پزشکی و راهنماهای تزریق فیلر را خواندم و قاعده‌های آن را به عدد تبدیل کردم: نسبت لب بالا به پایین (حدود ۱ به ۲)، نسبت عرض دهان به عرض بینی (حدود ۱٫۶ برابر)، شکل قوس قلب (کوپید) و فیلتروم، و اینکه افزایش بیش‌ازحد ظاهر مصنوعی می‌دهد. این قاعده‌ها معیار قضاوت درباره‌ی نتیجه شدند.

• یافتن لب با نقاط چهره. با MediaPipe و ۴۶۸ نقطه‌ی چهره، مرز دقیق لب و گوشه‌های دهان را پیدا کردم و از آن ماسک لب ساختم، که پایه‌ی همه‌ی روش‌های بعدی بود.

• روش هندسی (بدون هوش مصنوعی مولد). تغییر شکل لب با کشیدن نقاط: اعوجاج برآمدگی (bulge)، ذره‌بین مایع، تغییر شکل مبتنی بر شبکه (Piecewise Affine) و Thin Plate Spline، همراه با ابزارهای تعاملی با اسلایدر برای شدت و اندازه و نرمی لبه و اشباع رنگ. جابه‌جایی نقاط لب بر اساس سبک (طول لب، مرکز لب) هم نوشتم. نتیجه سریع و کنترل‌پذیر بود، ولی برای حجم‌دادن واقعی بافت و رنگ لب محدود بود.

• بازسازی سه‌بعدی چهره. با یک مدل چهره‌ی سه‌بعدی (Morphable Model) چهره‌ی سه‌بعدی ساختم تا لب را در فضای سه‌بعدی تغییر بدهم و دوباره روی عکس بنشانم، همراه با آزمایش نقشه‌ی بازتاب و پرسپکتیو.

• مدل‌های مولد (Diffusion) و Inpainting. ناحیه‌ی لب را ماسک می‌کنم و مدل فقط همان ناحیه را از نو می‌سازد. چند خانواده‌ی مدل را امتحان کردم: Stable Diffusion XL با نسخه‌ی مخصوص Inpainting، ‏SDXL Turbo برای سرعت، چند مدل بهینه‌شده برای چهره (مثل Juggernaut و DreamShaper)، ‏LoRA برای تنظیم سبک، Stable Diffusion 3 با مدل سریع، و Flux (نسخه‌ی FLUX.2) با ComfyUI و گراف‌های Inpainting. همچنین ابزارهای آماده‌ی Fooocus و HD-Painter. پرامپت‌ها را برای هر سبک نوشتم، مثلا «تکنیک روسی با یک سی‌سی فیلر، رنگ طبیعی بدون رژ».

• اجرای مدل روی GPU از راه دور. مدل‌های سنگین را روی RunPod (با Docker و کانتینر سفارشی و سرور بدون‌سرور) اجرا کردم و ابزارهای نصب و دانلود مدل نوشتم.

نمودار زیر مسیر کلی کار را نشان می‌دهد.

درس‌هایی که از مقایسه گرفتم

• روش هندسی سریع و قابل‌کنترل است، ولی بافت و رنگ تازه نمی‌سازد.

• مدل‌های مولد طبیعی‌ترین نتیجه را می‌دهند، ولی باید ماسک دقیق و پرامپت درست داشت وگرنه چهره‌ی کل عکس عوض می‌شود. کیفیت مدل، هزینه و زمان اجرا هم با هم فرق دارد.

• برای دمو، اجرای روی سرویس ابری مدیریت‌شده ساده‌تر و پایدارتر از نگه‌داشتن GPU بود، پس سایت از یک سرویس تولید تصویر از راه دور کمک می‌گیرد و من نتیجه‌ی آزمایش‌ها را برای انتخاب و تنظیم به‌کار بردم.

جزئیات فنی سایت

• Next.js و React و TypeScript و Tailwind CSS.

• MediaPipe Tasks Vision برای یافتن چهره.

• مسیر API سمت سرور برای فرستادن درخواست و پرسیدن وضعیت کار تا آماده‌شدن نتیجه، و کلید سرویس فقط سمت سرور می‌ماند.

• نمونه‌ها پیش‌ساخته‌اند تا دمو فوری باز شود.

ابزار

• Python، OpenCV، MediaPipe، PyTorch، Diffusers، Gradio

• Stable Diffusion XL، SDXL Turbo، Stable Diffusion 3، Flux، LoRA، ComfyUI، Fooocus

• مدل چهره‌ی سه‌بعدی، Thin Plate Spline، Piecewise Affine

• RunPod، Docker، Next.js، TypeScript

نتیجه

یک دمو که پیش‌نمایش شکل لب را در چند ثانیه نشان می‌دهد، و پشت آن پژوهش و آزمایش گسترده‌ای روی روش‌های هندسی، سه‌بعدی و مولد برای رسیدن به نتیجه‌ی طبیعی.