تیم مهندسی Hightouch نتایج آزمایشی را منتشر کرده است که نشان می‌دهد استفاده ترکیبی (Hybrid) از مدل‌های تصمیم‌گیر (Decision Models) در کنار مدل‌های زبانی بزرگ پیشرو (Frontier LLMs) می‌تواند مسئله دشوار ارزیابی نتایج Identity Resolution (به اختصار IDR) را با دقت مدل‌های بزرگ اما با هزینه‌ای بیش از ۴ برابر کمتر انجام دهد.
مسئله: تشخیص ادغام بیش‌ازحد (Over-merging) در IDR
فرآیند Identity Resolution رکوردهای پراکنده داده را به افراد واقعی متصل می‌کند. یکی از خطاهای رایج در این سیستم‌ها Over-merging است؛ حالتی که رکوردهای چند فرد مختلف به اشتباه در یک پروفایل واحد ادغام می‌شوند. از آنجا که در داده‌های واقعی کلید پاسخی وجود ندارد، تیم‌ها مجبور به نمونه‌برداری و بررسی دستی هستند که سرعت پایینی دارد (حدود ۵۰ هویت در ساعت) و برای رسیدن به خطای زیر ۱ درصد نیازمند بررسی بیش از ۱۰۰۰ نمونه است.
برای خودکارسازی این بررسی با کمک LLMها، تیم Hightouch با استفاده از ابزار pseudopeople (توسعه‌یافته در دانشگاه واشنگتن) یک بنچمارک شامل ۱۰۰۰ هویت ساختگی با خطاهای واقع‌گرایانه (غلط املایی، جابه‌جایی ماه و روز، نام مستعار و موارد مشابه) ایجاد کرد که نیمی از آن‌ها مربوط به یک فرد و نیمی دیگر Over-merge شده بودند.
مقایسه مدل‌های پیشرو و مدل‌های تصمیم‌گیر
در این آزمایش، مدل‌های پیشرو (Claude Opus 5.5، Gemini 3.1 Pro و GPT-6 Sol) در برابر کلاس جدیدی از مدل‌های تصمیم‌گیر یعنی Jev و GPT-6 Luna که عددی بین ۰ تا ۱ به عنوان امتیاز اطمینان (Confidence Score) برمی‌گردانند، قرار گرفتند. مدل‌های تصمیم‌گیر تا ۹۰ برابر ارزان‌تر (۰.۰۵ تا ۰.۱۰ دلار به ازای هر ۱۰۰۰ هویت) و بیش از ۱۰ برابر سریع‌تر (حدود ۰.۱۵ ثانیه) هستند، اما در بنچمارک‌های سخت حدود ۶ درصد دقت کمتری نسبت به Opus دارند.
مدل / پیکربندی | دقت (آزمون ساده) | هزینه / ۱۰۰۰ هویت (ساده) | دقت (آزمون سخت) | هزینه / ۱۰۰۰ هویت (ساده/سخت) | زمان هر هویت (ساده / سخت) |
|---|---|---|---|---|---|
Claude Opus 5.5 | 99.0% | $3.86 | 95.1% | $5.39 (سخت) | 2.2s / 2.6s |
Jev (60% cutoff) | 95.7% | $0.05 | 89.1% | $0.06 (سخت) | 0.15s / 0.15s |
GPT-6 Luna (70% cutoff) | 97.3% | $0.10 | 88.8% | $0.12 (سخت) | 0.17s / 0.20s |
Hybrid Jev (30–90% به Opus) | 98.8% | $0.88 | 95.3% | $2.94 (سخت) | 0.63s / 1.56s |
Hybrid Luna (10–90% به Opus) | 98.5% | $0.33 | 91.6% | $1.15 (سخت) | 0.30s / 0.70s |
چرا این یافته برای مهندسان اهمیت دارد؟
نکته کلیدی این گزارش برای معماران سیستم‌های مبتنی بر LLM، اهمیت کالیبره بودن اطمینان (Confidence Calibration) در طراحی پایپ‌لاین‌های چندمرحله‌ای است:
کالیبراسیون بهتر در برابر دقت اولیه بالاتر: در حالت پایه، مدل GPT-6 Luna در آزمون ساده دقیق‌تر از Jev عمل کرد (۹۷.۳٪ در برابر ۹۵.۷٪). اما بررسی خطاها نشان داد که Luna هنگام اشتباه کردن، اطمینان کاذب بسیار بالایی (در بازه ۹۰ تا ۱۰۰ درصد) دارد. در مقابل، خطاهای Jev عمدتاً در حوالی اطمینان ۵۰ درصد رخ می‌دهند.
معماری Hybrid خودتنظیم‌شونده: وقتی موارد با اطمینان میانی (بازه ۳۰ تا ۹۰ درصد در Jev) برای نظر دوم به مدل گران‌تر (Claude Opus 5.5) فرستاده می‌شوند، سیستم ترکیبی Jev در آزمون ساده با هزینه ۰.۸۸ دلار (بیش از ۴ برابر ارزان‌تر از ۳.۸۶ دلار برای Opus به تنهایی) به دقت ۹۸.۸٪ می‌رسد.
مقاومت در برابر داده‌های دشوار: در آزمون سخت (شامل دوقلوها، تشابه اسمی پدر و فرزند و خطاهای پیچیده)، به دلیل کالیبره بودن Jev، این مدل به صورت خودکار موارد مشکوک بیشتری را به Opus ارجاع داد و حتی به دقتی کمی بالاتر از Opus به تنهایی (۹۵.۳٪ در برابر ۹۵.۱٪) با هزینه ۲.۹۴ دلار دست یافت؛ در حالی که Hybrid Luna به دلیل اطمینان کاذب، موارد خطا را ارجاع نداد و دقتش به ۹۱.۶٪ سقوط کرد.
تأثیر Prompt Engineering بر مدل‌های تصمیم‌گیر: افزودن مثال‌های عینی از خطاها به Prompt دقت تمام مدل‌ها را بالا برد، اما توضیح زمینه داده (Data Context) تنها تا ۱ درصد به مدل‌های پیشرو کمک کرد و تأثیری بر مدل‌های تصمیم‌گیر نداشت؛ چرا که این مدل‌ها استدلال عمیقی انجام نمی‌دهند.
