مدل Qwen علی بابا با سوالات منطقی بهتر از پیش نمایش o1 عمل می کند

غول تجارت الکترونیک چینی علی بابا جدیدترین مدل از خانواده در حال گسترش خود Qwen را عرضه کرده است. این سیستم که به ،وان Qwen with Questions (QwQ) شناخته می شود، به ،وان آ،ین رقیب منبع باز برای مدل استنتاج o1 OpenAI عمل می کند.

مانند سایر مدل‌های استدلال بزرگ (LRM)، QwQ از چرخه‌های مح،اتی اضافی در طول استدلال برای بررسی پاسخ‌های خود و تصحیح خطاهای آن استفاده می‌کند و آن را برای کارهایی که نیاز به تفکر منطقی و برنامه‌ریزی مانند ریاضیات و برنامه‌نویسی دارند، من،‌تر می‌کند.

Qwen with Questions (OwQ؟) چیست و آیا می توان از آن برای اه، تجاری استفاده کرد؟

علی بابا نسخه 32 میلیارد پارامتری QwQ را با زمینه ای از 32000 توکن منتشر کرد. این مدل در حال حاضر در پیش نمایش است، به این م،ی که احتمالاً یک نسخه با عملکرد بالاتر ارائه خواهد شد.

بر اساس تست های علی بابا، QwQ در معیارهای AIME و MATH که توانایی های حل مسئله ریاضی را ارزیابی می کنند، بهتر از پیش نمایش o1 عمل می کند. همچنین از o1-mini در GPQA که یک استاندارد برای استنتاج علمی است، بهتر عمل می کند. QwQ در معیارهای رمزگذاری LiveCodeBench کمتر از o1 است، اما همچنان از سایر مدل‌های پارامتریک مانند GPT-4o و کلود 3.5 Sonnet بهتر است.

QwQ همراه با مقاله ای که داده ها یا فرآیند مورد استفاده برای آموزش مدل را توصیف کند ارائه نمی شود، که بازتولید نتایج مدل را دشوار می کند. با این حال، به دلیل باز بودن مدل، برخلاف OpenAI o1، «فرایند فکری» آن پنهان نیست و می‌توان از آن برای درک نحوه تفکر مدل هنگام حل مسائل استفاده کرد.

علی بابا همچنین این مدل را تحت مجوز آپاچی 2.0 منتشر کرده است، به این م،ی که می توان از آن برای مقاصد تجاری استفاده کرد.

“ما چیز عمیقی کشف کردیم.”

طبق یک پست وبلاگی که با انتشار این مدل منتشر شد، «از طریق کاوش عمیق و آزمایش‌های بی‌شمار، ما چیز عمیقی را کشف کرده‌ایم: زم، که برای فکر ،، سؤال ، و اندیشیدن وقت داده می‌شود، درک مدل از ریاضیات و برنامه‌نویسی مانند یک گل به سمت شکوفه می‌شود. خورشید… این فرآیند انعکاس دقیق و پرسشگری منجر به پیشرفت های قابل توجهی در حل مشکلات پیچیده می شود.

این بسیار شبیه به چیزی است که ما در مورد نحوه عملکرد مدل های استنتاج می د،م. مدل‌ها با تولید نشانه‌های بیشتر و بررسی پاسخ‌های قبلی خود، احتمال بیشتری برای تصحیح خطاهای احتمالی دارند. Marco-o1، مدل تفکر دیگری که اخیرا توسط علی بابا راه اندازی شده است، ممکن است حاوی نکاتی در مورد نحوه عملکرد QwQ باشد. Marco-o1 از جستجوی درختی مونت کارلو (MCTS) و خود بازتابی زمان استنتاج برای تولید شاخه‌های مختلف استنتاج و انتخاب بهترین پاسخ‌ها استفاده می‌کند. این مدل بر روی ،یبی از مثال‌های زنجیره فکر (CoT) و داده‌های مصنوعی تولید شده با استفاده از الگوریتم‌های MCTS آموزش داده شد.

علی بابا اشاره می کند که QwQ هنوز با محدودیت هایی مانند مخلوط ، زبان ها یا گرفتار شدن در استدلال دایره ای روبرو است. این مدل برای دانلود در Hugging Face در دسترس است و نسخه نمایشی آن را می تو،د به صورت آنلاین در Hugging Face Spaces پیدا کنید.

عصر LLM جای خود را به LRM ها می دهد: مدل های استنتاج بزرگ

انتشار o1 باعث افزایش علاقه به ایجاد LRM شده است، اگرچه اطلاعات زیادی در مورد نحوه عملکرد این مدل در زیر هود به جز استفاده از اکتشافی زم، برای بهبود پاسخ‌های مدل وجود ندارد.

اکنون رقبای چینی زیادی برای o1 وجود دارد. آزمایشگاه هوش مصنوعی چینی DeepSeek اخیراً R1-Lite-Preview را منتشر کرده است، رقیب خود برای o1، که در حال حاضر تنها از طریق رابط چت آنلاین این شرکت در دسترس است. گفته می شود که R1-Lite-Preview در چندین معیار کلیدی از o1 بهتر عمل می کند.

مدل دیگری که اخیراً منتشر شده است LLaVA-o1 است که توسط محققان چندین دانشگاه در چین توسعه یافته است که مدل استنتاج بولی را به مدل‌های زبان بینایی منبع باز (VLM) می‌آورد.

تمرکز بر LRM ها در زمان عدم اطمینان در مورد آینده قو،ن اندازه گیری مدل صورت می گیرد. طبق گزارش‌ها، آزمایشگاه‌های هوش مصنوعی مانند OpenAI، Google DeepMind و Anthropic بازدهی کمتری از آموزش مدل‌های بزرگ‌تر دریافت می‌کنند. تولید مقادیر بیشتری از داده های آموزشی با کیفیت بالا به طور فزاینده ای دشوار می شود زیرا مدل ها قبلاً با تریلیون ها توکن جمع آوری شده از اینترنت آموزش داده شده اند.

در عین حال، متریک استنتاج زم، جایگزینی ارائه می‌کند که ممکن است پیشرفت بعدی را در بهبود قابلیت‌های مدل‌های هوش مصنوعی نسل بعدی ارائه دهد. گزارش‌هایی وجود دارد که OpenAI از o1 برای ایجاد داده‌های استدلال مصنوعی برای آموزش نسل بعدی دارندگان LLM استفاده می‌کند. راه‌اندازی مدل‌های آزاد فکر احتمالاً باعث پیشرفت می‌شود و عرصه را رقابتی‌تر می‌کند.