سازنده مدل Reflection 70B سکوت خود را در میان اتهامات کلاهبرداری می شکند.

مت شومر، یکی از بنیانگذاران و مدیرعامل OthersideAI، که به ،وان محصول دستیار نوشتن هوش مصنوعی HyperWrite نیز شناخته می شود، پس از متهم شدن به کلاهبرداری زم، که محققان شخص ثالث قادر به تکرار عملکرد ظاهراً بالاتر یک زبان بزرگ جدید نبودند، سکوت تقریباً دو روزه خود را ش،ت. مدل (LLM) او در روز پنجشنبه 5 سپتامبر منتشر شد.

شومر از طریق حساب کاربری خود در شبکه اجتماعی “X” عذرخواهی کرد و گفت که او “پیشگیری از رویدادها” داشته است و افزود: “می دانم که بسیاری از شما از احتمال وقوع این اتفاق هیجان زده هستید، اما اکنون آنها شک دارند.”

با این حال، آ،ین اظهارات او به طور کامل توضیح نمی دهد که چرا مدل Reflection 70B او، که به ادعای او نسخه ای از Llama 3.1 متا است که با استفاده از پلتفرم تولید داده مصنوعی Glaive AI آموزش دیده است، آنطور که در ابتدا در تمام تست های مستقل بعدی بیان شده بود، عمل نکرد. شومر همچنین به طور مشخص توضیح نداد که چه چیزی اشتباه بوده است. در اینجا یک ج، زم، وجود دارد:

پنجشنبه، 5 سپتامبر 2024: ادعاهای اولیه با عملکرد بالا برای Reflection 70B در مورد معیارهای عملکرد

در صورتی که فقط دنبال می‌کردید، هفته گذشته، شومر Reflection 70B را در جامعه هوش مصنوعی متن‌باز Hugging Face منتشر کرد و در پستی در X آن را «بهترین مدل منبع باز در جهان» نامید و نموداری از گفته‌هایش منتشر کرد. نتایج اخیر او در مورد معیارهای شخص ثالث بود.

شومر ادعا کرد که عملکرد شگفت‌انگیز با استفاده از تکنیکی به نام «تنظیم بازتاب» به دست آمده است، که به مدل اجازه می‌دهد تا پاسخ‌های خود را ارزیابی و اصلاح کند تا از صحت آن‌ها قبل از ارسال آن به کاربران اطمینان حاصل کند.

VentureBeat با شومر مصاحبه کرد و معیارهای او را همانطور که ارائه شد پذیرفت و آنها را به او نسبت داد، زیرا ما نه زمان و نه منابع لازم برای انجام معیارهای مستقل خود را داریم – و ا،ر ارائه دهندگان مدلی که تاکنون پوشش داده ایم صادق بوده اند.

جمعه، 6 سپتامبر – دوشنبه، 9 سپتامبر: ارزیابی های شخص ثالث در بازتولید نتایج چشمگیر Reflection 70B ش،ت خورده است – شومر متهم به کلاهبرداری است.

اما چند روز پس از ظاهر شدن آن، در آ، هفته گذشته، کارشناسان مستقل شخص ثالث و اعضای جامعه AI منبع باز پست هایی را در Reddit و Hacker News شروع ،د و عملکرد مدل را زیر سوال بردند و خودشان نتوانستند آن را تکرار کنند. برخی از آنها حتی پاسخ‌ها و داده‌هایی پیدا ،د که نشان می‌دهد فرم مربوط به – شاید فقط یک جلد نازک است – اشاره‌ای به فرم غزل کلود 3.5 از Anthropic.

انتقادات پس از آن که Artificial Analysis، یک سازمان مستقل ارزیابی هوش مصنوعی، در X منتشر کرد مبنی بر اینکه تست‌های Reflection 70B امتیازات بسیار کمتری نسبت به آنچه HyperWrite در ابتدا ادعا می‌کرد، داده است، افزایش یافت.

شومر همچنین در حال سرمایه‌گذاری در Glaive است، یک استارت‌آپ هوش مصنوعی، که به گفته او از داده‌های مصنوعی آن برای آموزش مدل استفاده کرده است و زم، که Reflection 70B منتشر شد، آن‌ها را فاش نکرد.

شومر این ناهماهنگی ها را ناشی از مشکلاتی بود که در طول فرآیند آپلود مدل در Hugging Face وجود داشت و قول داد که وزن مدل را در هفته گذشته اصلاح کند، اما هنوز این کار را انجام نداده است.

یکی از کاربران X، Shin Megami Bossun، در روز یکشنبه، 8 سپتامبر، علناً شومر را به “کلاهبرداری در جامعه تحقیقاتی هوش مصنوعی” متهم کرد. شومر مستقیماً به این اتهام پاسخ نداد.

پس از ارسال و بازنشر مختلف

علاوه بر این، محققان هوش مصنوعی، مانند جیم فن انویدیا، اشاره کرده‌اند که آموزش مدل‌های کمتر قدرتمند (کمتر پارامتر یا پیچیده) برای عملکرد خوب در معیارهای شخص ثالث آسان‌تر است.

سه شنبه، 10 سپتامبر: شومر پاسخ می دهد، عذرخواهی می کند – اما اختلافات را توضیح نمی دهد

شومر سرانجام امشب در ساعت 5:30 عصر به وقت شرقی بی،ه ای در تاریخ X صادر کرد و در آن عذرخواهی کرد و در بخشی از آن اظهار داشت: “ما تیمی داریم که خستگی ناپذیر کار می کند تا بفهمد چه اتفاقی افتاده است و تعیین خواهیم کرد که چگونه به جلو برویم. وقتی همه حقایق را بدست آوریم، به شفافیت با جامعه در مورد اتفاقات و مراحل بعدی ادامه خواهیم داد. “

شومر همچنین به پست X دیگری که توسط Sahil Chaudhary، بنیانگذار Glaive AI نوشته شده است، اشاره کرد، پلتفرمی که شومر قبلاً ادعا کرده بود برای ایجاد داده های مصنوعی برای آموزش Reflection 70B استفاده شده است.

جالب اینجاست که در پست Chaudhary اشاره شده است که برخی از پاسخ‌های Reflection 70B که می‌گویند این یک کپی از کلود از Anthropic است نیز برای او یک راز باقی مانده است. او همچنین اعتراف کرد که “نتایج معیارهایی که من با مت به اشتراک گذاشتم هنوز قابل تکرار نبوده است.” پست کامل او را در زیر بخو،د:

اما پاسخ‌های شومر و چادری برای آرام ، شک‌ها و منتقدان، از جمله یوچون جین، یکی از بنیان‌گذاران و مدیر ارشد فناوری Hyperbolic Labs، ارائه‌دهنده خدمات هوش مصنوعی ابری منبع باز، کافی نبود.

جن یک پست طول، در .

او همچنین به بی،ه شومر با پاسخ به آنچه اتفاق افتاد (به خصوص اینکه چرا API شما عملکرد بسیار بهتری دارد) پاسخ داد.

مگامی بوسون، در میان بسیاری دیگر، تا دیشب نسبت به نسخه شومر و چودری از وقایع متقاعد نشد و این حماسه را یکی از اشتباهات مرموز و هنوز توضیح ناپذیری توصیف کرد که از شور و شوق به وجود آمد.

او در X پست کرد و یک سری سوالات را دنبال کرد: “تا آنجا که من می توانم بگویم، یا شما دروغ می گویید، مت شومر دروغ می گوید، یا البته هر دوی شما.” به همین ترتیب، Subreddit محلی Llama ادعاهای شومر را باور نمی کند: