ممکن است پایان مقیاس پذیری هوش مصنوعی نزدیک نباشد: در ادامه مطلب آمده است

از آنجایی که سیستم های هوش مصنوعی در وظایف پیچیده تر به عملکردی دست یافته دست می یابند، صنعت با این موضوع دست و پنجه نرم می کند که آیا پارادایم های بزرگ تر امکان پذیر است یا اینکه نوآوری باید مسیر متفاوتی را طی کند.

رویکرد کلی برای توسعه مدل زبان بزرگ (LLM) این بوده است که بزرگتر بهتر است، و مقیاس عملکرد با داده های بیشتر و قدرت مح،اتی بیشتر است. با این حال، بحث های اخیر رسانه ها بر چگونگی نزدیک شدن دارندگان LLM به محدودیت های خود متمرکز شده اند. "آیا هوش مصنوعی به دیوار برخورد می کند؟" لبه او تعجب کرد در حالی که رویترز او گفت: "OpenAI و دیگران به دنبال راهی جدید برای هوش مصنوعی هوشمندتر هستند زیرا روش های فعلی با محدودیت هایی روبرو هستند."

نگر، این است که توسعه، که سال ها باعث پیشرفت شده است، ممکن است به نسل بعدی مدل ها گسترش نیابد. گزارش ها نشان می دهند که توسعه مدل های پیشگامانه مانند GPT-5، که مرزهای فعلی هوش مصنوعی را جابجا می کند، ممکن است با چالش هایی به دلیل کاهش عملکرد در طول دوره های پیش آموزشی مواجه شود. اطلاعات این چالش ها در OpenAI و گزارش شده است بلومبرگ من داستان های مشابهی را در گوگل و آنتروپیک پوشش دادم.

این مشکل به نگر، هایی منجر شده است که این سیستم ها ممکن است از قانون بازده کاهشی پیروی کنند - جایی که هر واحد اضافی ورودی به تدریج سودهای کمتری ایجاد می کند. همانطور که برنامه های LLM بزرگتر می شوند، هزینه های بدست آوردن داده های آموزشی با کیفیت بالا و زیرساخت های مقیاس بندی به طور چشمگیری افزایش می یابد و بازده بهبود عملکرد در مدل های جدید را کاهش می دهد. این چالش به دلیل در دسترس بودن محدود داده های جدید و با کیفیت بالا پیچیده تر می شود، زیرا بسیاری از اطلاعات در دسترس قبلاً در مجموعه داده های آموزشی موجود گنجانده شده اند.

این به م،ای پایان افزایش عملکرد برای هوش مصنوعی نیست. به سادگی به این م،ی است که برای حفظ پیشرفت، مهندسی بیشتری از طریق نوآوری در مهندسی مدل، تکنیک های بهینه سازی و استفاده از داده ها مورد نیاز است.

از قانون مور بیاموزید

الگوی مشابهی از کاهش بازده در صنعت نیمه هادی ها پدیدار شده است. برای دهه ها، صنعت از قانون مور سود می برد، که پیش بینی می کرد تعداد ترانزیستورها هر 18 تا 24 ماه دو برابر می شود، که منجر به پیشرفت های عظیم در عملکرد از طریق طراحی های کوچکتر و کارآمدتر می شود. این همچنین در نهایت منجر به کاهش بازدهی شد، از سال 2005 تا 2007 به دلیل مقیاس بندی Denard - این اصل که ترانزیستورهای کوچک شدن مصرف برق را نیز کاهش می دهد - که به حد خود رسیده است و به پیش بینی های مرگ قانون مور دامن می زند.

زم، که از سال 2012 تا 2022 برای AMD کار می کردم، به این مشکل نگاه دقیقی انداختم. این مشکل به این م،ی نیست که نیمه هادی ها - و در نتیجه پردازنده های رایانه - از دستیابی به بهبود عملکرد نسل به نسل جلوگیری می کنند. این بدان م،است که پیشرفت ها بیشتر از طراحی تراشه های کوچکتر، حافظه با پهنای باند بالاتر، سوئیچ های نوری، حافظه های پنهان بیشتر و معماری های مح،اتی تسریع شده به جای کاهش اندازه ترانزیستورها حاصل شده است.

مسیرهای جدید پیشرفت

پدیده های مشابه قبلاً با LLM های موجود مشاهده شده است. مدل های هوش مصنوعی چندوجهی مانند GPT-4o، Claude 3.5، و Gemini 1.5 قدرت یکپارچه سازی درک متن و تصویر را نشان داده اند، که امکان پیشرفت در کارهای پیچیده مانند تجزیه و تحلیل ویدیو و حاشیه نویسی تصویر زمینه را فراهم می کند. تنظیم بیشتر الگوریتم ها هم برای آموزش و هم برای استنتاج منجر به دستاوردهای بیشتر در عملکرد خواهد شد. فن آوری های عامل، که دارندگان مدرک LLM را قادر می سازد وظایف را به طور مستقل انجام دهند و به طور یکپارچه با سیستم های دیگر هماهنگ شوند، به زودی کاربردهای عملی خود را تا حد زیادی گسترش خواهند داد.

پیشرفت های پارادایم آینده ممکن است از یک یا چند طرح معماری ،یبی هوش مصنوعی حاصل شود که استدلال نمادین و شبکه های عصبی را ،یب می کند. در واقع، مدل استنتاج o1 OpenAI پتانسیل یکپارچه سازی مدل و مقیاس بندی عملکرد را نشان می دهد. اگرچه مح،ات کوانتومی اکنون از مرحله اولیه توسعه خود خارج شده است، اما نوید تسریع آموزش و استنتاج هوش مصنوعی را با پرداختن به تنگناهای مح،اتی فعلی دارد.

بعید است که دیوار گسترش درک شده به دستاوردهای آینده پایان دهد، زیرا جامعه تحقیقاتی هوش مصنوعی به طور مداوم مهارت خود را در غلبه بر چالش ها و رها ، قابلیت ها و پیشرفت های عملکردی جدید ثابت کرده است.

در واقع، همه قبول ندارند که دیوار توسعه وجود دارد. سام ،من، مدیر عامل OpenAI، در نظرات خود مختصر بود: "دیواری وجود ندارد."

او در "خاطرات مدیرعامل" صحبت می کند." پاد،ت، مدیر عامل سابق گوگل و یکی از نویسندگان پیدایش اریک اشمیت اساساً با ،من موافق بود و گفت که او فکر نمی کند دیواری برای گسترش وجود داشته باشد - حداقل برای پنج سال آینده دیواری وجود ندارد. "در پنج سال، شما دو یا سه چرخش دیگر از میل لنگ برای این دارندگان LLM خواهید داشت، به نظر می رسد که هر یک از این میل لنگ ها ضریب دو یا ضریب سه یا ضریب چهار است. بنابراین بیایید بگوییم که چرخاندن میل لنگ در همه این سیستم ها 50 یا 100 برابر قوی تر می شود."

نوآوران برجسته هوش مصنوعی نسبت به سرعت پیشرفت و همچنین پتانسیل روش شناسی های جدید خوش بین هستند. این خوش بینی در گفتگوی اخیر در «پاد،ت لنی» با کوین ویل، مدیر اجرایی OpenAI و مایک کریگر، مدیر ارشد اجرایی آنتروپیک، مشهود است.

در این بحث، کریگر توضیح داد که آنچه که OpenAI و Anthropic امروز روی آن کار می کنند «به نظر جادویی می آید»، اما اذعان کرد که تنها در 12 ماه، «به گذشته نگاه می کنیم و می گوییم، باورتان می شود که از آن ، ها استفاده کرده ایم؟... به همین سرعت در حال حرکت است (توسعه هوش مصنوعی).

درست است - احساس جادویی دارد، همانطور که اخیراً هنگام استفاده از حالت صوتی پیشرفته OpenAI احساس کردم. صحبت با Juniper کاملا طبیعی و روان بود و نشان می دهد که چگونه هوش مصنوعی برای درک و پاسخگویی با احساسات و تفاوت های ظریف در مکالمات زمان واقعی تکامل یافته است.

کریگر همچنین مدل مدرن o1 را مورد بحث قرار می دهد و از آن به ،وان «روشی جدید برای اندازه گیری هوش، و ما احساس می کنیم که در ابتدای راه هستیم» یاد می کند. او افزود: «مدل ها با سرعتی فزاینده هوشمندتر خواهند شد.

این پیشرفت های پیش بینی شده نشان می دهد که اگرچه روش های مقیاس بندی سنتی ممکن است در کوتاه مدت با کاهش بازدهی مواجه شوند یا نشوند، حوزه هوش مصنوعی آماده دستیابی به پیشرفت های مستمر از طریق روش شناسی های جدید و مهندسی خلاق است.

آیا اندازه گیری حتی مهم است؟

در حالی که بسیاری از گفتمان فعلی MBA تحت سلطه چالش های مقیاس بندی است، مطالعات اخیر نشان می دهد که مدل های فعلی واقعاً قادر به دستیابی به نتایج خارق العاده هستند و این سؤال تحریک آمیز را ایجاد می کند که آیا مقیاس بندی اهمیت دارد یا خیر.

یک مطالعه اخیر پیش بینی کرد که ChatGPT به پزشکان در تشخیص موارد پیچیده بیمار کمک می کند. این مطالعه با استفاده از نسخه اولیه GPT-4 انجام شد و قابلیت های تشخیصی ChatGPT با پزشکان با و بدون کمک هوش مصنوعی مقایسه شد. یک نتیجه شگفت انگیز نشان داد که ChatGPT به تنهایی به طور قابل توجهی از هر دو گروه، از جمله پزشک، که از دستیاران هوش مصنوعی استفاده می کنند، بهتر عمل کرده است. دلایل مختلفی برای این وجود دارد، از اینکه پزشکان نمی دانند چگونه از ربات به بهترین شکل استفاده کنند تا اعتقاد به اینکه دانش، تجربه و شهود آنها ذاتا برتر است.

این اولین مطالعه ای نیست که نشان می دهد روبات ها در مقایسه با حرفه ای ها به نتایج بهتری دست می یابند. VentureBeat در یک مطالعه در اوایل سال جاری گزارش داد که نشان داد LLMها می توانند تجزیه و تحلیل داده های مالی را با دقتی انجام دهند که رقیب و حتی فراتر از تحلیلگران حرفه ای است. همچنین با استفاده از GPT-4، هدف دیگر پیش بینی رشد درآمدهای آتی بود. GPT-4 به دقت 60 درصدی در پیش بینی روند سود آینده دست یافت که به طور قابل توجهی بالاتر از محدوده 53 تا 57 درصدی پیش بینی های تحلیلگران انس، بود.

شایان ذکر است که این دو نمونه بر اساس مدل های منسوخ شده هستند. این نتایج تأیید می کند که حتی بدون پیشرفت های جدید در مقیاس بندی، دارندگان مدرک کارشناسی ارشد فعلی واقعاً می توانند در کارهای پیچیده از متخصصان پیشی بگیرند و فرضیات را در مورد نیاز به ادامه مقیاس گذاری برای دستیابی به نتایج تأثیرگذار به چالش بکشند.

اندازه، مهارت یا هر دو

این مثال ها نشان می دهد که دارندگان مدرک کارشناسی ارشد فعلی واقعاً توانایی بالایی دارند، اما گسترش به تنهایی ممکن است تنها مسیر رو به جلو برای نوآوری آینده نباشد. اما با گسترش بیشتر احتمالی و سایر فناوری های نوظهور که نوید بهبود عملکرد را می دهند، خوش بینی اشمیت نشان دهنده سرعت سریع پیشرفت هوش مصنوعی است و نشان می دهد که تنها در پنج سال آینده، مدل ها می توانند به دایره المعارف ها تبدیل شوند و به سؤالات پیچیده در حوزه های مختلف پاسخ دهند.

چه از طریق مقیاس بندی، مهارت ها یا روش های کاملاً جدید، مرز بعدی هوش مصنوعی نوید تغییر نه تنها خود فناوری، بلکه نقش آن را در زندگی ما می دهد. چالش پیش رو این است که اطمینان حاصل شود که پیشرفت برای همه پاسخگو، عادلانه و تاثیرگذار باقی می ماند.

گری گروسمن، معاون اجرایی بخش فناوری ادلمن و رهبر جه، مرکز تعالی هوش مصنوعی ادلمن است.