مسابقه تسلیحاتی فناوری جدید: نبرد میلیارد دلاری برای ساختن هوش مصنوعی

در طول آزمایش، به نظر می‌رسد که مدل زبان بزرگ (LLM) که اخیراً منتشر شده است، تشخیص می‌دهد که در حال ارزیابی است و در مورد اهمیت اطلاعاتی که پردازش می‌کند، اظهار نظر می‌کند. این منجر به این گمانه‌زنی شده است که این پاسخ می‌تواند نمونه‌ای از فراشناخت باشد، که درک فرآیندهای فکری خود فرد است. در حالی که مطالعه اخیر LLM بحث هایی را در مورد پتانسیل هوش مصنوعی برای خودآگاهی به راه انداخته است، داستان واقعی قدرت محض این مدل است که نمونه ای از قابلیت های جدید را ارائه می دهد که با افزایش اندازه LLM رخ می دهد.

و همانطور که آنها انجام می دهند، توانایی ها و هزینه های در حال ظهور نیز افزایش می یابد و اکنون به اعداد نجومی می رسد. درست همانطور که صنعت نیمه هادی در اطراف تعداد انگشت شماری از شرکت ها ادغام شده است که قادر به ،ید کارخانه های پیشرفته تولید تراشه های چند میلیارد دلاری هستند، حوزه هوش مصنوعی ممکن است به زودی تنها تحت سلطه بزرگترین غول های فناوری – و شرکای آنها – قرار گیرد. برای پرداخت صورت حساب پیشرفته ترین مدل های پایه LLM مانند GPT-4 و Claude 3 را توسعه داد.

هزینه آموزش این مدل‌های جدیدتر که دارای قابلیت‌هایی هستند که با عملکرد انسان مطابقت دارند و در برخی موارد فراتر از آن هستند، به طور تصاعدی در حال افزایش است. در واقع، هزینه های آموزشی مرتبط با آ،ین مدل ها به 200 میلیون دلار نزدیک می شود که تهدیدی برای تغییر چشم انداز صنعت است.

اگر این رشد تصاعدی در عملکرد ادامه یابد، نه تنها قابلیت‌های هوش مصنوعی به سرعت پیشرفت خواهند کرد، بلکه هزینه‌های هنگفتی نیز توسعه خواهند یافت. Anthropic یکی از پیشروها در ساخت مدل های زبان و چت بات ها است. حداقل تا جایی که نتایج تست معیار پیش می رود، پرچمدار کلود 3 مسلماً رهبر فعلی در عملکرد است. مانند GPT-4، این یک مدل پایه است که از قبل بر روی داده های مختلف آموزش دیده است تا درک وسیعی از زبان، مفاهیم و ال،ا ایجاد کند.

Dario Amodei یکی از بنیانگذاران و مدیر عامل شرکت اخیراً در مورد هزینه های آموزش این مدل ها صحبت کرده و آموزش Cloud 3 را حدود 100 میلیون دلار ،ن زده است. وی افزود که مدل هایی که اکنون تحت آموزش هستند و در اوا، سال 2024 یا اوایل سال 2025 به بازار عرضه خواهند شد “هزینه آنها به یک میلیارد دلار نزدیک تر است.”

برای درک دلیل این هزینه های بالا، باید به پیچیدگی روزافزون این مدل ها نگاه کنیم. هر نسل جدید شامل تعداد بیشتری از پارامترها است که درک و اجرای پرس و جو پیچیده تر، داده های آموزشی بیشتر و مقادیر بیشتری از منابع مح،اتی مورد نیاز را ممکن می سازد. در سال 2025 یا 2026، آمودی بر این باور است که آموزش جدیدترین مدل ها بین 5 تا 10 میلیارد دلار هزینه خواهد داشت. این امر به جز بزرگترین شرکت ها و شرکای آنها از ایجاد این برنامه های پایه LLM جلوگیری می کند.

هوش مصنوعی صنعت نیمه هادی ها را ردیابی می کند

به این ترتیب صنعت هوش مصنوعی مسیر مشابهی را در صنعت نیمه هادی ها دنبال می کند. در اوا، قرن بیستم، ا،ر شرکت های نیمه هادی تراشه های خود را طراحی و ساختند. همانطور که صنعت از قانون مور پیروی می کرد – مفهومی که نرخ تصاعدی بهبود عملکرد تراشه را توصیف می کرد – هزینه های هر نسل جدید تج،ات و کارخانه های تولید برای تولید نیمه هادی ها به طور متن، افزایش یافت.

در نتیجه، بسیاری از شرکت‌ها در نهایت تصمیم می‌گیرند که تولید محصولات خود را برون‌سپاری کنند. AMD مثال خوبی است. این شرکت نیمه هادی های پیشرو خود را تولید می کرد، اما در سال 2008 تصمیم گرفت برای کاهش هزینه ها، کارخانه های تولیدی خود را که به ،وان fabs نیز شناخته می شوند، منحل کند.

به دلیل هزینه‌های سرمایه‌ای لازم، امروزه تنها سه شرکت نیمه‌رسانا وجود دارند که با استفاده از آ،ین فناوری‌های نود پردازش، در حال ساخت فابریک‌های مدرن هستند: TSMC، Intel و Samsung. TSMC اخیرا گفته است که ساخت یک کارخانه جدید برای تولید نیمه هادی های مدرن حدود 20 میلیارد دلار هزینه دارد. بسیاری از شرکت ها از جمله اپل، انویدیا، کوالکام و AMD، تولید محصولات خود را به این تولیدکنندگان برون سپاری می کنند.

مفاهیم هوش مصنوعی – LLM و SLM

تأثیر این افزایش هزینه ها در چشم انداز هوش مصنوعی متفاوت است، زیرا هر برنامه ای به جدیدترین و بهترین MBA نیاز ندارد. این در مورد نیمه هادی ها نیز صادق است. به ،وان مثال، واحد پردازش مرکزی کامپیوتر (CPU) اغلب با استفاده از آ،ین فناوری نیمه هادی پیشرفته تولید می شود. با این حال، آنها توسط تراشه های حافظه یا شبکه دیگری احاطه شده اند که با سرعت کمتری کار می کنند، به این م،ی که نیازی به ساخت سریع ترین یا قوی ترین فناوری ندارند.

قیاس هوش مصنوعی در اینجا بسیاری از جایگزین‌های کوچک‌تر LLM است که ظاهر شده‌اند، مانند Mistral و Llama3 که چندین میلیارد پارامتر را به جای تریلیون‌ها که تصور می‌شود بخشی از GPT-4 هستند، ارائه می‌دهند. مایکروسافت اخیراً مدل زبان کوچک خود (SLM)، Phi-3 را منتشر کرده است. همانطور که توسط The Verge گزارش شده است، دارای 3.8 میلیارد پارامتر است و بر روی یک مجموعه داده نسبتا کوچکتر آموزش داده شده است. LLM مانند GPT-4.

اندازه کوچکتر و مجموعه داده آموزشی کمک می کند تا هزینه ها را کنترل کند، اگرچه ممکن است عملکردی مشابه مدل های بزرگتر نداشته باشد. به این ترتیب، این SLM ها بسیار شبیه به تراشه های موجود در یک کامپیوتر هستند که از واحد پردازش مرکزی (CPU) پشتیب، می کنند.

با این حال، مدل‌های کوچک‌تر ممکن است برای برخی از برنامه‌ها من، باشند، به‌ویژه آن‌هایی که نیازی به دانش کامل در حوزه‌های داده چندگانه ندارند. به ،وان مثال، SLM را می توان برای تنظیم دقیق داده ها و اصطلاحات خاص شرکت برای ارائه پاسخ های دقیق و شخصی به سؤالات مشتری استفاده کرد. یا می توان فرد را با استفاده از داده های خاص یک بخش یا بخش بازار خاص آموزش داد یا برای ایجاد گزارش های تحقیقاتی جامع و متن، و پاسخ به سؤالات استفاده کرد.

همانطور که Rowan Curran، یک تحلیلگر ارشد هوش مصنوعی در Forrester Research، اخیراً در مورد گزینه‌های مختلف مدل‌های زب، گفت: «شما همیشه به یک خودروی اسپرت نیاز ندارید دسته بندی گسترده ای از مدل ها که همه در همه موارد استفاده می کنند.

چند بازیکن خطر اضافه می کنند

همانطور که افزایش هزینه ها از نظر تاریخی تعداد شرکت هایی را که قادر به ساخت نیمه هادی های پیشرفته هستند محدود کرده است، فشارهای اقتصادی مشابه اکنون چشم انداز توسعه مدل زب، بزرگ را شکل می دهد. این هزینه های فزاینده تهدید می کند که نوآوری هوش مصنوعی را به چند بازیگر مسلط محدود می کند و به طور بالقوه راه حل های خلاقانه گسترده تر را خفه می کند و تنوع را در این زمینه محدود می کند. موانع زیاد برای ورود می تواند مانع از مشارکت استارت آپ ها و شرکت های کوچک در توسعه هوش مصنوعی شود و در نتیجه دامنه ایده ها و برنامه ها را محدود کند.

برای جبران این روند، صنعت باید از مدل‌های زب، کوچک‌تر و تخصصی پشتیب، کند که مانند اجزای اصلی در یک سیستم گسترده‌تر، قابلیت‌های مهم و قدرتمندی را برای برنامه‌های تخصصی مختلف ارائه می‌کنند. تقویت پروژه‌های منبع باز و تلاش‌های مش، برای دموکراسی‌سازی توسعه هوش مصنوعی، و قادر ساختن طیف وسیع‌تری از شرکت‌کنندگان برای تأثیرگذاری بر این فناوری پیشرفته بسیار مهم است. با ایجاد محیطی فراگیر در حال حاضر، می‌تو،م اطمینان حاصل کنیم که آینده هوش مصنوعی منافع را در جوامع جه، به حدا،ر می‌رساند که مشخصه آن دسترسی گسترده و فرصت‌های عادلانه برای نوآوری است.

گری گروسمن، معاون اجرایی بخش فناوری ادلمن و رهبر جه، مرکز تعالی هوش مصنوعی ادلمن است.