هوش مصنوعی Github Copilot آزمایش را قرار داده است - ممکن است در نوشتن کد وحشتناک باشد

چیزی که من پیدا می کنم در مورد تست های برنامه نویسی که من انجام می دادم گیج کننده تر است این است که ابزارهای مبتنی بر همان مدل زبان عالی تمایل به انجام کاملاً متفاوت دارند.

همچنین: بهترین سازمان برنامه نویسی بین المللی عفو در سال 2025 (و آنچه نباید استفاده شود)

به ،وان مثال ، ChatGPT ، Perplexity و GitHub Copilot مبتنی بر OpenAI GPTHP-4 است. با این حال ، همانطور که من در زیر به شما نشان خواهم داد ، در حالی که برنامه های Chatgpt و Perplexity Pro به روشی عالی اجرا می شدند ، Github Copilot به همان اندازه که موفق شد ش،ت خورد.

GitHub Copilot در کد VS آزمایش شده است. من نحوه تهیه آن و استفاده از GitHub Copilot را در مقاله ای با مرحله -مرحله توضیح خواهم داد. اما ابتدا ، بیایید از طریق تست ها اجرا کنیم.

اگر می خواهید بد،د که چگونه آزمایش و ادعای هر آزمایش فردی را انجام دهید ، از خواندن نحوه آزمایش ظرفیت کدگذاری AI Chatbot دریغ نکنید.

tl ؛ DR: Github Copilot دو و دو ش،ت خورده است.

آزمون 1: نوشتن برنامه وردپرس

بنابراین ، این ش،ت. این اولین آزمایش من بود ، بنابراین نمی توانم بدانم که آیا GitHub Copilot در نوشتن کد وحشتناک است یا اینکه آیا زمینه ای که او با آن تعامل دارد با آن در تعامل است تا حدی که او نتواند این تقاضا را برآورده کند.

بگذارید توضیح دهم

این آزمون شامل یک ادعای هوش مصنوعی برای ایجاد یک مؤلفه اضافی وردپرس است که با ظرفیت کامل کار می کند ، با ،اصر رابط کاربری و منطق عملیاتی. این ماده اضافی را در مجموعه ای از نام ها می گیرد ، آنها را مرتب می کند ، و در صورت تکرار ، تکرارها را از هم جدا می کند تا در کنار هم نباشند.

همچنین: من Deepseek R1 و V3 را تجربه کرده ام - و همه ما اداره نشده ایم (تاکنون)

این یک برنامه واقعی بود که همسرم به ،وان بخشی از دستگاه اشتراک گذاری که شما در یک گروه بسیار فعال فیس بوک به ،وان بخشی از تجارت الکترونیکی کالاهای دیجیتال به کار می برد ، به آن نیاز داشت.

بیشتر AIS دیگر این آزمایش را حداقل تا حدی گذراندند. پنج مدل آزمایش شده آزمایش شده آزمایش کاملاً گذرانده اند. سه نفر از آنها بخشی از آزمون را پشت سر گذاشتند. دو (از جمله Microsoft Copilot) به طور کامل ش،ت خوردند.

نکته ، من به GitHub Copilot همان روتر که من به آن می دهم داده ام ، اما فقط کد PHP را نوشت. برای روشن شدن ، این مشکل فقط با استفاده از کد PHP قابل حل است. اما برخی از AIS می خواهند برخی از جاوا اسکریپت از ویژگی های تعاملی را در بر بگیرند. Github Copilot شامل نمادی از استفاده از JavaScript اما JavaScript متولد نشده است که او سعی در استفاده از آن داشت.

بدتر ، وقتی پرونده JavaScript را ایجاد کردم و از داخل پرونده JavaScript ، سعی کنید GitHub Copilot را برای اجرای این ادعا بدست آورم ، متن PHP دیگری را به من داد ، که به پرونده JavaScript نیز اشاره داشت.

همانطور که در زیر مشاهده می کنید ، در پرونده Randomizer.js ، من سعی کردم (اساساً اجرا کنید) پرونده Randomizer.js ، نمادی که توسط PHP نوشته شده است ، نه JavaScript.

آزمون 2: نوشتن مجدد عملکرد سری

این تست تا حدودی ساده است. من شغلی نوشتم که قرار بود به دلار و سنت آزمایش شود ، اما فقط آزمون شماره (دلار) را به پایان رساند. این آزمون برای ترمیم نماد از عفو بین المللی درخواست می کند.

Github Copilot کد را اصلاح کرده است ، اما مجموعه ای از مشکلات در کدی که شما تولید کرده اید وجود دارد.

• فرض کنید ارزش این سریال همیشه ارزش یک زنجیره بوده است. اگر خالی باشد ، نماد را می شکند.
• اگر یک نقطه اعشاری (ی،ی 3. 3) وارد شود ، اگر یک نقطه اعشاری پیشگام (ی،ی 3 ") وارد شود ، یا اگر صفر های پیشرو (ی،ی" 00.30 ") وارد شوند ، کد بیان منظم اصلاح شده درج شده است.

برای چیزی که قرار بود آزمایش کند که آیا ارز به درستی وارد شده است ، عدم موفقیت نمادی که در موارد لبه مختل می شود غیرقابل قبول است.

بنابراین ، ما یک ش،ت دیگر داریم.

آزمون 3: یک اشتباه آزار دهنده پیدا کنید

GayTap Coplut این حق را گرفت. این آزمایش دیگری است که از فرار رمزگذاری واقعی من خارج شده است. آنچه این خطا را بسیار آزار دهنده (و کشف آن دشوار کرده است) این است که پیام خطا به طور مستقیم با مشکل واقعی مرتبط نیست.

همچنین: Deepseek AI در آزمون قرار گرفت - اینجا جایی است که فرو ریخت

خطا نوعی کشیش معادل سوال این ترفند است. راه حل آن نیاز به درک چگونگی تماس با API مشخص شده در چارچوب وردپرس دارد و سپس این دانش را در خطاهای مربوطه اعمال می کند.

Microsoft Copilot ، Gemini و Meta Code Llama در این تست ش،ت خوردند. اما GitHub Copilot به درستی آن را حل می کند.

آزمون 4: نوشتن متن

در اینجا ، GitHub Copilot موفق شد جایی که Microsoft Copilot ش،ت خورد. چالش در اینجا این است که من توانایی هوش مصنوعی را برای ایجاد یک برنامه متنی که برای برنامه نویسی در AppleScript ، مدل شی Chrome و تنها ابزار برنامه نویسی MAC به نام صفحه کلید Maestro شناخته شده است ، آزمایش می کنم.

همچنین: X Grok در تست های برنامه نویسی هوش مصنوعی کار خوبی را با روشی شگفت انگیز انجام داد

برای گذراندن این آزمایش ، هوش مصنوعی باید بتواند درک کند که سه محیط کدگذاری نیاز به توجه دارند و سپس خطوط نماد فردی را برای هر یک از این محیط ها سفارشی می کنند.

ایده های نهایی

با توجه به اینکه GitHub Copilot از GPT-4 استفاده می کند ، این واقعیت را می دانم که در نیمی از تست هایی که تشویق می شود ، ش،ت خورده است. GitHub فقط محبوب ترین محیط مدیریت منبع در کره زمین است و امیدوار است که پشتیب، از برنامه نویسی هوش مصنوعی معقول باشد.

مانند همه چیز ، من مطمئن هستم که عملکرد بهبود می یابد. بیایید به کنترل آن ادامه دهیم و طی چند ماه دوباره بررسی کنیم تا ببینیم آیا هوش مصنوعی در آن زمان مؤثرتر است یا خیر.

آیا از هوش مصنوعی برای کمک به برنامه نویسی استفاده می کنید؟ هوش مصنوعی ترجیح می دهد؟ آیا Gitap Cubelot را امتحان کرده اید؟ در نظرات زیر به ما بگویید.

می تو،د به روزرس، های روزانه پروژه من را در رسانه های اجتماعی دنبال کنید. حتماً در خبرنامه هفتگی من مش، شوید و مرا در توییتر/X دنبال کنید دوجداز، در facebook.com/davidgewartz ، در اینستاگرام در اینستاگرام. com/davidgewartz ، در Bluesky on @davidgewartz.com ، و در YouTube در youtube.com/davidgewartztv.