Anthropic به توانایی هوش مصنوعی برای "اتوماتیک کردن حملات سایبری ویرانگر" اشاره می کند.

Anthropic، سازنده مدل های زبان بزرگ خانواده کلود، این هفته سیاست های خود را در مورد کنترل های یکپارچگی نرم افزار خود به روزرس، کرد تا آنچه را که می گوید پتانسیل بازیگران م،ب برای سوء استفاده از مدل های هوش مصنوعی برای خودکارسازی حملات سایبری است، منع، کند.

سند PDF، که جزئیات «سیاست توسعه مسئولانه» شرکت را نشان می دهد، چندین تغییر رویه ای را بیان می کند که می گوید برای نظارت بر خطرات مداوم سوءاستفاده از مدل های هوش مصنوعی ضروری است. این شامل چندین سطح از خطر تشدید شده است که به ،وان استانداردهای سطح امنیت هوش مصنوعی (ASL) شناخته می شود که به ،وان "تدابیر حفاظتی فنی و عملیاتی" تعریف می شود.

همچنین: کاربران جیمیل، مراقب یک کلاهبرداری جدید هوش مصنوعی باشید که بسیار اصلی به نظر می رسد

به ،وان بخشی از "آزمایش معمول" این شرکت از مدل های هوش مصنوعی برای ایمنی - معروف به "ارزیابی توانایی" - Anthropic گزارش داد که قابلیتی را کشف کرده است که "نیاز به بررسی قابل توجهی دارد و ممکن است به حفاظت های قوی تر نیاز داشته باشد."

این قابلیت به ،وان یک تهدید در عملیات سایبری توصیف می شود: «توانایی تقویت یا خودکار ، حملات سایبری بسیار پیچیده، شامل کشف زنجیره های بهره برداری روز صفر جدید، توسعه ب،زارهای پیچیده، یا هماهنگ ، شبکه ای در مقیاس بزرگ که دشوار است. تشخیص ". مداخلات.»

این گزارش اقداماتی را که برای بررسی مداوم این موضوع انجام خواهد شد را تشریح می کند:

این شامل تعامل با کارشناسان در عملیات سایبری برای ارزیابی قابلیت های مدل های مرزی برای تقویت و کاهش تهدیدات سایبری و در نظر گرفتن اجرای کنترل های دسترسی سطحی یا استقرار مرحله ای مدل هایی با قابلیت های سایبری پیشرفته است آزمایش، از جمله ارزیابی های تخصصی، ما هر گونه نتیجه قابل توجهی را در کنار گزارش های توانایی خود ثبت خواهیم کرد.

در حال حاضر، تمام مدل های هوش مصنوعی Anthropic باید ا،امات ASL "سطح 2" را برآورده کنند. این سطح "نیازمند یک سیستم امنیتی است که به طور بالقوه بتواند ا،ر مهاجمان فرصت طلب را خنثی کند و شامل بررسی های امنیتی فروشندگان و فروشندگان، اقدامات امنیتی فیزیکی و استفاده از اصول طراحی ایمن است."

سیاست های به روزرس، شده را می توان بخشی از تلاش Anthropic و OpenAI برای اعمال محدودیت های داوطلبانه بر هوش مصنوعی در بحبوحه بحث در مورد آنچه باید یا نباید برای تنظیم فناوری های هوش مصنوعی انجام داد، در نظر گرفت. در ماه آگوست، این شرکت و OpenAI با مؤسسه ایمنی هوش مصنوعی ایالات متحده در مؤسسه ملی استاندارد و فناوری و، بازرگ، ایالات متحده (NIST) برای همکاری در تحقیقات، آزمایش و ارزیابی هوش مصنوعی به توافق رسیدند.

همچنین: آیا فکر می کنید هوش مصنوعی می تواند تمام مشکلات تجاری شما را حل کند؟ مطالعه جدید اپل خلاف این را نشان می دهد

ایده هوش مصنوعی برای خودکارسازی حملات سایبری مدتی است که مطرح شده است. Check Point Software Technologies، یک شرکت فایروال، سال گذشته هشدار داد که بازیگران ،تی روسیه در تلاش برای هک ChatGPT OpenAI هستند تا حملات فیشینگ را خودکار کنند.

CrowdStrike، فروشنده نرم افزار امنیتی Endpoint، تابستان امسال گزارش داد که هوش مصنوعی مولد در برابر طیف گسترده ای از اعلان های سفارشی آسیب پذیر است که می تواند نرده های محافظ نرم افزار را بشکند.