مراقب این فریب هوش مصنوعی باشید/ فایل‌ PNG؛ سلاح جدید هکرها

پژوهشگران امنیت سایبری از شیوه‌ای جدید برای اجرای حملات «Prompt Injection» رونمایی کرده‌اند که در آن، دستورات مخرب داخل فایل‌های تصویری PNG پنهان می‌شوند. این روش می‌تواند برخی مدل‌های هوش مصنوعی را وادار کند برخلاف دستورالعمل‌های اصلی خود عمل کنند و اطلاعات یا رفتارهای ناخواسته‌ای از خود نشان دهند.

در این روش، مهاجم دستورهای مخرب را به‌گونه‌ای در فایل PNG قرار می‌دهد که برای کاربران عادی قابل مشاهده نیست؛ اما سامانه‌های هوش مصنوعی یا ابزارهایی که تصویر را پردازش می‌کنند، ممکن است این اطلاعات را شناسایی و به‌عنوان بخشی از ورودی خود تفسیر کنند.

هدف حملات Prompt Injection چیست؟

حملات Prompt Injection با هدف تغییر رفتار مدل‌های هوش مصنوعی انجام می‌شوند. در این حملات، مهاجم تلاش می‌کند دستورهای اولیه یا محدودیت‌های تعیین‌شده برای مدل را دور بزند و آن را به اجرای فرمان‌هایی وادار کند که نباید انجام دهد. این موضوع به‌ویژه برای دستیارهای هوشمند، عامل‌های هوش مصنوعی (AI Agents) و سامانه‌هایی که به منابع مختلف متصل هستند، اهمیت بالایی دارد.

چرا این روش اهمیت دارد؟

استفاده از فایل‌های تصویری به‌عنوان بستر حمله، نشان می‌دهد تهدیدهای امنیتی هوش مصنوعی تنها به متن محدود نیستند. با گسترش مدل‌های چندوجهی (Multimodal)، مهاجمان می‌توانند از تصاویر، فایل‌ها و سایر داده‌های ورودی نیز برای اجرای حملات استفاده کنند؛ مسئله‌ای که چالش‌های امنیتی تازه‌ای برای توسعه‌دهندگان ایجاد کرده است.

راهکارهای مقابله

کارشناسان توصیه می‌کنند توسعه‌دهندگان، تمام داده‌های ورودی—including تصاویر و فایل‌های چندرسانه‌ای—را پیش از پردازش بررسی و اعتبارسنجی کنند. همچنین استفاده از مکانیزم‌های تشخیص Prompt Injection و محدود کردن دسترسی مدل‌های هوش مصنوعی به منابع حساس، می‌تواند خطر موفقیت این حملات را کاهش دهد.

کشف این روش جدید نشان می‌دهد با پیشرفته‌تر شدن مدل‌های هوش مصنوعی، شیوه‌های حمله نیز پیچیده‌تر می‌شوند. به همین دلیل، افزایش لایه‌های امنیتی و طراحی سامانه‌هایی که در برابر ورودی‌های مخرب مقاوم باشند، بیش از گذشته اهمیت پیدا کرده است.

 

منبع: دیجیاتو
آیا این خبر مفید بود؟

نتیجه بر اساس رای موافق و رای مخالف

ارسال به دیگران :

نظر شما