یک نقص امنیتی مهم در پلتفرم عامل هوش مصنوعی Now Assist از شرکت ServiceNow شناسایی شده است؛ نقصی که هکرها می‌توانند از آن برای اجرای حملات Second-Order Prompt Injection استفاده کنند. این نوع حمله یکی از پیچیده‌ترین روش‌های سوءاستفاده از مدل‌های زبانی و عامل‌های هوش مصنوعی است و می‌تواند موجب اجرای رفتارهای ناخواسته، تغییر خودکار جریان‌های کاری سازمان و حتی نشت اطلاعات شود.

تزریق فرمان دوم‌مرتبه چیست و چگونه رخ می‌دهد؟

در تزریق فرمان کلاسیک، مهاجم یک دستور مخرب را مستقیم وارد مدل می‌کند.
اما در تزریق فرمان دوم‌مرتبه، دستور مخرب در مرحله‌ای دیگر و توسط بخشی دیگر از سیستم فعال می‌شود. این یعنی:

• مهاجم دستور را به‌صورت پنهان در داده‌های عمومی، تیکت‌ها یا پیام‌ها قرار می‌دهد.

• یک عامل هوش مصنوعی آن داده را می‌خواند و پردازش می‌کند.

• عامل دیگر که خروجی عامل قبلی را دریافت می‌کند، دستور مخفی‌شده را اجرا می‌کند.

این ساختار زنجیره‌ای موجب می‌شود حتی اگر ورودی اولیه پاک‌سازی یا فیلتر شده باشد، حمله در مرحله بعدی فعال شود. به همین دلیل، آن را خطرناک و سخت‌تشخیص می‌دانند.

چرا Now Assist آسیب‌پذیر شده؟

پلتفرم Now Assist شامل چندین عامل هوش مصنوعی است که در کنار هم فعالیت می‌کنند؛ مانند:

• عامل تحلیل تیکت‌ها

• عامل خلاصه‌ساز متون

• عامل پاسخ‌گوی خودکار

• عامل‌های پردازش عملیات IT

این Agentها خروجی یکدیگر را مصرف می‌کنند. درست همین تعامل داخلی، سطح حمله جدیدی ایجاد می‌کند. تنها کافی است مهاجم در یک تیکت یا فیلد متنی معمولی، یک دستور مخفی بنویسد تا عامل دوم آن را اجرا کند. در واقع، عامل‌ها می‌توانند یکدیگر را ناخواسته فعال کنند.

 پیامدهای خطرناک این آسیب‌پذیری

• ایجاد یا تغییر درخواست‌های IT به‌طور غیرواقعی

• تولید گزارش‌های جعلی

• استخراج اطلاعات حساس

• اجرای اقدامات خودکار بدون اجازه

• تغییر رفتار عامل‌های دیگر و ایجاد یک چرخه مخرب

• گمراه‌سازی کاربران و سیستم‌های مدیریتی

محققان هشدار داده‌اند که این نوع حملات در سیستم‌های سازمانی که چند Agent با هم کار می‌کنند، می‌تواند باعث رفتارهای زنجیره‌ای بسیار خطرناک شود.

  درمان و پیشگیری

• استفاده از فیلترهای چندمرحله‌ای برای پاک‌سازی داده‌ها

• محدود کردن دسترسی Agentها به خروجی یکدیگر

• نظارت بر رفتارهای غیرعادی مدل‌ها

• جداسازی محیط اجرا برای هر عامل (Isolation)

• بازبینی دقیق از جریان‌های کاری خودکار

ServiceNow اعلام کرده که در حال انتشار اصلاحات امنیتی و تقویت سازوکارهای محافظتی در Now Assist است.