تحلیل تازه‌ای از Business Continuity Institute نشان می‌دهد که نحوه‌ی «خراب شدن» سیستم‌های هوش مصنوعی با آنچه در فناوری‌های سنتی تجربه کرده‌ایم کاملاً متفاوت است. به گفته‌ی متخصصان، هوش مصنوعی لزوماً خاموش نمی‌شود یا هشدار مشخصی نمی‌دهد؛ بلکه در بسیاری از مواقع به‌تدریج دچار انحراف عملکردی می‌شود و تصمیماتی تولید می‌کند که ظاهرشان طبیعی است اما در عمق، اشتباه، ناعادلانه یا حتی خطرناک‌اند.

این گزارش که در وب‌سایت رسمی Business Continuity Institute منتشر شده، توضیح می‌دهد که مدل‌های هوش مصنوعی ممکن است بدون آن‌که مشکلی در زیرساخت دیده شود، به دلیل تغییرات محیطی یا کیفیت داده‌ها، از هدف اصلی خود فاصله بگیرند. این وضعیت به‌ویژه برای سازمان‌هایی که از هوش مصنوعی در امور مالی، تحلیل ریسک، امنیت یا تصمیم‌گیری‌های اجرایی استفاده می‌کنند، می‌تواند تبعات جدی ایجاد کند.

ضرورت بازنگری در تحلیل تأثیر کسب‌وکار (BIA)

در بخش دیگری از گزارش آمده است که رویکردهای سنتی مدیریت بحران دیگر کافی نیستند. به‌جای تمرکز بر خاموشی یا توقف سرویس، باید شاخص‌های جدیدی در تحلیل ریسک تعریف شود؛ از جمله حداقل دقت قابل قبول پس از اختلال و سطح عدالت تصمیم‌گیری مدل پس از بازیابی. این موارد نشان می‌دهد که تاب‌آوری در عصر هوش مصنوعی نیازمند نگاه چندلایه و دقیق‌تر است.

چالش‌های حقوقی و اخلاقی

وقتی مدل بدون هشدار دچار انحراف می‌شود، پیامدهای آن فقط فنی نیست. تصمیمات ناعادلانه، نقض حریم خصوصی یا سوگیری‌های ناشی از داده‌های آلوده می‌توانند به مشکلات حقوقی تبدیل شوند و باعث از دست رفتن اعتماد عمومی شوند. در همین زمینه، استفاده از چارچوب‌هایی مانند استانداردهای ISO 22301 و ISO/IEC 42001 به‌عنوان مکمل یکدیگر پیشنهاد شده است تا سازمان‌ها بتوانند در شرایط بحران، رفتار سیستم را بهتر کنترل کنند.

نیاز به سناریوسازی و آزمون‌های منظم

گزارش همچنین تأکید دارد که سازمان‌ها باید به‌طور منظم سناریوهایی مانند انحراف مدل (Model Drift)، آلودگی داده‌ها (Data Poisoning) و افت ناگهانی دقت را شبیه‌سازی کنند تا میزان آمادگی خود را بسنجند. اجرای این تمرین‌ها کمک می‌کند ضعف‌های احتمالی قبل از وقوع بحران شناسایی و رفع شوند.

در بخشی از تحلیل، به اهمیت بررسی دقیق تحلیل تداوم کسب‌وکار نیز اشاره شده است؛ زیرا حتی یک تغییر کوچک در رفتار مدل می‌تواند زنجیره‌ای از مشکلات عملیاتی و تصمیم‌گیری ایجاد کند.

جمع‌بندی

این گزارش نشان می‌دهد که شکست هوش مصنوعی مفهومی بسیار پیچیده‌تر از یک خطای فنی ساده است. سازمان‌ها باید هوش مصنوعی را سیستمی بدانند که می‌تواند بدون توقف سرویس، در مسیر تصمیم‌گیری منحرف شود و ریسک‌های گسترده‌ای ایجاد کند. به همین دلیل، بازطراحی کامل مدل‌های ارزیابی ریسک، افزایش شفافیت و نظارت دائمی بر مدل‌ها به‌عنوان مهم‌ترین ضرورت‌های عصر جدید هوش مصنوعی مطرح شده‌اند.