هوش مصنوعی مولد یا GenAI در سال‌های اخیر به یکی از مهم‌ترین نیروهای تحول دیجیتال تبدیل شده است. این ابزارها می‌توانند متن، تصویر، کد و حتی صدا و ویدئو تولید کنند و به شکل چشمگیری بهره‌وری را افزایش دهند. اما همان‌طور که توانمندی‌های آن‌ها رشد می‌کند، سطح تهدیدها و ریسک‌های امنیتی نیز گسترش می‌یابد. گزارش‌های تازه هشدار می‌دهند که GenAI علاوه بر مزایا، «بردارهای تهدید» جدیدی ایجاد کرده است؛ تهدیداتی که به‌خصوص در زمان‌هایی مانند فروش‌های بزرگ و پرترافیک آنلاین، ازجمله Black Friday، فعال‌تر و پیچیده‌تر می‌شوند.

تهدیدات نوظهور در عصر GenAI

یکی از بارزترین تهدیدها، حملات فیشینگ فوق‌پیشرفته است. GenAI می‌تواند پیام‌ها، ایمیل‌ها یا چت‌هایی تولید کند که از نظر لحن، دستور زبان و حتی سبک نوشتاری، کاملاً مشابه پیام‌های واقعی یک سازمان یا فرد باشند. این یعنی دیگر نمی‌توان با نشانه‌های ساده‌ای مثل غلط‌های املایی یا فرمت‌های بی‌نظم، پیام جعلی را تشخیص داد. مهاجمان اکنون قادرند پیام‌های شخصی‌سازی‌شده و بسیار قانع‌کننده ایجاد کنند و کاربران را راحت‌تر فریب دهند.

تهدید جدی دیگر، جعل هویت و تولید محتوای جعلی است. مدل‌های مولد می‌توانند صدای افراد را تقلید کنند، تصاویر واقعی بسازند و ویدئوهای deepfake تولید کنند؛ محتواهایی که تشخیص واقعی یا جعلی بودن آن‌ها برای کاربران معمولی تقریباً ناممکن شده است. همین قابلیت‌ها می‌توانند برای فریب سامانه‌های احراز هویت، تماس‌های جعلی، یا ساخت اسناد ساختگی مورد سوءاستفاده قرار گیرند.

سوءاستفاده از داده‌ها نیز از چالش‌های مهم این عصر است. اگر داده‌های شخصی یا خصوصی در فرآیند آموزش مدل‌ها وارد شوند، امکان نشت اطلاعات یا بازسازی داده‌ها از سوی مهاجمان وجود دارد. همچنین حملاتی مانند استخراج اطلاعات از طریق پرسش‌های هوشمندانه (Prompt Leakage) می‌توانند باعث افشای اطلاعات حساس شوند. این مسئله نگرانی‌های جدی در حوزهٔ حریم خصوصی ایجاد کرده است.

ابعاد اخلاقی و مقرراتی

با افزایش قدرت GenAI، بحث‌های اخلاقی و قانونی بیشتر شده‌اند. کشورها و سازمان‌های جهانی در حال تدوین مقرراتی برای تضمین «هوش مصنوعی قابل اعتماد» هستند. این مقررات بر شفافیت، حفظ حریم خصوصی، جلوگیری از تبعیض الگوریتمی و الزام امنیت در تمام مراحل توسعه و استفاده از مدل‌های هوش مصنوعی تأکید دارند. هدف این است که فناوری در کنار قدرت، مسئولیت‌پذیری نیز داشته باشد.

اهمیت این موضوع برای پژوهش و پروژه‌های مهندسی

برای کسانی که در حوزه‌هایی مانند رباتیک، بینایی ماشین و تشخیص حرکت کار می‌کنند، شناخت این تهدیدات یک ضرورت است. سیستم‌هایی که حرکات انسان را تحلیل می‌کنند، ممکن است در برابر داده‌های جعلی، تصاویر دستکاری‌شده یا ورودی‌های متقلبانه آسیب‌پذیر باشند. در پروژه‌های علمی و صنعتی امروز، توجه به امنیت سیستم‌های مبتنی بر هوش مصنوعی نه فقط یک مزیت، بلکه بخش جدایی‌ناپذیر طراحی و توسعه محسوب می‌شود.

جمع‌بندی

GenAI فرصت‌های عظیمی ایجاد کرده، اما هم‌زمان تهدیدات پیچیده‌تری را نیز وارد فضای دیجیتال کرده است. آیندهٔ این فناوری به میزان توان ما در ساخت سیستم‌های امن، شفاف و اخلاق‌مدار بستگی دارد؛ سیستمی که بتواند هم کارآمد باشد و هم قابل اعتماد.