سه‌گانه مرگبار

مدل‌های زبانی بزرگ (LLMs) روشی پرطرفدار برای ساخت هوش مصنوعی هستند، اما یک مشکل امنیتی ذاتی دارند: آنها نمی‌توانند کد را از داده تشخیص دهند. به همین دلیل در معرض نوعی حمله به نام «تزریق دستور» قرار می‌گیرند جایی که فریب می‌خورند تا فرمان‌هایی را اجرا کنند که نباید. گاهی نتیجه فقط خنده‌دار است مثل وقتی که یک دستیار پشتیبانی مشتری مجبور می‌شود مثل یک دزد دریایی صحبت کند اما در مواقع دیگر پیامدها بسیار مخرب‌تر است. بدترین اثر این ضعف همان‌طور که در بخش علم و فناوری گزارش کرده‌ایم برای کسانی است که چیزی را ایجاد می‌کنند که به آن «سه‌گانه مرگبار» گفته می‌شود. اگر شرکتی تصمیم بگیرد به کارمندانش یک دستیار قدرتمند هوش مصنوعی بدهد که به داده‌های اعتمادشده دسترسی دارد، می‌تواند اطلاعات ارزشمند را بخواند و همزمان با دنیای بیرون ارتباط برقرار کند آنگاه دردسر حتمی است. جلوگیری از این مشکل تنها وظیفه مهندسان هوش مصنوعی نیست، کاربران عادی نیز باید یاد بگیرند چگونه از هوش مصنوعی به‌طور ایمن استفاده کنند چراکه نصب ترکیب اشتباهی از برنامه‌ها می‌تواند سه‌گانه مرگبار را به شکل تصادفی ایجاد کند. بهترین خط دفاعی مهندسی بهتر است. این یعنی مهندسان هوش مصنوعی باید مثل مهندسانی فکر کنند که پل و ساختمان می‌سازند و می‌دانند که کار ضعیف ممکن است جان افراد را بگیرد. مهندسان دوران ویکتوریا در انگلستان اغلب با موادی کار می‌کردند که کیفیتشان مشخص نبود. به‌ویژه آهنی که استفاده می‌کردند اغلب بی‌کیفیت بود. بنابراین برای اطمینان احتیاط می‌کردند و سازه‌ها را بیش از اندازه مقاوم می‌ساختند تا نوعی افزونگی و ایمنی ایجاد شود. نتیجه آن شاهکارهایی بود که قرن‌ها دوام آورد. اما ارائه‌دهندگان امنیت در حوزه هوش مصنوعی چنین فکری نمی‌کنند. رویکرد مرسوم آنها قطعی و ایستاست. آسیب‌پذیری‌های امنیتی به‌عنوان خطا دیده می‌شوند که پس از اصلاح از بین می‌روند. مهندسان هوش مصنوعی که از دوران تحصیل با چنین طرز فکری رشد کرده‌اند معمولاً تصور می‌کنند هر مشکلی را می‌توان با داده‌های آموزشی بیشتر یا درخواست‌های سیستمی دقیق‌تر حل کرد.

این اقدامات واقعاً خطر را کاهش می‌دهند. مدل‌های پیشرفته‌تر در شناسایی و رد درخواست‌های مخرب بهتر عمل می‌کنند اما هرگز نمی‌توانند خطر را کاملاً از بین ببرند. خروجی LLMها احتمالی است و بر اساس انتخاب تصادفی از پاسخ‌های ممکن تولید می‌شود. بنابراین یک رویکرد قطعی به ایمنی ناکافی است. راه بهتر این است که مثل مهندسان دنیای فیزیکی عمل کنیم و یاد بگیریم با سیستم‌های 

غیرقابل پیش‌بینی کار کنیم نه اینکه انتظار داشته باشیم همیشه درست عمل کنند. این یعنی باید با عدم قطعیت راحت‌تر برخورد کنیم با در نظر گرفتن حاشیه‌های ایمنی تحمل ریسک و نرخ خطا. در عصر هوش مصنوعی افراط در ساخت می‌تواند به معنای استفاده از مدلی بسیار قدرتمندتر از نیاز واقعی باشد که خطر خطای جدی را بالا می‌برد. راه بهتر محدود کردن تعداد پرسش‌هایی است که یک LLM می‌تواند از منابع خارجی متناسب با سطح ریسک یک حمله احتمالی دریافت کند. همان‌طور که مهندسی مکانیک بر ایمنی تاکید دارد اگر یک سیستم هوش مصنوعی باید به اسرار مهم دسترسی داشته باشد نباید کلید همه چیز را یک‌جا در اختیارش قرار داد.

در دنیای واقعی، پل‌ها محدودیت وزن دارند حتی اگر همیشه برای رانندگان به وضوح نوشته نشده باشد. مهم‌تر اینکه این محدودیت‌ها با تلورانس‌هایی محاسبه می‌شوند تا مطمئن شوند پل تحمل بار اضافی را نیز دارد. اکنون زمان آن رسیده که همین منطق برای دنیای مجازی سیستم‌های هوش مصنوعی هم به کار گرفته شود.

پی‌نوشت:

1- Large Language Models