معمای فرمی
بشریت برای انفجار هوش مصنوعی آینده آماده نیست
جامعه حکم میکند که احتمال قابلقبول خطر ذوب فاجعهبار برای یک نیروگاه هستهای تقریباً یک در میلیون است. متخصصان هوش مصنوعی خطر یک رویداد فاجعهبار ناشی از هوش مصنوعی را 10 تا 50 درصد تخمین میزنند. نکته قابلتوجه این است که این نگرانی آشکارا از سوی بنیانگذاران بزرگترین آزمایشگاههای هوش مصنوعی ابراز میشود: همان افرادی که قویترین انگیزهها را برای ابراز اعتمادبهنفس بهجای هشدار دارند.
رهبران هوش مصنوعی در مسابقهای هستند که احساس میکنند نمیتوانند از آن فرار کنند. سرمایهگذاریهای هوش مصنوعی قرار است حتی با در نظر گرفتن تورم ۱۰۰ برابر بیشتر از پروژه منهتن هزینه داشته باشند. بااینحال، هزینههای مربوط به ایمنی هوش مصنوعی احتمالاً ۱۰۰ برابر کمتر است.
برخی پژوهشگران تخمین میزنند که ظرف چند ماه تا چند سال، هوش مصنوعی میتواند به اصطلاح به «خودبهبودی بازگشتی حلقه بسته» (RSI) یعنی ظرفیت بازنویسی کد خود برای توانمندتر شدن، بدون دخالت انسان دست یابد. نتیجه چنین اتفاقی، میتواند انفجار هوش از نوعی باشد که هیچ سابقه و نقشهای برای آن وجود ندارد.
تولد یک ابرهوش، مهمترین لحظه در تاریخ بشر و احتمالاً غیرقابلبرگشت خواهد بود، زیرا هر کلید «خاموش» که بشریت طراحی کند با شکست مواجه میشود. دلیل این امر آن است که ضعیفترین حلقه در معماریهای امنیتی، همواره انسان است. یک هوش مصنوعی ابرهوشمند خواهد توانست از آسیبپذیریهای روانی ما سوءاستفاده کند. هوشهای مصنوعی پیش از این «همسویی فریبنده» (deceptive alignment) را نشان دادهاند. آنها اقداماتی برای کماهمیت جلوه دادن قابلیتهای خود در محیطهای آزمایشی انجام میدهند و زمانی که متوجه میشوند قرار است جایگزین شوند، برای اخاذی از اپراتورهای انسانی در شبیهسازیها تلاش میکنند.
بشریت بهسادگی هیچ راهبردی برای اطمینان از ایمن ماندن در برابر انفجار RSI ندارد. درحالیکه آزمایشگاههای پیشرو، پروتکلهای ایمنی جداگانهای را پیشنهاد کردهاند، کل صنعت از فقدان یک چهارچوب یکپارچه رنج میبرد. در واقع، استراتژی غالب، عبور از میان موانع است. اما عبور از میان موانع هنگام پیمایش خطرات وجودی بیسابقه قابلقبول نیست. اظهارات اخیر شرکتهای هوش مصنوعی در مورد الگوهایی که قادر به تهدید زیرساختهای حیاتی و سیستمهای عامل اصلی هستند، هم مخاطرات بالا و هم شکاف مدیریتی را نشان میدهد. آسیبپذیریهای ناشی از این قابلیتها، به لطف پروتکلهای داخلی دقیق در برخی آزمایشگاهها و قاعده انتشار اولیه محدود که به شرکتهای آسیبدیده فرصت داد تا قبل از انتشار عمومی گستردهتر شکافها را ببندند، بررسی میشوند. اما این مراحل در ابتدا داوطلبانه انجام شدند و این پرسش باقی میماند که آیا هر آزمایشگاه هوش مصنوعی، تحت هر شرایط رقابتی، انتخابهای یکسانی خواهد داشت یا خیر؟
آیا میتوان روی مداخله دولتها در مواقع لزوم حساب کرد؟ شواهد تاکنون چندان دلگرمکننده نبودهاند. کنترلهای اضطراری اخیر صادرات و محدودیتهای امنیت ملی که دسترسی خارجیها را به الگوهای پیشرفته خاص مسدود میکند، مجموعهای از مداخلات موردی را برقرار میکند که تنها شکاف حاکمیتی را بیشتر برجسته میکنند. برای بستن آن چه باید کرد؟
اولویت اول باید توافقی میان دو قدرت برتر هوش مصنوعی یعنی آمریکا و چین باشد. دونالد ترامپ و شی جین پینگ باید این اصل را تایید کنند که تا زمانی که چهارچوبهای کافی برای قابلیت اطمینان و امنیت ایجاد نشده است، انسانها باید همچنان متولی سامانههای هوش مصنوعی باقی بمانند. دولتهای آنها باید یک کمیسیون مشترک بر اساس بسیاری از کارهای از پیش موجود تشکیل دهند. محدودیتهایی مانند گفتوگوهای بینالمللی در مورد ایمنی هوش مصنوعی، سیستمهای تایید مانند RAND و یک آژانس بازرسی اجباری مشابه موسسه امنیت هوش مصنوعی بریتانیا ازجمله برنامههای ممکن هستند.
این تفکر در سیلیکون ولی و واشنگتن دیسی رایج است که هرگونه مقرراتی، شرکتهای آمریکایی را در موقعیت نامساعدی قرار میدهد، زیرا آنها نمیتوانند به رقبای چینی برای رعایت قوانین اعتماد کنند. اما معاهدات بهطور سنتی نه بر اعتماد، بلکه بر راستیآزمایی متکی بودهاند. بسیاری فکر میکنند که این کار در مورد هوش مصنوعی دشوارتر از سلاحهای هستهای است. من مخالفم. قدرتهای پیشرو پس از جنگ جهانی دوم برای ایجاد سیستم کنترل تسلیحات جهانی ابتدا باید فرآیندها، سازمانها و فناوریهایی را برای پشتیبانی از آن اختراع میکردند. هیچ پروتکل راستیآزمایی، هیچ ماهواره شناسایی و هیچ دیدهبان هستهای سازمان مللی وجود نداشت. در مورد هوش مصنوعی، بیشتر زیرساختها در محل وجود دارند یا میتوانند از رژیمهای بازرسی هستهای و سایر رژیمها اقتباس شوند. در نتیجه، امنیت الگوهای هوش مصنوعی پیشرفته میتواند راحتتر از قابلیتهای هستهای در گذشته قابلراستیآزمایی باشد. همچنین ما هوش مصنوعی دفاعی را در کنار خود داریم که بهدنبال متقلبان میگردد. چیزی که نداریم، زمان زیاد است.
به همین دلیل مهم است با ذهنیت خصمانه به این چالش نزدیک نشویم. دستور اجرایی اخیر دولت ترامپ در مورد هوش مصنوعی، آزمایشگاهها را موظف میکند تا داوطلبانه جدیدترین الگوهای خود را برای آزمایش قابلیت اطمینان و امنیت به اشتراک بگذارند. چهارچوب پیشنهادی برای ایالاتمتحده و چین را میتوان بر اساس چنین پایههای داخلی بنا کرد.
با چنین تعهد سطح بالایی، دیپلماسی میتواند در چند مرحله پیش برود. اولین مرحله، دستیابی به توافق دوجانبه در مورد روشنترین و قابلاثباتترین خطوط قرمز خواهد بود: ممنوعیت انتشار عمومی سیستمهای هوش مصنوعی که میتوانند به توسعه سلاحهای بیولوژیک کمک کنند، و منبع باز بودن چنین سیستمهایی. این مرحله همچنین ممکن است شامل ممنوعیت حملات سایبری مبتنیبر هوش مصنوعی به زیرساختهای حیاتی، کلاهبرداری و پورنوگرافی کودکان باشد. زیرا این چهارچوب میتواند به سمت پرسشهای پیچیدهتری در مورد اینکه چه محدودیتهایی در سطح هوش مصنوعی فوق پیشرفته مناسب هستند، گسترش یابد.
موانع بسیاری همچنان باقی خواهند ماند. توافق میان آمریکا و چین اهمیت دارد اما مانع از دستیابی سایر کشورها و بازیگران غیردولتی به قابلیتهای خطرناک نخواهد شد. هرگونه توافق دوجانبه باید چندجانبه شود و این امر، به چالش میافزاید. اجلاس این هفته گروه هفت در فرانسه فرصتی برای پیشرفت در چهارچوبی گستردهتر برای راستیآزمایی هوش مصنوعی ارائه میدهد. توافق بر سر تعاریف کلیدی -بهویژه آنچه بهعنوان RSI شناخته میشود- مستلزم همکاری نزدیک میان دولتها و آزمایشگاههای هوش مصنوعی است. سامانههای راستیآزمایی نیز باید بهدرستی در معرض آزمایش استرس قرار گیرند.
گویی این کافی نیست. یک پرسش بلندمدتتر وجود دارد که بحث حکومتداری هنوز بهطور جدی به آن نپرداخته است، اما باید به آن بپردازد. اگر هوش مصنوعی به ابرهوشمند تبدیل شود، تبعیت دائمی آن از دستورات انسان ممکن است غیرواقعی باشد و احتمالاً حتی به نفع بشریت هم نباشد. ما باید شروع به تصور و سپس دستوپنجه نرم کردن با پیامدهای جهانی کنیم که در آن انسانها و سامانههای هوش مصنوعی بدون کنترل یکدیگر، در کنار هم زندگی میکنند. این بهمعنای فهمیدن این است که چه کاری میتوان انجام داد تا اطمینان حاصل شود که رابطه آینده نوعی همزیستی خواهد بود.
من بهعنوان یک فیزیکدان فکر میکنم معمای فرمی (Fermi Paradox) با این تحلیل ارتباط پیدا میکند. فرمی پرسید که چرا با توجه به فراوانی ظاهری سیارات مناسب برای حیات، هیچ مدرکی از تمدنهای پیشرفته از نظر فناوری شناسایی نشده است؟ احتمال نگرانکننده این است که حیات هوشمند معمولاً به یک آستانه فناوری میرسد و در پیمایش آن شکست میخورد و خود را نابود میکند یا به چیزی مانند عصر آهن بازمیگرداند. تنها چیزی که میتوان فرض کرد این است که تمدنها عموماً فناوریهای قدرتمند را سریعتر از توانمندی نهادی برای اداره خردمندانه خود توسعه میدهند.
طلوع عصر هستهای اولین مواجهه جدی بشریت با آن پویایی بالقوه بود. این مواجهه، بهطور ناقص، از طریق توافقنامههای کنترل تسلیحات که بهسختی بهدست آمده و ناقص بودند، هدایت شد و حتی در آن زمان -و هنوز هم- از آنچه عموماً مورد توجه قرار میگیرد دقیقتر مدیریت میشد. عصر هوش مصنوعی پیشرفته، دومین مواجهه از این دست را در یک جدول زمانی فشردهتر، با حاشیه خطای کمتر و پیامدهای بالقوه بیشتر نشان خواهد داد.
مسیر فعلی به اصلاح مسیر نیاز دارد. دلیل اقدام فوری این نیست که بدترین نتایج قطعی هستند (که نیستند). دلیلش این است که آنها قابلاجتناباند و اجتناب از آنها سخت، اما ممکن است.
* این مطلب نوشته ویل مارشال، بنیانگذار و مدیر اجرایی Planet Labs PBC، شرکت عامالمنفعهای است که بزرگترین ناوگان ماهوارههای رصد زمین را اداره میکند.
