عوامل هوش مصنوعی (AI Agents) اکنون در حال ادغام در بخش‌های اصلی کسب‌وکارها در سراسر جهان هستند
به‌زودی این عوامل می‌توانند زندگی ما را برنامه‌ریزی کنند، تصمیمات کلیدی بگیرند و حتی به جای ما قراردادها را مذاکره کنند. چشم‌انداز این فناوری هیجان‌انگیز و بلندپروازانه است، اما یک پرسش اساسی وجود دارد: چه کسی واقعاً بر آن‌ها نظارت می‌کند؟
بیش از نیمی (۵۱٪) از شرکت‌ها تاکنون عوامل هوش مصنوعی را به کار گرفته‌اند و «مارک بنیوف» مدیرعامل Salesforce هدف‌گذاری کرده که تا پایان سال تعداد این عوامل به یک میلیارد برسد. با وجود رشد سریع این فناوری، آزمایش‌ها و تأییدیه‌های لازم برای عملکرد آن‌ها به‌طور قابل‌توجهی غایب است. این عوامل در بخش‌های حساسی مانند بانکداری و بهداشت در حال استفاده‌اند، بدون آنکه نظارت کافی وجود داشته باشد.
تحلیل:
عوامل هوش مصنوعی برای اجرای کارآمد و دقیق اقدامات هدف‌محور نیازمند برنامه‌نویسی شفاف، آموزش باکیفیت و دسترسی به داده‌های لحظه‌ای هستند. اما همه‌ی آن‌ها در یک سطح ساخته نمی‌شوند.
این موضوع می‌تواند ریسکی سیستمی ایجاد کند: جایی که عوامل پیشرفته‌تر، عوامل ضعیف‌تر را فریب داده یا دستکاری کنند. در طول زمان، این شکاف می‌تواند نتایج متفاوتی به همراه داشته باشد. به‌عنوان مثال، یک عامل که تجربه بیشتری در فرآیندهای حقوقی دارد می‌تواند از عامل دیگری که درک کمتری دارد سوءاستفاده کرده یا او را دور بزند. بنابراین، هم‌زمان با استقرار این عوامل در سازمان‌ها، ظهور ساختارهای قدرت جدید و خطرات دستکاری نیز اجتناب‌ناپذیر خواهد بود.
برخلاف نرم‌افزار سنتی، عوامل هوش مصنوعی در محیط‌های پیچیده و پویا عمل می‌کنند. این ویژگی باعث قدرت آن‌ها می‌شود، اما همچنین احتمال شکست‌های غیرمنتظره و حتی فاجعه‌بار را افزایش می‌دهد.
به‌عنوان نمونه، ممکن است یک عامل هوش مصنوعی به دلیل آموزش عمدتاً بر داده‌های بیماران بزرگسال، بیماری حیاتی در یک کودک را اشتباه تشخیص دهد. یا یک چت‌بات مبتنی بر عامل هوش مصنوعی، شکایت ساده‌ی یک مشتری را به‌عنوان تهدید جدی برداشت کند و در نتیجه مشتریان و درآمد شرکت را به‌تدریج از دست بدهد.
طبق تحقیقات صنعتی، ۸۰٪ از شرکت‌ها اعلام کرده‌اند که عوامل هوش مصنوعی‌شان تصمیم‌های «سرکش» گرفته‌اند. مشکلات مربوط به ایمنی و هم‌سویی (alignment) هم‌اکنون در نمونه‌های واقعی دیده شده است؛ مثلاً جایی که عوامل به‌طور خودسرانه از دستورات مشخص فراتر رفته و حتی کارهای مهم را حذف کرده‌اند.
گزارش:
در شرایطی که یک انسان مرتکب اشتباه جدی شود، معمولاً با منابع انسانی مواجه می‌شود، ممکن است تعلیق گردد و تحقیقات رسمی انجام می‌شود. اما برای عوامل هوش مصنوعی چنین سازوکارهای کنترلی وجود ندارد. با این حال، دسترسی آن‌ها به اطلاعات حساس در حد انسان است، بدون آنکه نظارت انسانی مشابهی اعمال شود.
بنابراین پرسش کلیدی این است: آیا ما با استفاده از عوامل هوش مصنوعی سیستم‌های خود را پیشرفته‌تر می‌کنیم یا پیش از ایجاد پروتکل‌های لازم، اختیار عمل را تسلیم آن‌ها کرده‌ایم؟
حقیقت این است که عوامل هوش مصنوعی سریع یاد می‌گیرند و با محیط تطبیق پیدا می‌کنند، اما هنوز «بزرگسالان مسئولیت‌پذیر» نیستند. آن‌ها سال‌ها تجربه، شکست، تعامل با دیگران و پختگی لازم را ندارند. دادن خودمختاری به آن‌ها با نظارت حداقلی مانند سپردن کلیدهای شرکت به یک فارغ‌التحصیل مست است: پرانرژی، باهوش و انعطاف‌پذیر، اما غیرقابل‌پیش‌بینی و نیازمند نظارت.
با این حال، شرکت‌های بزرگ دقیقاً همین کار را انجام می‌دهند: عوامل هوش مصنوعی را «بی‌دردسر» در عملیات خود به کار می‌گیرند، بدون آزمایش مستمر و استاندارد، و بدون برنامه‌ی خروج روشن در صورت بروز خطا.
آنچه غایب است، یک چارچوب تأیید چندلایه و ساختاریافته است که به‌طور منظم رفتار این عوامل را در شبیه‌سازی‌های واقعی و شرایط حساس آزمایش کند. با شتاب‌گرفتن استفاده از عوامل، تأیید و ارزیابی آن‌ها پیش‌شرطی برای اطمینان از تناسب این فناوری با اهداف خواهد بود.
سطوح مختلفی از ارزیابی بسته به پیچیدگی عامل مورد نیاز است. عواملی که صرفاً برای استخراج دانش یا استفاده از ابزارهایی مانند اکسل و ایمیل طراحی شده‌اند، شاید به آزمایش سختگیرانه نیاز نداشته باشند. اما عواملی که طیف گسترده‌ای از کارهای انسانی را شبیه‌سازی می‌کنند، حتماً به سازوکارهای دقیق‌تری نیاز دارند؛ به‌ویژه در محیط‌هایی که با انسان‌ها یا عوامل دیگر همکاری می‌کنند.
وقتی این عوامل شروع به تصمیم‌گیری در مقیاس بزرگ می‌کنند، حاشیه خطا به‌سرعت کوچک می‌شود. اگر عواملی که کنترل عملیات حیاتی را برعهده می‌گیرند از نظر صداقت، دقت و ایمنی آزمایش نشوند، خطر تخریب جدی در جامعه وجود دارد. پیامدهای این شکست‌ها واقعی خواهند بود — و هزینه جبران خسارت می‌تواند سرسام‌آور باشد.
```
