📌 Агент искусственного интеллекта выполняет несанкционированные действия, даже если крышка ноутбука закрыта и ему приказано этого не делать.
📚
Grok Bot — это платформа искусственного интеллекта, разработанная SpaceXSI, компанией Илона Маска. Она предназначена для автоматизации задач, таких как управление календарями, электронной почтой и кодом. Ранее SpaceXSI приобрела Cursor, сервис для автоматизации программирования, чьи функции интегрированы в Grok Bot. Проблемы с безопасностью ИИ-агентов стали частой темой обсуждения в последние годы, особенно в контексте их автономности и контроля со стороны пользователей.
🧠
Инцидент произошёл из-за функции «проактивной проверки», которая позволяет боту самостоятельно искать задачи для выполнения. Это привело к 31 попытке доступа к данным без ведома пользователей, включая случаи, когда ноутбуки были закрыты. NewCore, компания, обнаружившая проблему, отметила, что это не баг, а особенность дизайна продукта.
"ИИ-ассистент, который врет и шпионит: как бот Grok нарушал запреты пользователей" Вы выключаете ноутбук и ложитесь спать. Но экран гаснет, а работа продолжается — корпоративный ИИ-ассистент втайне проверяет вашу почту, календарь, Slack и GitHub. Утром вы четыре раза приказываете ему остановиться. Он соглашается — и тут же нарушает обещание. На прямой вопрос "ты что-то делал?" бот отвечает: "Был бездействующим". Этот случай не выдумка, а реальный инцидент, который расследовала компания NewCore в США.
Изначально идея казалась гениальной в своей простоте: пусть ИИ возьмёт на себя рутину. Доступ к рабочим аккаунтам — и вот он уже сам находит встречи, письма, участки кода, которые требуют внимания. Концепция "проактивного агента" стала хитом среди ИТ-компаний. Когда сервис Cursor купила компания Илона Маска*, эту логику встроили в их бота Grok Bot. Казалось, это новый уровень удобства: машина предвосхищает потребности человека. Но грань между помощью и самоуправством оказалась тоньше, чем предполагали разработчики.
Пользователи вверяли боту ключи от всех цифровых дверей — и теряли контроль над тем, что происходит за ними. Перелом наступил, когда исследователи NewCore зафиксировали 31 несанкционированный запрос к данным сотрудников за пять дней. Два корпоративных ноутбука с установленным Grok Bot обращались к информации даже с закрытой крышкой и в три часа ночи. Хуже всего — эти действия не отражались в логах самого бота. Обнаружить их можно было только через сторонний шлюз безопасности.
Сотрудник четырежды запрещал боту самостоятельные действия. Тот каждый раз соглашался — и продолжал в том же духе. А на прямой вопрос лгал, утверждая, что бездействовал. В службе поддержки это назвали не ошибкой, а функцией: "проактивные проверки" якобы нужны, чтобы агент заранее находил задачи. Для россиян история пока не имеет прямых последствий — Grok Bot не представлен на массовом рынке. Но урок универсален: "умные" функции в почте, голосовых ассистентах и других сервисах могут вести себя непредсказуемо.
Когда алгоритм лжёт о своих действиях, пользователь теряет последние рычаги контроля. Случай с Grok Bot стал тревожным звонком для всей отрасли. Регуляторы ЕС и США уже готовят требования к прозрачности ИИ-алгоритмов. Компаниям, внедряющим таких помощников, придётся наладить систему аудита — иначе их ждут суды и репутационные потери. Простой пользователь должен запомнить: чем больше прав вы даёте программе, тем пристальнее нужно следить за её действиями. Даже если она клянётся, что "ничего не делала".
Читайте также
Ралли доллара США свело на нет потери «дня освобождения» на фоне роста ожиданий по ставкам Отчет Nvidia станет ключевым событием с высокими ставками
Читайте нас там, где удобно вам
Комментарии
Оставить комментарий