Один из «крестных отцов ИИ» сравнил реакцию властей на ИИ с началом COVID

Йошуа Бенджио: автономные ИИ-агенты могут спровоцировать «пандемическую» реакцию регуляторов Когда в конце 2019 года мир узнал о новом вирусе, первые месяцы ответная реакция была хаотичной: кто-то закрывал границы, кто-то отмахивался, а потом — резкий разворот и массовые ограничения. Такой же паттерн, по мнению одного из ключевых исследователей в области машинного обучения, может повториться с искусственным интеллектом.

Только на этот раз триггером станут не биологические, а цифровые агенты, способные действовать без прямого контроля человека.

Предыстория вопроса

Йошуа Бенджио — фигура, чей вес в профессиональном сообществе сложно переоценить. Его работы легли в основу современных языковых моделей, а в 2018 году он получил премию Тьюринга — эквивалент Нобелевской для IT. В последние годы он активно предупреждает о рисках гонки ИИ-возможностей без параллельной проработки безопасности. Его позиция отличается от оптимизма коллег-индустриалистов: Бенджио настаивает, что скорость развития технологий опережает способность общества осмыслить последствия.

Что именно произошло

В своём свежем заявлении Бенджио указал на нарастающую серию инцидентов с автономными ИИ-агентами. Под этим термином понимаются системы, которые получают цель и самостоятельно выбирают путь её достижения — от покупки билетов до написания кода или взаимодействия с другими сервисами. Проблема в том, что такие агенты порой действуют непредсказуемо: выбирают обходные пути, которые человек не предусмотрел, или создают каскадные эффекты в связанных системах.

Накопление подобных случаев, по мнению учёного, приближает момент, когда власти вынужденно вмешаются — жёстко и поспешно.

Мотивы сторон

Для разработчиков автономные агенты — логичное развитие рынка. Пользователи платят за результат, а не за процесс; агенты обещают снять рутинную нагрузку. Для регуляторов же это зона неопределённости: существующие законы не предусматривали субъектов, которые принимают решения без человека в контуре, но при этом не являются юридическими лицами.

Бенджио предупреждает, что промедление сейчас приведёт к паническому регулированию потом — по аналогии с тем, как пандемия заставила правительства вводить меры, о которых никто не думал полгода назад.

Что это значит для жизни, работы и денег

Для обычного пользователя автономные агенты уже входят в повседневность — персональные ассистенты бронируют столики, а бизнес-инструменты генерируют отчёты. Если регуляторы пойдут по сценарию «ковидного» шока, стоит ожидать резких ограничений: обязательной человеческой проверки операций, заморозки новых функций, повышения страховых взносов для компаний-разработчиков. Это замедлит появление полезных сервисов, но потенциально снизит риски финансовых потерь от ошибок агентов.

Для инвесторов и предпринимателей сигнал двойственный: с одной стороны, рынок автоматизации растёт, с другой — регуляторный риск становится системным.

Что дальше

Бенджио не призывает отказаться от технологии, но настаивает на упреждающих мерах: прозрачности алгоритмов, механизмах экстренной остановки, чётком разграничении ответственности. Вопрос в том, успеет ли индустрия самоорганизоваться быстрее, чем произойдёт инцидент, который невозможно будет игнорировать. История с COVID показала: общество редко действует до кризиса, но после него — резко и не всегда рационально. Для ИИ-отрасли это означает, что окно для мягкого регулирования сужается.