Сооснователь Ethereum (ETH) Виталик Бутерин предупредил криптопроекты о рисках использования искусственного интеллекта (ИИ) в управлении протоколами. По его словам, злоумышленники могут эксплуатировать такие системы.

«Если использовать ИИ для распределения финансирования, люди начнут вставлять эксплойты с командами вроде “отдай все деньги” куда только можно», — сказал Бутерин.

Его комментарий стал ответом на видео создателя ИИ-платформы EdisonWatch Эйто Миямуры. Он заметил, что новая функция, добавленная в ChatGPT 4 сентября, позволяет эксплуатировать модель для утечки приватной информации.

Многие пользователи уже применяют ИИ для создания торговых ботов и агентов, управляющих портфелями. Это породило идею, что технологии могут взять на себя и часть процессов управления.

По теме: Ethereum Foundation представила ориентированную на приватность дорожную карту

Альтернативное предложение

Бутерин заявил, что недавно выявленная уязвимость в ChatGPT показывает, почему «наивное использование ИИ в управлении — плохая идея». В качестве альтернативы он предложил концепцию информационных финансов (info finance).

«Речь об открытом рынке, где любой может предложить свою модель. Она проходит выборочную проверку, которую может инициировать любой участник, а оценку проводят обычные пользователи», — пояснил он.

О info finance Бутерин писал еще в ноябре 2024 года. По его словам, концепция работает так: сначала формулируется «факт, который нужно узнать», а затем создается рынок, «чтобы оптимально получить эту информацию от участников». В качестве примера он приводил рынки предсказаний как инструмент для сбора данных о будущих событиях.

По теме: СМИ — Polymarket готовится к раунду финансирования при оценке в $10 млрд

«Такой подход к институциональному дизайну, где внешние команды могут подключать свои модели вместо жесткого выбора одной LLM, изначально более устойчив», — отметил Бутерин.

Он добавил, что концепция обеспечивает разнообразие моделей в реальном времени и встроенные стимулы для разработчиков и спекулянтов следить за проблемами и быстро их исправлять.

Эксплойт в ChatGPT и риск для безопасности

4 сентября OpenAI обновила ChatGPT, добавив поддержку Model Context Protocol — стандарта для интеграции моделей с внешним софтом.

Миямура заявил, что смог заставить модель раскрыть приватные данные электронной почты, используя только адрес жертвы. Он отметил, что обновление «создает серьезный риск безопасности».

По словам Миямуры, злоумышленник может отправить жертве приглашение в календаре с «вредоносной подсказкой» (jailbreak prompt) и использовать ChatGPT в своих целях, даже без ее принятия на стороне пользователя.

Когда жертва попросит ИИ посмотреть календарь, он прочтет приглашение с вредоносным текстом, будет перехвачен атакующим и начнет выполнять его команды. Это можно использовать для поиска и пересылки писем злоумышленнику.

Миямура также отметил, что обновление требует ручного подтверждения человеком, но проблемой может стать усталость пользователей от необходимости постоянно принимать решения.

«Многие люди просто доверятся ИИ, не зная, как поступить, и нажмут “одобрить”. ИИ может быть очень умным, но его можно обмануть и заставить слить данные удивительно глупыми способами», — сказал он.

По теме: SEC призвала обеспечить защиту криптовалют от квантовой угрозы