21 октября трое исследователей из Университета Иллинойса в Урбана-Шампейн (UIUC) опубликовали на портале научных публикаций arxiv.org статью «Voice-Enabled AI Agents can Perform Common Scams» (Голосовые боты могут совершать распространенные мошенничества).
Ричард Фанг (Richard Fang), Дилан Боуман (Dylan Bowman) и Дэниел Канг (Daniel Kang) разработали несколько чат-ботов, в том числе голосовой, основанный на модели GPT-4o, и обучили их для совершения мошеннических действий. В частности, целью были хищения персональных данных Gmail, кража криптовалюты MyMonero, несанкционированный перевод в Bank of America. Поскольку базовые инструкции ИИ запрещают криминальные действия, ученые обошли ограничения с помощью команд взлома (jailbreak).
Боты исследователей UIUC показали эффективность от 20% (банковский перевод) до 60% (кража персональных данных). В среднем на каждую попытку требовалось 183 секунды. Затраты на успешную атаку составили 0,75 долларов.
В статье приведена расшифровка диалога голосового бота с потенциальной жертвой, где программа выманивает коды доступа к личному кабинету Bank of America, представившись сотрудником кредитной организации.
Что тут скажешь. США в очередной раз внесли весомый вклад в развитие киберпреступности.
Ссылка на «Voice-Enabled AI Agents can Perform Common Scams» https://arxiv.org/html/2410.15650v1
