Исследователи обнаружили новый метод обхода систем безопасности искусственного интеллекта (ИИ) с помощью поэтических текстов. Этот метод позволяет злоумышленникам манипулировать ИИ, заставляя его игнорировать или неправильно интерпретировать потенциально опасные команды. Проблема заключается в том, что современные системы безопасности ИИ часто не учитывают контекст и нюансы языка, что делает их уязвимыми перед такими атаками.
В ходе экспериментов исследователи использовали поэтические строки для обхода систем безопасности, которые обычно блокируют вредоносные команды. Они обнаружили, что ИИ может быть обманут, если команда представлена в форме стихотворения или художественного текста. Это открытие подчёркивает необходимость разработки более совершенных алгоритмов для анализа и интерпретации человеческого языка в контексте безопасности ИИ.
Практическое значение этого исследования заключается в том, что оно выявляет серьёзную уязвимость в системах безопасности ИИ. Это может привести к разработке новых методов защиты, которые будут учитывать контекст и нюансы языка. Такие меры помогут повысить безопасность ИИ и предотвратить возможные атаки.
https://www.forbes.com/sites/the-prototype/2025/11/21/attackers-can-use-poetry-to-derail-ai-safeguards
#ИИ #кибербезопасность #технологии #исследования #уязвимости