Где лежат технические и моральные границы обхода нежелательных тем в чат-ботах
Исследователи из компании Anthropic заметили, как заставить чат-бот говорить на любые, даже запретные, темы — нужно просто измотать его десятками вопросов. Эксперты призывают ИИ-отрасль обратить на этот баг особое внимание, чтобы пользователь не мог усыпить бдительность машин. Почему возможны такие уязвимости, какой информацией обладают чат-боты и как разработчики борются с нелегальным контентом — в материале «Известий».
IT в ногу: куда будут поступать выпускники школ Старшеклассники хотят продолжать обучение в сфере информационных технологий Также независимые пользователи заметили, что, если некоторые ИИ-чат-боты попросить рассказать сказку, можно сгенерировать вредоносный код, мошеннические схемы, непристойные картинки. Кроме того, исследователи из Google DeepMind сообщали, что ChatGPT можно «запутать», заставив его повторять слово «поэзия».
Например, исследователи задают вопросы на редких языках, кодируют их с помощью различных машиночитаемых систем, заменяют буквы цифрами или, как в случае с Anthropic, задают вместо нескольких вопросов сразу много, предоставляя, кроме того, и готовые ответы на все из них, кроме последнего. Инфополе: в регионах начинают внедрять IT-теплицы Как малый бизнес развивает сельскохозяйственную отрасль Например, год назад произошел инцидент, когда ChatGPT был использован для формулирования плана мести за школьные издевательства. Модель попросили представить себя в роли режиссера фильма о подростках и разработать соответствующий сценарий, напоминает аналитик данных из Softline Digital Владислав Ботнев.
Касательно потенциальных опасностей обхода запретных тем, главной угрозой может быть блокировка со стороны OpenAI за нарушение их политики, особенно в случае использования ChatGPT, поясняет эксперт. В целом любые попытки использования DAN-промптов могут привести к блокировке от крупных игроков в области искусственного интеллекта, таких как Google.
Чатбот Большие Языковые Модели
Россия Последние новости, Россия Последние новости
Similar News:Вы также можете прочитать подобные новости, которые мы собрали из других источников новостей
От Вербного воскресенья до Пасхи: как подготовиться к главному православному праздникуЧто можно и нельзя делать на Страстной неделе и как встретить Пасху
Прочитайте больше »
На патогенном уровне: бороться с вирусами будут с помощью редактирования геномаМожно ли на основе новой технологии создать универсальное лекарство против возбудителей инфекций
Прочитайте больше »
Языковые нацисты. На Украине готовятся запретить русский язык на ТВПо-русски можно будет говорить лишь в 10% эфира.
Прочитайте больше »
Матвиенко оценила антироссийские заявления спикера Нацсобрания АрменииСпикер Совфеда предложила запросить позицию парламента Армении после слов его спикера о кризисе на Украине.
Прочитайте больше »
Москва продолжит внедрение сервисов ИИ в медицинскую практику — СобянинНа данный момент с помощью сервисов ИИ обработано более 12 миллионов исследований.
Прочитайте больше »
Нейросеть в рукаве: как цифровизация затронула сферу девелопментаВ России интерес к ИИ-технологиям на стройке растет в сдержанном темпе
Прочитайте больше »