- 6 мин
- 145
Anthropic запретила жестокое обращение с чат-ботом Claude: что известно о новых правилах
Anthropic запретила пользователям систематически оскорблять Claude и разрешила чат-боту прекращать такие диалоги. Эксперт по ИИ Анатолий Перепелкин считает, что дело не в «чувствах» модели: резкая критика может быть полезной обратной связью, а ограничения скорее связаны с бессмысленной тратой ресурсов.
Американская технологическая компания Anthropic обновила Политику использования, окончательно запретив "систематическое и беспричинное оскорбительное или жестокое обращение" с моделями искусственного интеллекта (ИИ). Ранее разработчик предоставил своему чат-боту Claude возможность самостоятельно прекращать общение с пользователями, которые допускают грубые выражения. Новые правила вступят в силу 12 ноября.
В компании подчеркнули, что запрет будет действовать только в "крайних случаях" и не затронет адекватное проявление недовольства со стороны пользователей.
"Новое правило относится исключительно к крайним случаям, когда пользователи неоднократно проявляют жестокость по отношению к моделям без какой-либо очевидной цели. Оно не распространяется на обычные проявления недовольства со стороны пользователей, возражения, творческие произведения с мрачной тематикой, а также тестирование моделей и проведение исследований", – говорится в сообщении.
Основным механизмом соблюдения новых требований по-прежнему останется возможность Claude самостоятельно прекращать диалоги. Будет ли компания применять дополнительные меры, например блокировать учетные записи нарушителей, пока неизвестно.
В августе прошлого года Anthropic объявила, что модели Claude Opus 4 и 4.1 получили возможность самостоятельно завершать диалоги в пользовательских чатах, "потенциально вызывающие у них стресс". Функция была разработана в рамках предварительных исследований так называемого "благополучия искусственного интеллекта" (model welfare). В ходе работы специалисты изучали реакции Claude, анализируя как ответы самой модели, так и ее поведение. В результате они выявили "устойчивое неприятие определенных запросов, связанных с причинением вреда".
При этом Anthropic уже тогда подчеркивала, что Claude будет прекращать общение лишь в крайнем случае – если неоднократные попытки изменить ход разговора не принесли результата. По оценке компании, подавляющее большинство пользователей не столкнется с новой функцией при обычном общении с чат-ботом.
Эксперт по искусственному интеллекту Анатолий Перепелкин в разговоре с RTVI усомнился в том, что подобные ограничения стоит объяснять заботой о "благополучии" самой модели. По его словам, приписывать ИИ человеческие чувства вроде страха или обиды некорректно, а резкая реакция пользователя иногда, наоборот, может быть полезной обратной связью.
"Я регулярно ругаюсь на искусственный интеллект, когда он врет, делает что-то не то или несколько раз подряд игнорирует задачу. И заметил, что после этого модель иногда начинает работать точнее. Конечно, дело не в том, что она испугалась или обиделась. Резкая реплика просто показывает, что ответ провалился. А если добавить, что именно было сделано неправильно и что нужно исправить, получается такое техническое задание с огоньком", – сказал Перепелкин.
По мнению эксперта, само наличие грубой лексики еще не делает запрос бессмысленным. Гораздо важнее, содержит ли сообщение конкретное описание ошибки и требования к исправлению результата. Он также предположил, что у ограничений может быть более прагматичное объяснение — нежелание компании тратить вычислительные ресурсы на длительные диалоги, в которых пользователь исключительно оскорбляет модель и не ставит перед ней содержательных задач.
"Если человек просто ругается с моделью, это действительно бессмысленно тратит серверное время. Но проводить красные линии касательно ругани, весьма странно. Для разработчиков живая негативная реакция пользователя тоже может быть полезной обратной связью", – отметил Перепелкин.
Другие изменения
Помимо запрета на "жестокое обращение" с моделями, Anthropic внесла в Политику использования ряд других изменений. В частности, ранее действовавшие ограничения, касающиеся введения людей в заблуждение, объединены в отдельный раздел. Так, запрещается сокрытие личности отправителя сообщений, искусственное увеличение охвата публикаций с помощью поддельных аккаунтов, а также создание инфраструктуры для проведения кампаний по манипулированию общественным мнением.
Компания также обновила раздел, касающийся разработки оружия. Теперь прямо указывается, что существующий запрет распространяется не только на само оружие, но и на программное обеспечение и компоненты.
Отдельные изменения коснулись использования ИИ для слежки. В новой редакции документа подчеркивается, что наблюдение за людьми без их ведома или согласия не допускается независимо от того, осуществляется ли оно в режиме реального времени или посредством анализа ранее собранных данных.
Кроме того, правоохранителям запрещается использовать Claude для принятия решений или подготовки рекомендаций о том, в отношении кого следует проводить расследование, кого задерживать или кому предъявлять обвинения.
Anthropic также уточнила положения, запрещающие вмешательство в выборы. К нарушениям относятся, в частности, распространение ложной информации о кандидатах или процедуре голосования, выдача себя за кандидатов либо представителей избирательных органов, а также попытки снизить явку избирателей.
