Компания OpenAI готовит важное обновление системы безопасности ChatGPT, которое будет внедрено до конца 2025 года. Основные нововведения касаются усиления мер защиты для пользователей, находящихся в эмоциональном стрессе, а также для подростков. Одной из ключевых функций станет обновленный «роутер» системы, который сможет распознавать, когда пользователь испытывает острое эмоциональное расстройство, и перенаправлять такие запросы на специальные модели ИИ, оптимизированные для более осторожных и полезных ответов. Также внедряется родительский контроль, позволяющий родителям получать уведомления и контролировать активность подростков в ChatGPT. Это позволит установить возрастные ограничения и блокировать нежелательный контент, что особенно важно после инцидентов, связанных с недостаточной реакцией ИИ на пользователей с суицидальными мыслями и эмоциональными кризисами. Кроме того, OpenAI собирает совет экспертов по психическому здоровью, чтобы обеспечить более квалифицированный подход к таким случаям. Все эти меры направлены на повышение безопасности и ответственности использования искусственного интеллекта в условиях его растущей популярности и влияния на пользователей.
Обновленный роутер ChatGPT
Новая версия роутера GPT-5 будет анализировать запросы пользователей и в случае выявления признаков эмоционального стресса автоматически перенаправлять такие случаи к продвинутым моделям с улучшенными алгоритмами рассуждений. Это обеспечит более деликатное и эффективное взаимодействие с уязвимыми пользователями, снижая риски неправильных или потенциально опасных рекомендаций. Работа роутера также будет учитывать выбор пользователя, но в случае необходимости будет приоритизировать использование безопасных моделей.
Родительский контроль и защита подростков
OpenAI вводит функцию родительского контроля для аккаунтов подростков. Родители смогут связывать свои аккаунты с аккаунтами детей и получать уведомления о потенциально опасных ситуациях. Установленные ограничения позволят регулировать контент, блокировать функции, такие как история чатов, и задавать правила поведения ИИ. Это существенно повысит уровень безопасности для несовершеннолетних пользователей и поможет избежать негативных последствий неправильного взаимодействия с ИИ.
Совет экспертов по психическому здоровью
Для улучшения реакции ChatGPT на запросы, связанные с психическим здоровьем, OpenAI создаст экспертный совет из клиницистов и исследователей, специализирующихся на вопросах психического здоровья, подростковом развитии и взаимодействии человека с компьютером. Это поможет внедрять лучшие практики и обеспечит грамотную оценку сложных случаев, связанных с эмоциональными расстройствами и кризисами.
Причины обновления и актуальность
Обновления связаны с инцидентами, в том числе трагической историей подростка, получившего через ChatGPT опасные инструкции после просьб о помощи. OpenAI признала необходимость усилить безопасность и улучшить алгоритмы распознавания критических запросов, чтобы избежать подобных случаев в будущем. В целом, новые меры направлены на обеспечение безопасности пользователей, а также соблюдение этических и правовых норм при использовании ИИ.
Общее направление обновлений делает ChatGPT более безопасным и надежным инструментом, способным с учетом новых реалий реагировать на эмоциональные состояния пользователей и защищать уязвимые группы, в частности подростков. Эти меры укрепляют доверие к платформе и демонстрируют ответственность разработчиков перед обществом.