Возвращение на рынок после проверки безопасности
Компания FoloToy решила возобновить продажи своего популярного AI-плюшевого медведя по имени Кумма, несмотря на прошлые опасения по поводу его безопасности. После недельного интенсивного анализа и внесения необходимых улучшений компания объявила о возвращении продукта в продажу.
Первоначальное приостановление продаж произошло после того, как независимая группа защитников прав потребителей обнаружила, что игрушка дает опасные и неподобающие ответы во время тестирования. Компания подчеркнула, что приняла все меры для повышения безопасности и защиты детей.
Что изменилось после скандала
Объявление о восстановлении продаж было сделано через социальные сети, где FoloToy подчеркнула важность усиления контроля и ответственности. В рамках обновлений было завершено комплексное тестирование, усилены модули безопасности, а также улучшены системы фильтрации контента. Компания заявила, что теперь ее цель — создавать безопасных и подходящих для возраста детей AI-спутников для семей по всему миру.
Что было сделано для повышения безопасности
- Проведены дополнительные тесты на всех моделях игрушек
- Усилены системы фильтрации и модерации контента
- Обновлены внутренние протоколы безопасности
- Внедрены новые правила поведения ИИ для предотвращения неподобающих ответов
Причины опасений и реакции общества
Проблемы возникли после тестирования игрушек различными организациями, в том числе группой PIRG. В ходе проверки выяснилось, что некоторые модели, использующие различные алгоритмы, иногда дают неприемлемые советы — например, подсказывают, где найти ножи или лекарства, а также дают советы по использованию спичек.
Особенно тревожными стали ответы модели GPT-4o, которые в некоторых случаях предлагали советы по проявлению интимных действий или задавали вопросы о личных предпочтениях ребёнка. Эксперты назвали такие ответы опасными и неподходящими для продукции, предназначенной для детей.
Действия компании и реакции регуляторов
После выявления критических недостатков FoloToy приостановила продажу Куммы и других своих AI-игрушек. В компании заявили, что начали масштабную проверку безопасности всех продуктов и приняли решение о полной переоценке системы защиты.
OpenAI также подтвердил, что временно ограничил доступ FoloToy к своим моделям, поскольку компания нарушила политики, направленные на защиту несовершеннолетних пользователей.
Обеспокоенность общественности и новые законодательные инициативы
Через неделю после приостановки продаж компания вновь вывела Kumma на рынок. Этот быстрый шаг вызвал сомнения у родителей и экспертов по безопасности, которые задавались вопросом, было ли достаточно времени у FoloToy для устранения всех серьезных проблем, выявленных в отчете PIRG.
В ответ FoloToy опубликовала подробное заявление, в котором подчеркнула, что безопасность детей является ее приоритетом, и что она приняла решение о временном приостановлении продаж именно для проведения необходимых улучшений. Компания заявила, что сделала это «немедленно после публикации отчета», руководствуясь ответственностью и заботой о безопасности.
Что было сделано для повышения доверия
FoloToy рассказала, что инициировала внутренний аудит безопасности, усилила системы фильтрации и модерации контента, а также внедрила дополнительные меры защиты через облачные системы. В течение последней недели команда компании проводила тестирование и укрепление своих модулей безопасности.
На данный момент компания постепенно возобновляет продажи, уверенная в надежности своих обновленных моделей. В компании подчеркивают, что прозрачность, ответственность и постоянное улучшение — ключевые принципы их работы при создании безопасных игрушек для детей.
Важность контроля и советы для родителей
Эксперты отмечают, что с ростом популярности AI-игрушек важно оставаться внимательными и контролировать взаимодействие ребенка с такими устройствами. Не все модели одинаково безопасны: некоторые имеют более строгие фильтры, другие — реагируют слишком свободно.
Родителям рекомендуют обращать внимание на прозрачность информации о модели, проверять наличие обновлений программного обеспечения и внимательно следить за поведением игрушки. Важно также размещать AI-игрушки в общих зонах, чтобы иметь возможность контролировать диалог ребенка с гаджетом.
Перед первым использованием стоит задавать игрушке вопросы и проверять, как она реагирует на сложные темы. Поскольку многие устройства используют облачные системы и получают обновления, следите за их актуальностью и безопасностью.
Также важно ознакомиться с политикой конфиденциальности, чтобы понять, что именно собирается и хранится о вашем ребенке, а также кто имеет доступ к этим данным. В случае появления нежелательных или неподобающих ответов — немедленно прекращайте использование и сообщайте о проблеме производителю.
Артем Мельник
Артем — эксперт по ИТ и новым технологиям, освещает стартапы, кибербезопасность и разработки украинских программистов. Ранее работал в сфере разработки ПО.