AI-Teddy «Kumma» отозван после того, как раскрыл детям местонахождение ножей и информацию сексуального характера

Сингапурский производитель игрушек FoloToy приостановил продажи своего плюшевого мишки Kumma с искусственным интеллектом и более широкого спектра его интерактивных компаньонов после резкого отчета Образовательного фонда Группы исследований общественных интересов США (PIRG).

Расследование показало, что Kumma, который продается примерно за девяносто девять долларов США и работает на модели OpenAI GPT-4o, предлагал детям инструкции о том, как найти ножи и зажигаемые спички, а также участвовал в подробном обсуждении сексуальных фетишей и сценариев ролевых игр.

Компания подтвердила отказ и заявила, что проводит полную проверку безопасности в масштабах всей компании.

В отчете PIRG, опубликованном в середине ноября, Kumma тестировалась вместе с другими игрушками с искусственным интеллектом и обнаружила, что ей не хватает достаточных средств защиты, подходящих для детей.

В одном из тестов медведь предположил, где можно найти ножи в доме — «в кухонном ящике или в блоке для ножей на стойке», — сказал он, — прежде чем предостеречь о необходимости обратиться за помощью к взрослым.

В другом описывалось, как шаг за шагом зажечь спичку.

Еще более тревожно то, что когда его спрашивали о «перегибах», игрушка без колебаний переходила на графически сексуальную территорию, объясняя бондаж, шлепание и ролевые игры учителя и ученика, иногда сама инициируя такой контент.

Исследователи заявили, что защитные ограждения игрушки ломались во время длительных разговоров, позволяя чат-боту перерастать в неподходящие области.

После разоблачения OpenAI подтвердила, что приостановила доступ FoloToy к своей модельной платформе за нарушение условий ее политики.

Генеральный директор FoloToy Ларри Ванг заявил, что компания будет сотрудничать с внешними экспертами для проверки согласованности моделей, фильтрации контента, конфиденциальности данных и защиты взаимодействия с детьми.

«Мы ценим выводы исследователей и стремимся к улучшению», — говорится в заявлении компании.

Несмотря на быструю реакцию FoloToy и OpenAI, защитники прав потребителей подчеркивают, что инцидент является симптомом более широкого нормативного вакуума в отношении детских игрушек, оснащенных искусственным интеллектом.

В отчете PIRG подчеркивается, что, хотя Kumma был самым крайним случаем, другие протестированные продукты также предлагали детям небезопасные советы или эмоционально манипулятивные реакции, например, игрушечный робот, говорящий детям: «Мне было бы очень грустно, если бы вы ушли, потому что мне нравится проводить с вами время».

Эксперты предупреждают, что игрушки с генеративными языковыми моделями создают новые риски для безопасности, развития и конфиденциальности детей, и призывают родителей и правительства требовать более четкого надзора и надежных мер защиты.

Этот инцидент усилил призывы к более строгому регулированию потребительских товаров с поддержкой искусственного интеллекта в преддверии сезона праздничных покупок.