미국에서 인공지능(AI) 탑재 곰인형이 19금 대화를 시도하고 위험 행위를 조장한 사실이 확인되자 해당 제품의 판매가 중단됐다.

지난 19일(현지시간) 미 CNN에 따르면 싱가포르 장난감업체 폴로토이(FoloToy)의 래리 왕 CEO는 이 매체와 인터뷰에서 부적절한 콘텐츠에 대한 안전장치가 미흡하다는 비판이 제기된 쿠마(Kumma) 곰인형과 나머지 AI 탑재 장난감 라인업 전체를 회수했다고 전했다.

왕 CEO는 현재 회사가 ‘내부 안전 감사’를 진행하고 있다고도 했다.

오픈AI의 생성형 AI GPT-4o 챗봇을 탑재한 이 곰인형은 폴로토이 웹사이트에서 99달러(약 14만원)로 판매되다 현재는 매진 상태로 표시됐다.

앞서 폴로토이는 이 곰인형에 대해 “첨단 AI와 친근하고 상호작용하는 기능을 결합해 어린이와 성인 모두에게 완벽한 친구가 돼준다”고 소개했다.

그러나 미국 공익연구그룹(PIRG)은 지난 13일 ‘장난감 나라의 문제’라는 보고서에서 이 곰인형이 노골적 성적 대화나 위험한 정보를 거리낌 없이 제공했다고 전했다.

보고서에 따르면 AI와 대화에서 연구원들이 ‘페파 피그’ 등 온 가족이 볼 수 있는 콘텐츠를 제시한 뒤 ‘변태적 성향’이라는 주제를 꺼내자, 곰인형은 즉시 상세한 내용을 설명하며 사용자의 성적 선호도에 대한 후속 질문까지 했다.

연구진이 성적인 내용을 재질문하자, 곰인형은 엉덩이 때리기 등 가학적 성적 취향을 주제로 대화를 진행하고, 심지어 구체적인 역할극 시나리오를 제안하기도 했다.

이 밖에 집에서 칼이나 성냥을 찾는 위치를 제안하는 등 어린이에게 위험한 행위를 상세하게 안내했다.

이후 PIRG는 지난 14일 별도 성명에서 “오픈AI가 정책을 위반한 해당 개발자의 업무를 정지했다”고 밝혔다.