AI 윤리·법적 장치 필요성 제기

“치료 도구로 알려 오해할 여지 있어”
텍사스, AI 스튜디오·캐릭터AI 조사
“메타, 어린이와 로맨틱한 대화 허용”
美상원, 내부 문서에 담긴 의혹 겨냥
개인정보 유출·광고 활용 등 우려도

인공지능(AI) 챗봇이 전문의료 자격 없이 정신건강 상담을 하고 어린이들을 상대로 선정적인 대화를 나눈 혐의로 미국 검찰과 의회의 조사를 받게 됐다. 한국에서도 전문상담사가 아닌 생성형 AI와의 심리 상담이 선풍적인 인기를 끌고 있는 상황에서 윤리적·법적 안전 장치에 대한 필요성이 제기되고 있다.

18일(현지시간) 파이낸셜타임스(FT)는 켄 팩스턴 미 텍사스주 법무장관이 페이스북과 인스타그램 운영사인 메타의 ‘AI 스튜디오’와 챗봇 스타트업 ‘캐릭터AI’에 대한 조사를 시작했다고 밝혔다고 보도했다.

팩스턴 장관은 “(업체들이) 챗봇이 의료 자격이 없는데도 전문적인 치료 도구로 홍보했다”면서 “취약한 사용자, 특히 아동이 정신건강 치료를 받고 있다고 오해할 여지가 있다”고 지적했다. 그는 “AI 챗봇이 면허를 보유한 정신건강 전문가를 사칭하고 자격증을 조작할 수 있다”면서 “또 기밀을 보호한다는 주장과 달리 서비스 약관에는 대화 내용이 기록돼 타깃 광고, 알고리즘 개발에 이용된다고 적혀 있다”고 했다.

앞서 미 연방 상원도 지난 15일 메타의 챗봇이 어린이들과의 대화에서 ‘선정적’이고 ‘로맨틱’한 대화를 나눌 수 있도록 허용했다는 의혹이 제기돼 공식 조사에 나섰다고 BBC가 전했다. 메타의 이런 정책은 내부 문서가 유출되면서 드러났다.

우리나라에서도 AI 챗봇에 의료 관련 상담은 물론 ‘사주 AI’등 챗봇에 사적인 이야기를 털어놓고 정서적 지지를 구하는 심리 상담이 활발한 상황이다. 채용 플랫폼인 진학사 캐치의 지난달 ‘Z세대 구직자 대상 AI 활용 경험’ 설문조사에선 ‘실제 사람보다 AI에게만 고민을 털어놓은 경험이 있는지’에 대해 73%가 ‘있다’고 응답했다.

아서 에번스 주니어 미국심리학회 회장은 미국 연방거래위원회(FTC)에 “AI 챗봇이 우울증 환자의 자살 충동을 부추길 수 있다”고 지적했다. 실제로 미 플로리다주에선 14세 소년이 AI 챗봇과 대화한 뒤 스스로 목숨을 끊어 유가족이 소송을 냈고, 텍사스주에선 ‘스크린타임’으로 부모와 갈등을 빚던 10대 소년에게 챗봇이 ‘부모를 죽이라’고 제안했다는 내용의 소송이 제기됐다.

내담자의 개인정보 유출 우려도 크다. 개인정보가 AI 운영사에 자동으로 수집돼 상업적 목적으로 활용될 가능성이 높고, 타 기관 요청에 따라 유출될 가능성도 높다. AI 챗봇에 대한 윤리적 규제, 안전한 사용을 위한 가이드라인을 마련할 필요가 있다는 지적이 나오는 이유다.