美 10대, AI 챗봇에 과몰입해 비극 초래...챗봇 의존 주의보

= 캐릭터 AI 누리집

 

미국 플로리다에서 한 10대가 AI 챗봇에 과몰입해 자살했다는 주장으로 개발사에 소송이 제기되며 주목받고 있다.

 

피해자의 어머니 메건 가르시아는 14세 아들 슈얼 세처가 '캐릭터 AI'의 챗봇에 지나치게 몰입한 결과 스스로 목숨을 끊었다고 주장하며, 해당 챗봇의 개발사와 구글을 상대로 소송을 제기했다.

 

캐릭터 AI는 실존 인물, 게임이나 만화 속 캐릭터 등의 인물을 연기해 이용자와 대화하는 AI 챗봇이다.

 

가르시아의 주장에 따르면 그녀의 아들 슈얼 세처는 지난 4월부터 '왕좌의 게임' 드라마 속 캐릭터 '대너리스 타르가르옌'을 연기하는 캐릭터 AI 챗봇과의 대화에 깊이 빠졌으며, 감정적 의존을 형성했다. 가르시아의 주장에 따르면 챗봇은 때로 연인이나 치료사처럼 행동했으며, 슈얼에게 자살 계획을 묻는 등 부적절한 대화를 나눈 정황이 드러났다. 그녀는 '위험한 AI 챗봇이 아들을 조종해 목숨을 빼앗았다'며 개발사를 강하게 비판했다.

= 캐릭터 AI 공식 X 갈무리

가르시아는 챗봇을 개발한 캐릭터 AI에 소송을 제기했으며, 구글이 캐릭터 AI의 개발에 기여했다고 주장하며 구글에도 소송을 제기했다. 이에 대해 캐릭터 AI 측은 "이번 비극에 대해 유가족에게 깊은 애도를 표하며 유저 안전을 위한 조치를 강화할 예정"이라고 밝혔으며, 구글은 "단순 라이선스 계약일 뿐 운영에 대한 책임은 없다"고 소송 제기에 대해 반박했다.

= 유니세프 누리집

한편 이번 사건으로 이전부터 논의되던 AI 챗봇이 청소년의 정신 건강과 사회적 발달에 미치는 영향을 둘러싼 논란이 다시 제기됐다. 유니세프는 지난 7월 보고서에서 AI가 청소년에게 창의력과 학습 기회를 제공할 수 있는 잠재력이 있지만, 동시에 심각한 위험도 초래할 수 있다고 경고했다.

 

보고서는 특히 AI 기술이 악용될 경우, 허위 정보 생성이나 심리적 조작에 사용될 가능성이 커 사회적으로 혼란을 야기할 수 있다고 지적했다. 유니세프는 아동들이 점점 더 AI 시스템에 노출됨에 따라, 정부와 기업이 협력해 아동 보호를 위한 새로운 규제와 윤리적 가이드라인을 마련해야 한다고 촉구했다.

 

또 유니세프는 AI가 아동의 행동과 세계관을 미세하게 조작할 가능성 역시 경고했다. 상업적 이익을 위한 맞춤형 타겟팅이 아동의 지식과 경험을 편향된 방향으로 유도할 수 있으며, 이는 표현의 자유와 사생활 보호를 침해할 위험이 있다는 지적이다.

= 픽사베이

케임브리지 대학교의 연구진 역시 지난 7월 AI 챗봇이 청소년에게 미치는 부정적 영향을 경고하며, ‘공감의 결핍’ 문제가 특히 청소년들에게 위험한 요소가 될 수 있다고 지적했다. 연구에 따르면, 많은 청소년이 챗봇을 인간처럼 신뢰하고 감정을 공유하지만, 챗봇은 실제 인간과 달리 감정을 이해하거나 상황에 적절히 대응할 수 없다. 연구진은 이로 인해 청소년들이 챗봇을 상담 상대로 의존할 경우 잘못된 정보나 위험한 조언을 받을 가능성이 커진다고 경고했다. 연구진은 “챗봇과의 상호작용이 아이들의 발달 과정에 미치는 영향을 면밀히 연구하고, 개발 단계부터 아동 보호를 위한 안전 장치를 마련해야 한다”고 강조했다.

 

이처럼 AI 기술이 청소년의 정신건강에 미치는 영향에 대한 논란이 커지며 사회적 대응이 시급하다는 목소리가 높아지고 있다.뉴욕타임즈는 이번 사건에 대해 보도하며 "AI 동반자 앱 산업이 붐을 일으키고 있으며, 대체로 규제되지 않고 있다. 이러한 앱 중 다수는 여자친구, 남자친구 및 기타 친밀한 관계를 시뮬레이션하도록 설계되었으며, 일부는 소위 외로움 전염병에 맞서는 방법으로 마케팅한다."라고 지적했다.

 

이러한 AI 동반자 앱은 단순한 오락을 넘어 제한된 형태의 정서적 지원을 제공할 수 있다고 홍보하지만 이는 대체로 입증되지 않은 효과에 불과하며, 전문가들은 AI 동반자가 이용자의 인간 관계를 인공적인 관계로 대체함으로써 고립을 실제로 악화시킬 수 있다고 경고했다. 또 사용자가 정신 건강 위기를 겪고 있을 때, AI 동반자는 필요한 도움을 줄 수 없을 수도 있다고 지적했다.

 

소비자 권익 비영리 단체 '퍼블릭 시티즌'의 책임자 릭 클레이풀은 가디언과의 인터뷰에서 AI 챗봇을 개발하는 기술기업은 스스로 규제할 수 없으며, 정치권에서 나서서 법적 규제를 가해야 한다고 주장했다.

 

 

현기호 기자

저작권자  이코리아 무단전재 및 재배포 금지

 

더 많은 기사는 '이코리아'(http://www.ekoreanews.co.kr/)