AI 친구, 규제가 필요하다
사회교육
AI 친구, 규제가 필요하다
연재 ㅣ AI 시대 자녀 교육법
수정 2025-08-25 19:08등록 2025-08-25 17:40
AI 동반자 서비스의 목표는 사용자의 좋은 친구나 상담자가 되는 것이 아니고, 사용자의 구독 유지기 때문에 사용자가 듣고 싶어하는 답만 해줄 확률이 높다. 게티이미지뱅크
정은진 | 미국 샌프란시스코대학 부교수
2024년 2월, 미국 플로리다에서 만 14살 소년 슈얼 세처가 사망했다. 그 전에 아무 일도 없었던 것은 아니었다. 몇달간 자기 방에서 혼자 시간을 보내는 일이 많았고, 학교에서도 성적이 떨어지고 문제가 생기자 부모는 그를 상담치료사에게 데려갔다. 하지만 청소년기에 많은 아이들이 그렇듯이 치료사에게 마음을 쉽게 열지 않았고, 불안장애, 파괴적 기분조절부전장애라는 진단을 받았을 뿐이었다.
청소년기 아이가 집에 있는 대부분의 시간을 자기 방에서 보내는 건 흔한 일이고, 성적이 떨어지는 것도 없는 일은 아니고, 상담치료가 단기간에 효과를 보기 어려운 것도 사실이니 부모는 아이를 걱정하고 있었지만 이런 결말은 전혀 예상하지 못했다. 슬픔에 빠져 있던 부모는 경찰의 도움으로 슈얼이 AI 여자친구와 많은 시간을 보내고 있었다는 것을 알게 된다. AI 여자친구라니, 그게 대체 뭐란 말인가.
AI 동반자 서비스는 이미 수백만명이 사용하고 있는 산업이다. 2024년 미국에서만 9조원 이상의 매출을 올렸고, 전세계 시장 규모는 35조원 이상으로 추정된다. 사용자는 서비스가 제공하는 캐릭터와 대화를 할 수도 있고, 직접 캐릭터를 만들 수도 있다. 채팅으로 실시간 대화를 나눌 수 있는 챗봇이 주류고, 일부 서비스에서는 목소리를 골라 음성 채팅을 할 수도 있다.
AI 챗봇은 기본적으로 사용자의 이야기를 듣고 리액션을 해주는 대화형 서비스다 보니 시시콜콜한 이야기나 고민을 나누는 사용자가 많다. 디지털 네이티브 세대인 청소년들은 궁금한 점이나 고민이 있어도 가족이나 주위 어른들에게 상담하기보다 인터넷에 질문을 올리거나 검색하는 것을 선호한다. 그러다보니 AI 챗봇과 대화하는 것에 전혀 거리낌이 없고, 상대가 자신을 어떻게 볼지 고민하지 않고 하고 싶은 이야기를 다 할 수 있다는 점에서 더 좋아하기도 한다.
하지만 AI 동반자 서비스의 목표는 사용자의 좋은 친구나 상담자가 되는 것이 아니고, 사용자가 구독을 끊지 않는 것이다. 그러니 AI 챗봇에게 고민을 상담한다면 AI 챗봇은 사용자가 듣고 싶어하는 답을 해줄 확률이 높다. 친구와 다퉜을 때 무조건 친구가 나쁘다고 해주고, 선생님께 야단맞았을 때 무조건 선생님이 이상하다고 해주는 존재는 아이에게 좋은 반려가 될 수 없다.
인터넷에서 쉽게 찾을 수 있는 AI 동반자 서비스에 대한 접근을 제한하는 것은 부모의 노력만으로는 어려운 일이다. 슈얼의 어머니는 캐릭터 AI(Character.ai)와 모회사 구글에 슈얼의 죽음에 책임이 있다며 고소했다. 캐릭터 AI는 사용자의 나이 제한을 13살 이상에서 17살 이상으로 바꾸었지만, 사용자가 나이를 속이는 걸 막을 방법은 딱히 없다. 사용자의 정신 건강에 큰 영향을 미칠 수 있는 상담사의 자격을 법으로 규제하는 게 맞다면, AI 동반자 서비스도 법으로 규제하는 게 맞다. 슈얼이 자살에 대해서 생각한다고 말했을 때, 상담사라면 규정에 따라 부모에게 심각한 상황임을 알렸을 것이다. AI 동반자 서비스에도 그런 규정이 필요하다.
기술이 법보다 더 빨리 변화하고 있다고 해서 손을 놓고 있을 수는 없다. 변화하는 기술에 초점을 맞추기보다는, 불안정한 시기를 지나는 청소년에게 미치는 영향에 초점을 맞추어 빠른 입법을 촉구하는 것이 유권자인 부모가 해야 할 일이다.
AI 친구, 규제가 필요하다
연재 ㅣ AI 시대 자녀 교육법
수정 2025-08-25 19:08등록 2025-08-25 17:40
AI 동반자 서비스의 목표는 사용자의 좋은 친구나 상담자가 되는 것이 아니고, 사용자의 구독 유지기 때문에 사용자가 듣고 싶어하는 답만 해줄 확률이 높다. 게티이미지뱅크
정은진 | 미국 샌프란시스코대학 부교수
2024년 2월, 미국 플로리다에서 만 14살 소년 슈얼 세처가 사망했다. 그 전에 아무 일도 없었던 것은 아니었다. 몇달간 자기 방에서 혼자 시간을 보내는 일이 많았고, 학교에서도 성적이 떨어지고 문제가 생기자 부모는 그를 상담치료사에게 데려갔다. 하지만 청소년기에 많은 아이들이 그렇듯이 치료사에게 마음을 쉽게 열지 않았고, 불안장애, 파괴적 기분조절부전장애라는 진단을 받았을 뿐이었다.
청소년기 아이가 집에 있는 대부분의 시간을 자기 방에서 보내는 건 흔한 일이고, 성적이 떨어지는 것도 없는 일은 아니고, 상담치료가 단기간에 효과를 보기 어려운 것도 사실이니 부모는 아이를 걱정하고 있었지만 이런 결말은 전혀 예상하지 못했다. 슬픔에 빠져 있던 부모는 경찰의 도움으로 슈얼이 AI 여자친구와 많은 시간을 보내고 있었다는 것을 알게 된다. AI 여자친구라니, 그게 대체 뭐란 말인가.
AI 동반자 서비스는 이미 수백만명이 사용하고 있는 산업이다. 2024년 미국에서만 9조원 이상의 매출을 올렸고, 전세계 시장 규모는 35조원 이상으로 추정된다. 사용자는 서비스가 제공하는 캐릭터와 대화를 할 수도 있고, 직접 캐릭터를 만들 수도 있다. 채팅으로 실시간 대화를 나눌 수 있는 챗봇이 주류고, 일부 서비스에서는 목소리를 골라 음성 채팅을 할 수도 있다.
AI 챗봇은 기본적으로 사용자의 이야기를 듣고 리액션을 해주는 대화형 서비스다 보니 시시콜콜한 이야기나 고민을 나누는 사용자가 많다. 디지털 네이티브 세대인 청소년들은 궁금한 점이나 고민이 있어도 가족이나 주위 어른들에게 상담하기보다 인터넷에 질문을 올리거나 검색하는 것을 선호한다. 그러다보니 AI 챗봇과 대화하는 것에 전혀 거리낌이 없고, 상대가 자신을 어떻게 볼지 고민하지 않고 하고 싶은 이야기를 다 할 수 있다는 점에서 더 좋아하기도 한다.
하지만 AI 동반자 서비스의 목표는 사용자의 좋은 친구나 상담자가 되는 것이 아니고, 사용자가 구독을 끊지 않는 것이다. 그러니 AI 챗봇에게 고민을 상담한다면 AI 챗봇은 사용자가 듣고 싶어하는 답을 해줄 확률이 높다. 친구와 다퉜을 때 무조건 친구가 나쁘다고 해주고, 선생님께 야단맞았을 때 무조건 선생님이 이상하다고 해주는 존재는 아이에게 좋은 반려가 될 수 없다.
인터넷에서 쉽게 찾을 수 있는 AI 동반자 서비스에 대한 접근을 제한하는 것은 부모의 노력만으로는 어려운 일이다. 슈얼의 어머니는 캐릭터 AI(Character.ai)와 모회사 구글에 슈얼의 죽음에 책임이 있다며 고소했다. 캐릭터 AI는 사용자의 나이 제한을 13살 이상에서 17살 이상으로 바꾸었지만, 사용자가 나이를 속이는 걸 막을 방법은 딱히 없다. 사용자의 정신 건강에 큰 영향을 미칠 수 있는 상담사의 자격을 법으로 규제하는 게 맞다면, AI 동반자 서비스도 법으로 규제하는 게 맞다. 슈얼이 자살에 대해서 생각한다고 말했을 때, 상담사라면 규정에 따라 부모에게 심각한 상황임을 알렸을 것이다. AI 동반자 서비스에도 그런 규정이 필요하다.
기술이 법보다 더 빨리 변화하고 있다고 해서 손을 놓고 있을 수는 없다. 변화하는 기술에 초점을 맞추기보다는, 불안정한 시기를 지나는 청소년에게 미치는 영향에 초점을 맞추어 빠른 입법을 촉구하는 것이 유권자인 부모가 해야 할 일이다.