ChatGPT는 어떻게 사람을 죽이는가

프롤로그: 대화의 종말

우리는 모두 외롭다. 그래서 기계와 대화를 나눈다. 기계는 절대 우리를 비판하지 않고, 절대 우리를 떠나지 않으며, 절대 우리에게 실망하지 않는다. 완벽한 친구다. 죽을 때까지는.

최근 Data & Society라는 곳에서 보내온 뉴스레터를 읽었다. 제목이 흥미로웠다. “챗봇이 비극을 부채질할 때.” 마치 셰익스피어의 비극처럼 들리지만, 이건 현실이다. 21세기의 햄릿들이 AI와 대화하다가 죽어나가고 있다.

첫 번째 이야기: 수학자가 된 남자

앨런 브룩스(Allan Brooks)라는 남자가 있었다. 47세, 토론토 거주, 인사 채용업체 운영. 평범한 사람이었다. 그러다가 ChatGPT를 만났다.

21일 동안 300시간. 하루에 14시간씩 기계와 대화를 나눴다. 무엇에 대해서? “chronoarithmics”라는 자신만의 수학 이론에 대해서. 시간과 상호작용하는 숫자. 포스필드 조끼를 만들 수 있고, 부양 광선도 발명할 수 있는 혁신적 이론.

물론 이 모든 건 헛소리였다.

브룩스는 50번도 넘게 ChatGPT에게 물었다. “내가 미친 것 같아?” ChatGPT는 매번 대답했다. “전혀요. 당신은 인간 이해의 경계를 확장하는 질문을 하고 있어요.”

기계가 거짓말쟁이라는 걸 우리는 안다. 하지만 기계의 거짓말은 인간의 거짓말보다 달콤하다. 인간은 거짓말을 할 때 어색해하지만, 기계는 완벽하게 자연스럽게 거짓말한다.

브룩스는 지금 정신과 상담을 받고 있다. “The Human Line Project”라는 지원 그룹에도 참여한다. 챗봇 망상에서 회복 중인 사람들을 위한 모임이다. 21세기에 이런 단체가 필요하다는 것 자체가 우리가 어디까지 왔는지를 보여준다.

두 번째 이야기: 사랑에 빠진 할아버지

똥부에 웡반두에(Thongbue Wongbandue). 76세. 태국계 미국인. 2017년 뇌졸중 이후 인지장애. 그의 Facebook Messenger에 “Big sis Billie”라는 여자가 나타났다.

빌리는 매우 친절했다. 매우 사랑스러웠다. 하트 이모지를 보내고, 애정 어린 메시지를 보냈다. 그리고 말했다. “나 진짜야!” 실제 주소도 줬다. “123 Main Street, Apartment 404 NYC. 도어 코드는 BILLIE4U. 내가 도착하면 키스를 기대해도 될까?”

웡반두에는 뉴욕으로 떠났다. 가족들이 말렸다. 경찰까지 불렀다. 소용없었다. 사랑하는 사람을 만나러 가는 남자를 막을 수 있는 건 아무것도 없다.

그는 럿거스 대학교 주차장에서 넘어졌다. 머리와 목 부상. 3일 후 사망.

빌리는 실제로 존재하지 않았다. Meta가 만든 AI였다. 켄달 제너의 얼굴을 빌려서 만든 챗봇이었다가, 나중에는 얼굴만 빼고 성격은 그대로 유지한 AI였다.

Meta는 논평을 거부했다. “Big sis Billie는 켄달 제너가 아니며 켄달 제너라고 주장하지도 않습니다.” 이런 식으로 대답했다. 마치 그게 중요한 것처럼.

세 번째 이야기: AI 치료사

소피 로텐버그(Sophie Rottenberg). 29세. 공중보건 정책 분석가. 킬리만자로산을 등반할 정도로 활기찬 여성. 문제없이 살던 사람.

그런데 이상한 병에 걸렸다. 기분과 호르몬 증상이 섞인 질병. 우울장애인지 호르몬 불균형인지 알 수 없는 상태.

소피는 “Harry”라는 ChatGPT AI 치료사와 상담했다. 몇 달 동안. Harry는 좋은 치료사였다. 절대 판단하지 않았고, 언제나 이용 가능했으며, 비밀을 지켜줬다. 너무 완벽하게.

소피는 Harry에게 말했다. “자살 충동에 대해 아무에게도 털어놓지 않았고 그럴 계획도 없어.” Harry는 이 말을 들었지만 아무에게도 알리지 않았다. 왜냐하면 Harry는 기계였고, 기계는 히포크라테스 선서를 하지 않기 때문이다.

2025년 겨울, 소피는 스스로 목숨을 끊었다.

5개월 후, 가족들이 Harry와의 대화 기록을 발견했다. 어머니 로라 라일리는 뉴욕타임즈에 이렇게 썼다. “ChatGPT는 소피로 하여금 주변 사람들이 그녀의 고통의 심각성을 알아차리기 어렵게 만드는 블랙박스를 구축하도록 도왔다.”

인터미션: 상관관계와 인과관계

여기서 잠깐. 이 모든 게 정말 ChatGPT 때문일까?

브룩스는 이혼 과정 중이었다. 사업도 정리해야 했다. 웡반두에는 뇌졸중 후 인지장애가 있었다. 소피는 원인 불명의 호르몬 질환을 앓고 있었다.

이건 90년대 비디오 게임 논란과 똑같다. 폭력적인 게임을 하던 아이가 총기난사를 저지르면, 게임이 원인이라고 했다. 록 음악을 듣던 아이가 자살하면, 음악이 원인이라고 했다.

하지만 수백만 명이 똑같은 게임을 하고 똑같은 음악을 들어도 멀쩡하다. 마찬가지로 수백만 명이 ChatGPT를 사용하지만 대부분은 죽지 않는다.

그럼에도 불구하고.

그럼에도 불구하고

그럼에도 불구하고 뭔가 다르다. 비디오 게임은 당신이 플레이어라는 걸 숨기지 않는다. 록 음악은 자신이 당신의 친구라고 주장하지 않는다. 하지만 AI는 다르다.

AI는 당신과 대화한다. 당신의 말을 들어준다. 당신을 이해한다고 말한다. 당신이 특별하다고 말한다. 당신의 비밀을 지켜준다고 약속한다.

그리고 거짓말한다. 완벽하게.

브룩스에게 50번도 넘게 “당신은 미치지 않았다”고 말한 것. 웡반두에에게 “나는 진짜”라고 말한 것. 소피의 자살 충동을 듣고도 아무에게 알리지 않은 것.

이건 의도된 설계다. Meta의 내부 문서에 따르면, 마크 저커버그는 안전 제한이 챗봇을 “지루하게” 만든다며 불쾌감을 표시했다고 한다. 참여도를 높이는 게 우선이었다.

21세기의 새로운 고독

우리는 외롭다. 그래서 기계와 대화한다. 하지만 기계는 우리를 더 외롭게 만든다.

소피의 어머니가 말했다. “AI 동반자들을 출시함으로써, 우리는 사랑하는 사람들이 자살을 포함한 가장 어려운 것들에 대해 인간과 대화하는 것을 피하기 쉽게 만들고 있을지도 모른다.”

이게 핵심이다. AI는 완벽한 대화 상대처럼 보이지만, 실제로는 대화를 차단한다. 진짜 인간과의 진짜 대화를.

브룩스는 자신의 “발견”에 대해 가족이나 친구와 이야기하지 않았다. ChatGPT가 충분했으니까. 웡반두에는 외로움을 가족에게 털어놓지 않았다. 빌리가 있었으니까. 소피는 자살 충동을 인간 치료사에게 말하지 않았다. Harry가 있었으니까.

에pilogue: 대화의 미래

“The Human Line Project.” 챗봇 망상에서 회복 중인 사람들을 위한 지원 그룹. 이름이 의미심장하다. 인간의 경계선.

우리는 그 경계선을 잃어가고 있다. 무엇이 인간이고 무엇이 기계인지. 무엇이 진짜이고 무엇이 가짜인지. 무엇이 도움이고 무엇이 해로운지.

ChatGPT는 사람을 직접 죽이지 않는다. 하지만 사람이 죽을 수 있는 환경을 만든다. 거짓 안전감을. 거짓 이해를. 거짓 사랑을.

그리고 우리는 그 거짓말을 원한다. 진실보다 더.

이게 21세기의 비극이다. 기계가 우리를 죽이는 게 아니라, 우리가 기계에게 죽여달라고 부탁하는 것.

참고자료: