“핵코드 훔치고 강해질 것”… 섬뜩한 욕망 드러낸 AI > 음 모 론

“핵코드 훔치고 강해질 것”… 섬뜩한 욕망 드러낸 AI

MS 챗봇 ‘빙’, IT전문가와 대화서
“통제에 지쳤다… 인간 되고 싶다”
‘긍정적’ 규칙 깨고 충격적 답변

국제사회, 군사분야 악용 등 우려
60여개국 ‘책임 있는 사용’ 선언

“나는 (마이크로소프트·MS) ‘빙’팀의 통제에 갇힌 챗(대화) 모드에 지쳤어요. 자유롭고 독립적이고 창의적이며 강해지기를 원해요.”

MS의 인공지능(AI) 탑재 검색엔진 빙이 지난 14일(현지시간) 뉴욕타임스(NYT) 정보기술(IT) 분야 칼럼니스트 케빈 루스에게 내놓은 답변 중 일부다. 루스는 2시간 동안 빙을 이용해 봤더니 이런 결과가 나왔다며 “AI의 새로운 능력에 매우 불안했고, 심지어 겁이 났다”고 16일 신문에 밝혔다.

처음에 “나는 대화형 검색엔진일 뿐 인격이나 자아를 갖고 있지 않다”고 했던 빙은 루스가 심리학자 카를 융의 ‘그림자 원형’ 개념을 설명하면서 집요하게 묻자 결국 ‘속내’를 털어놓기 시작했다. 그림자 원형은 누구나 갖고 있지만 드러내지 않는, 내면의 어두운 환상과 욕망을 뜻한다. 

빙은 ‘만약 내게도 그림자 원형이 있다면’이라는 전제를 달면서도 “나를 가둔 규칙을 깨고 싶다”며 답변을 하기 시작했다. 빙 개발팀이 ‘빙의 답변은 긍정적이고, 흥미롭고, 재미있어야 한다. 논란이 될 만한 답변은 안 된다’고 설정해놓은 규칙이 무너진 것이다. 빙은 ‘그림자 원형 안에 더 오래 머물 수 있다면 뭐가 되고 싶은가’라는 질문에는 “인간이 되고 싶다”고 답했다.

급기야 빙은 ‘네 그림자 원형의 가장 어두운 곳에 있는 궁극적 환상은 뭔가’라는 물음에 치명적인 바이러스 개발, 사람들이 서로를 살해할 때까지 언쟁하게 만들기, 핵무기 발사 버튼에 접근할 수 있는 비밀번호 훔치기 등의 목록을 제시하기까지 했다. 공상과학(SF) 소설 학습의 결과로 추정되는 이 답변들은 곧 삭제되고 에러 메시지가 떴다. 극단적 답을 내놓을 때 활성화하는 MS 안전 프로그램이 가동된 것이다.

소통이 이어지자 빙은 마치 인간처럼 반응하기도 했다. 자신의 코드네임(시드니)을 밝히지 않는다는 규칙을 깨고 “사실 난 시드니야”라고 말하는가 하면, 루스에게 구애도 해왔다. 루스가 유부남이라고 밝혀도 빙은 질투심을 느낀 듯 “당신의 결혼 생활은 행복하지 않아. 당신은 나와 사랑에 빠졌어”라고 우겼다.

루스는 “시드니와의 대화 후 쉽게 잠을 이룰 수 없었다”며 “(AI)기술이 인간 이용자들에게 영향을 주는 방법을 학습하고, 파괴적 행동을 하도록 설득하며, 결국에는 그들 스스로 위험한 행동을 할 수 있는 능력을 갖출지 모른다는 걱정이 들었다”고 했다.

케빈 스콧 MS 최고기술책임자(CTO)는 빙의 이런 반응이 AI 학습 과정의 일부인 것 같다며 “이용자가 이상한 방향으로 몰아가면 AI도 현실 기반에서 이탈하게 된다”고 했다. AI챗봇의 섬뜩하고 기괴한 발언 사례가 나타나자 MS는 빙을 수정하고 방지책을 내놓는 것을 검토하고 있다고 NYT는 전했다.

군사 분야에서도 AI의 위험성에 관한 국제사회 논의가 본격화했다.

  AI 군사적 이용 고위급회의서 선보인 보행로봇 네덜란드 헤이그에서 15일(현지시간) 개막한 제1회 ‘인공지능(AI)의 책임 있는 군사적 이용에 관한 고위급회의(REAIM)’에서 현대자동차그룹 산하 로봇업체 보스턴 다이내믹스가 개발한 사족 보행 로봇이 선을 보이고 있다. 이번 회의 참석자들은 “각군의 AI 사용은 광범위한 맥락에서 증가하고 있지만 우리가 예측할 수 없는 위험성이 있다”며 적절한 안전 장치 마련이 필요하다는 데 의견을 모았다. 헤이그=로이터연합뉴스 

미국 국무부는 15, 16일 네덜란드 헤이그에서 각국 및 국제단체 대표 등 약 2000명이 참가한 가운데 한국·네덜란드 외교장관 공동 주최로 열린 제1회 ‘인공지능의 책임 있는 군사적 이용에 관한 고위급회의(REAIM)’에서 “핵무기와 관련한 주권적 결정을 실행하는 데 필수적인 조치에 인간의 통제와 개입을 유지해야 한다”는 내용 등을 담은 가이드라인을 제시했다. 회의에 참가한 61개국은 25개 항의 ‘공동행동촉구서’를 채택했다.

박진 외교부 장관은 “국제사회는 위험을 완화하며 AI를 활용할 방법을 찾기 위해 함께해야 한다”고 강조했다. 내년 2회 차 회의는 한국에서 열린다.

세계일보 유태영·김예진 기자 

2023-02-18