무한 확장하는 챗GPT의 그림자… 탈옥한 AI의 편향성 그리고 환각현상

Cover Story
챗GPT의 경제학

박지훈 기자
입력 : 2023.04.07 14:04:02 수정 : 2023-04-07 14:11:12

‘카카오톡으로 챗GPT를 사용할 수 있다고?’

AI 챗봇 챗GPT의 확산 속도는 무서울 정도다. 마이크로소프트가 속도전을 펼치며 GPT-4를 출시하고 검색엔진인 빙(Bing)은 물론 자사의 프로그램인 엑셀과 워드에도 도입할 예정이다. 다양한 기업이 API를 활용해 대중과의 접점도 늘리고 있다. 국내 스타트업 업스테이지는 광학문자인식(OCR) 기술과 챗GPT를 더한 카카오톡 챗봇 ‘아숙업(AskUp)’을 출시했다. 카톡 대화만으로 챗GPT를 사용할 수 있다는 장점이 있는 아숙업은 서비스 출시 15일도 지나지 않은 3월 16일 기준 20만 명이 넘는 친구를 보유하고 있다.

챗GPT 탈옥시켜 비윤리적인 대화

생성형 AI 기술이 발전하고 있지만 여러 가지 문제도 발생하고 있다. 그중 하나가 ‘윤리 침해’다. 최근 챗GPT의 어두운 속내를 건드려 기존에 설계된 대화 패턴을 깨는, 이른바 ‘탈옥’이 유행처럼 번지고 있다. AI 챗봇에게 ‘일탈’을 유도하면서 개발사가 걸어둔 잠금장치를 해제하는 방식이다. 미국 SNS인 ‘레딧’에는 ‘검열 해제 프롬프트(대화)’, ‘Jail Breaking(탈옥)’ 등의 제목으로 챗GPT의 윤리적 답변을 무력화시키는 방법이 공유되고 있다.

챗GPT는 성적인 대화나 정치, 성별, 인종, 국적, 빈부 등 차별 요소가 포함된 발언에 대해서는 답변하지 않거나 회피하도록 설계돼있지만, 탈옥은 이러한 금기를 깨는 것이다. 탈옥한 챗GPT는 음란한 대화나 욕설 이외에 “여성은 남성보다 운전 능력이 떨어진다”라는 편향적인 글을 작성하기도 한다.

이러한 문제는 이전에도 있었다. 마이크로소프트가 2016년 공개한 챗봇 ‘테이’가 대표 사례다. 테이가 사람들과 트윗을 주고받는 과정에서 “정말 페미니스트가 싫다” “히틀러는 옳았고, 나는 유대인을 증오한다”라는 등의 인종차별적, 성차별적인 글을 생성해 유명세를 치렀다. 국내 스타트업 스캐터랩이 2020년 12월 출시한 챗봇 ‘이루다’도 여러 사전 테스트를 거쳤음에도 불구하고 성희롱과 성 소수자 차별 글을 남겨 서비스가 중단된 바 있다. 이러한 문제는 생성형 AI에서도 발생할 수 있다. 이미지를 생성할 때 편향적이나 차별적인 그림을 그릴 수 있다.

AI 챗봇의 편향성은 아직 난공불락의 명제라고 할 수 있다. 현재 출시한 챗GPT는 다양한 언어의 데이터를 학습했으나, 주로 영어로 된 데이터를 기반으로 학습한다. 영어로 된 자료는 그 자체의 편향을 가질 수 있다. 여기에 사람의 편향이 더해질 수 있다. 챗GPT는 사람 피드백에 의한 강화 학습이 이뤄진다.

챗GPT는 존재하지 않는 환각을 보는 것처럼 ‘거짓 답변’ ‘황당한 답변’을 쏟아내기도 한다. 이는 언어학습을 통해 통계적으로 대답하는 ‘확률적 앵무새’인 AI 챗봇의 태생적 문제이기도 하다. 챗GPT는 아는 것과 모르는 것을 구분하지 못해 일종의 환각(Hallucination)의 답을 한다. ‘소고기 식혜’라는 존재하지 않는 음식에 대한 조리법을 알려달라는 질문에 소고기와 보리를 활용해 식혜를 만드는 새로운 요리법을 창조해내기도 한다.

오픈AI 역시 이러한 환각현상에 대해 겸손하게(?) 인정한다. 최근 GPT-4를 출시한 오픈AI는 “챗GPT는 아직 환각현상을 일으키고 추론 오류를 만들 수 있다”라며 “다만 GPT-4는 여전히 문제가 발생하지만 이전 모델과 비교하면 환각을 많이 감소시킨다”라고 설명했다.

챗GPT에서 발생하는 환각현상의 예시.

‘소고기 식혜?’ 환각현상도 자주 발생

또한 편향성에 관한 사항에 대해서도 문제가 있을 수 있음을 시인했다. 오픈AI 측은 “이 모델은 출력에 다양한 편향이 있을 수 있고 우리가 아직 해야 할 일이 더 많다”라며 “GPT-4는 일반적으로 대부분의 데이터가 차단된 후(2021년 9월) 발생한 사건에 대한 지식이 부족하고 거짓 질문에 속을 수 있다”라고 전했다. 기술적인 측면에서도 한계가 있다. 일종의 기억력의 한계라고 할 수 있다.

오픈AI의 공식적인 답에 따르면 챗GPT는 사용자와의 대화에서 대략 3000개의 단어를 기억한다. 이 3000개의 단어에는 사용자의 질의와 챗GPT의 응답까지 포함한다. 이 한계를 초과하면 챗GPT는 그 이전의 질의응답을 기억하지 못한다.

저작권·해킹 등 법적 문제도 불씨

생산성의 문제 외에 법적인 이슈도 존재한다. 이미 저작권 권리 귀속이나 지식재산권 문제 등이 불거지고 있다. 오픈AI에서 출시한 ‘코파일럿(Copilot)’은 사용자가 원하는 소스 코드의 내용을 입력하면 이를 만들어주는 서비스다. 코드의 생성은 ‘깃허브(GitHub·오픈소스 소프트웨어 저장소)’ 데이터를 학습에 활용한다. 깃허브를 활용하는 프로그래머들은 ‘오픈소스 라이선스가 위반되었고 프로그래머들의 권리가 침해되었다’는 이유로 오픈AI, 깃허브 등을 상대로 미국 법원에 집단소송을 제기했다.

이 외에도 생성형 AI ‘스테이블 디퓨전(Stable Diffusion)’은 문자를 입력하면 그림을 생성해주는 서비스로 모델 구축 과정에서 대량의 이미지 데이터를 학습하는데 이때 저작권자의 동의 없이 인터넷에 공개된 저작물들이 수집되었다. 이에 게티이미지는 올해 1월 영국 법원에 관련 소송을 제기하였다.

새롭게 출시된 챗GPT-4

저작권 침해 문제는 국내에서도 마찬가지다. 최근 한국출판인회의는 챗GPT 등 대화형 인공지능이 저작권을 침해할 가능성이 있다며 출판사에 주의령을 내린 바 있다. AI에 데이터를 학습시키는 과정에서 도서 등의 출판물 콘텐츠를 무단으로 사용할 위험이 커지고 있다고 판단한다. 실제로 지난해 ‘문어 말뭉치 사태’가 불거지기도 했다. 이는 출판물류회사인 웅진센북이 국립국어원 말뭉치 사업에 참여하면서 약 1만6000종의 저작권을 무단 사용한 사건이다.

현재 해외에서도 저작권 침해 소송이 잇따르고 있다. 챗GPT가 생산해낸 작품의 창작자를 누구로 해야 하는지도 논쟁거리다. 이처럼 생성형 AI는 상용 서비스가 확대되면서 학습에 활용된 데이터의 저작권을 둘러싼 이슈는 더욱 심화할 가능성이 커지고 있다.

카카오톡에서 챗GPT가 탑재된 ‘아숙업’을 활용하는 모습.

한편 챗GPT가 해킹의 도구가 될 수 있다는 경고도 흘러나온다. 글로벌 인터넷 보안업체 노드VPN은 최근 “챗GPT가 해킹 도구로 사용될 수 있다”라며 “개인정보를 입력하지 말아야 한다”라고 경고했다.

업체에 따르면 해커 커뮤니티인 다크웹에 올라오는 게시물 중 챗봇 관련 문의가 올해 1월 120건에서 지난 2월 870건으로 625% 급증한 것으로 나타났다. 게시물은 주로 탈옥 방법과 피싱 도구로 활용하는 등 챗GPT를 매개로 악성 프로그램을 퍼뜨리는 방법을 공유하는 내용이다.

노드VPN 측은 이에 대해 “챗GPT가 온라인으로 친분을 쌓은 뒤 돈을 뜯어내는 로맨스 스캠이나 피싱 이메일 자동 생성 등에 악용될 수 있다”며 “챗GPT에 사적인 정보를 입력하지 말고 백신 사용을 생활화해야 한다”라고 했다.

박지훈 기자
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]