지난 9월 25일 실리콘밸리가 위치한 도시 산호세의 맥커널리(McEnery) 컨벤션센터. 페이스북이 6년째 진행하고 있는 세계 최대의 혼합현실(XR·가상현실과 증강현실 등을 통칭해서 일컫는 말) 관련 개발자회의인 ‘오큘러스 커넥트6’가 개최됐다. 연단에 선 페이스북의 앤드류 보스워드 오큘러스 가상현실·증강현실 헤드는 이렇게 이야기했다.

“많은 분들이 페이스북의 증강현실 스마트글라스를 기다려 오신 것으로 알고 있습니다. 그렇습니다. 우리는 증강현실 기반 스마트글라스를 개발 중입니다. 하지만 몇 년의 세월이 더 걸릴 것 같습니다. 아직 시제품(프로토타입)이 나온다는 신호도 없습니다. 기다리시는 동안 저희가 개발 중인 다른 프로젝트를 하나 알려드리겠습니다. 바로 라이브맵스(Live Maps)입니다.”

페이스북은 이 짧은 언급을 통해 자사가 개발하고 있는 두 가지 중요한 핵심 프로젝트를 한꺼번에 처음으로 공개했다. 증강현실(AR) 경험을 할 수 있는 스마트 안경과 전 세계를 입체적으로 구현한 3D 지도(라이브맵스) 두 가지다. 둘은 완전히 다른 제품이지만 하나의 공통점이 있다. 바로 증강현실(AR). 완전히 가상의 세상에서 새로운 것을 창조해 보여주는 가상현실(VR)과 달리 증강현실은 현실세계를 기반으로 디지털 정보와 지식을 접목한 것이라 할 수 있다. 대표적인 사례가 현실세계를 바탕으로 게임을 입힌 ‘포켓몬고’. 수년간 가상현실에 집중해 왔던 페이스북이 돌연 증강현실(AR) 쪽으로 비중을 크게 높인 모습을 보인 것이다.

최근 들어 실리콘밸리 기업들이 증강현실에 열을 올리고 있다. 페이스북뿐만 아니다. 구글, 애플, 엔비디아, 스냅 등 거의 대부분의 실리콘밸리 IT 기업들이 증강현실에서 기회를 보고 있다. 구글이 최근 구글맵스(Maps)에 증강현실 표지판 기능을 도입했고, 애플 역시 집 안에서 잃어버린 물건을 찾을 수 있게 해주는 증강현실 애플리케이션을 개발 중이라는 보도가 나왔다. 애플도 페이스북과 같은 스마트 안경을 개발하고 있다는 보도들이 잇따르고 있고, 그래픽칩 전문회사 엔비디아 역시 연구소에서 증강현실 안경을 만들고 있다. ‘스냅챗’을 운영하는 스냅 역시 수학문제를 증강현실로 풀 수 있고 사진을 찍어 피사체를 움직이게 하는 증강현실 소프트웨어를 내놓았다. 실리콘밸리에서 증강현실을 연구하지 않는 기업이 없을 정도로 모두가 이 분야에 관심을 갖고 있다.

실리콘밸리에는 증강현실을 둘러싼 분위기가 마치 10년 전 아이폰 출시 직전과 비슷하다고 말하고 있다. 현지 한 엔지니어는 “터치스크린을 활용한 팜톱(Palm Top) 개념의 컴퓨터는 애플이 아이폰을 내놓기 전부터 여러 회사에서 지속적으로 개발해 왔던 폼팩터”라며 “하지만 아이폰이 나오면서 비로소 시장이 완전히 열렸다”고 말했다. 지금 다양한 회사들이 증강현실 기술을 향해 함께 달려 나가고 있는 것을 보면 10년 전 아이폰이 발표되기 직전을 떠올리게 한다는 얘기다. 최근 마크 저커버그 페이스북 CEO도 이와 비슷한 이야기를 했다. 그는 ‘오큘러스 커넥트6’ 행사에서 가진 한 인터뷰에서 “가상현실이 TV라면 증강현실은 모바일과 같다”고 말했다. TV나 가상현실이 특정한 디바이스 앞에서만 보아야 하기 때문에 이동성이 떨어진다면, 모바일이나 증강현실은 이동하면서도 쉽게 즐길 수 있는 기술이라는 것이다. 그리고 그는 “증강현실이 다음 모바일이 될 것”이라고 말했다. 이처럼 오늘날 실리콘밸리에는 ‘넥스트 빅 싱(Next Big Thing)’이 증강현실이 될 것이라는 분위기가 팽배하다. 그리고, 그 이유에는 몇 가지가 있다.

▶하드웨어 & 소프트웨어 기술의 성장

증강현실이 수년 전과 달리 오늘날 각광받을 수 있는 이유는 하드웨어와 소프트웨어 기술의 성장이다. 먼저 하드웨어의 성장이 눈부시다. 불과 2년 전인 2017년만 해도 증강현실에 특화된 스마트폰이 별도로 개발될 정도였다. ASUS에서 발표했던 젠폰(ZenFone)은 증강현실을 하드웨어 설계에 처음으로 적용한 스마트폰으로 각광받았다. 젠폰은 핵심부품인 반도체 칩에서 시작해서 디스플레이까지 증강현실을 잘 구현할 수 있도록 설계된 것이 특징이었다.

그러나 불과 2년이 지난 지금 ‘증강현실’에 특화된 스마트폰이라고 브랜드를 달고 나오는 스마트폰은 없다. 이미 대부분의 스마트폰이 증강현실 소프트웨어를 충분히 돌릴 수 있을 정도로 성능이 좋아졌기 때문이다.

당장 애플의 아이폰에 들어가는 트루뎁스(Tru-Depth) 기술은 사용자로부터 피사체가 얼마나 떨어져 있는지를 측정할 수 있는 카메라와 반도체 기술의 조합이라 할 수 있다. 또한 현실세계 위에 디지털 그래픽을 바로 입힐 수 있는 반도체 기술에 있어 퀄컴 등의 반도체 설계회사들의 기술은 2년 전과 비교하기 어려울 정도로 수준이 높아졌다. 구글의 가상현실(VR) 총괄인 클레이 베이버 부사장(VP)은 지난 9월 매일경제신문과의 인터뷰에서 “그동안 스마트폰의 기술이 비약적으로 진보했기 때문에 증강현실을 구현하기 매우 좋은 환경이 됐다”고 말했다.

증강현실 소프트웨어 역시 많은 발전이 이뤄졌다. 구글, 아마존, 페이스북 등이 개발자들에게 증강현실 소프트웨어를 개발할 수 있는 다양한 툴킷들을 수년 전부터 제공해 왔기 때문이다. 페이스북은 여기에 다양한 증강현실 기술들을 마음대로 가져다 붙일 수 있는 플랫폼 ‘스파크AR’를 만들고 있다고 이번 ‘오큘러스 커넥트6’ 행사를 통해 밝혔다. 애플이 만드는 노트북 컴퓨터 ‘맥북’에 들어가는 운영체제(OS)인 카탈리나(Catalina)에는 아예 증강현실을 사용자들이 마음껏 구성해 볼 수 있는 소프트웨어 ‘리얼 컴포저(Real Composer)’가 내장되어 있다. 애플에서는 이 소프트웨어 제품을 “3차원으로 된 키노트(Keynote·애플의 프레젠테이션 소프트웨어)”라고 부르고 있다.

▶사용자 수의 비약적 증가

하드웨어와 소프트웨어 기술이 발전했다는 것은 스마트폰을 쓸 수 있는 개발도상국의 수많은 인구들이 증강현실 비즈니스의 사정권 안에 들어왔다는 뜻이 된다. 소득이 낮은 사람들이라 하더라도 증강현실이 돌아가는 스마트폰을 손에 넣게 된 것이다. 대표적인 나라로 ‘인도’가 있다. 시장 조사기관인 스트래티지 애널리틱스(SA)에 따르면 약 13억 명의 인구가 있는 인도의 스마트폰 보급률은 현재 25% 정도. 그러나 이 비중은 2022년이 되면 45%까지 성장할 것으로 전망된다. 현재 이 나라에서 활발하게 판매되고 있는 스마트폰은 샤오미를 비롯해 삼성전자의 중저가형 스마트폰들이다.

그런데 증강현실 기술들이 발전하면서 비교적 저가형 스마트폰에도 가동이 되는 애플리케이션들이 속속 개발되고 있다. 클레이 베이버 부사장은 “구글은 300~400KB의 작은 용량으로 증강현실 앱을 줄이는 작업을 진행했으며, 30~50달러의 값싼 안드로이드 스마트폰에서도 증강현실이 돌아갈 수 있도록 기능을 향상시켰다”고 말했다. 샤 라비 페이스북 반도체(실리콘) 헤드는 지난 10월 8일 열린 ARM테크컨 이벤트에서 기조연설을 통해 그동안 페이스북이 셀피(Selfie) 등을 통해 제공받은 수십억 개의 얼굴 데이터를 활용해 안면인식 인공지능 기술을 강화해 왔으며, 그 결과 매우 저용량의 데이터 트래픽과 저사양의 하드웨어만으로도 사람들의 얼굴과 이름을 매칭할 수 있는 소프트웨어 기술을 개발했다고 말했다. 베이버 부사장은 “불과 수년 전만 해도 증강현실을 가동시킬 수 있는 스마트폰은 매우 고사양 프리미엄 제품으로 분류됐다”면서 “하지만 이제는 누구나 가격에 관계없이 스마트폰만 있으면 증강현실을 사용할 수 있게 돼 빠르게 확산될 것”이라고 전망했다.

한마디로, 스마트폰 기술이 개발되면서 증강현실의 혜택을 볼 수 있는 사람들의 숫자가 비약적으로 늘어난 것이다.

▶사람들의 삶을 증진시키는 새로운 기능들

증강현실에는 많은 사람들의 삶을 편안하게 해줄 수 있는 기능들이 도사리고 있다. 예를 들어 구글의 클레이 베이버 부사장은 ▲표지판이 없어도 도시 곳곳을 찾아다닐 수 있는 증강현실 맵 ▲직접 사서 발라보지 않아도 사용했을 때의 느낌을 알 수 있는 증강현실 립스틱 ▲모르는 글자로 쓰인 표지판을 봐도 즉각 번역이 되는 카메라 등의 증강현실 서비스들을 소개했다. 이들은 스마트폰에서 일부 작동 가능한 기능들이다.

여기에 스마트 안경이 도입될 경우 할 수 있는 것들이 훨씬 많아진다. 샤 라비 페이스북 반도체 헤드는 쓰고 있으면 번역을 해 주고, 시력도 향상시켜주며, 음식의 칼로리를 알려주고, 아이가 열이 나는지, 멀리 있는 지역에서 소리가 얼마나 시끄러운지 등도 알려주는 다양한 기능들을 스마트글라스에 넣기 위해 노력중이라고 밝혔다. 그 중 특히 그가 강조한 기능 중 하나는 안면인식을 통해 상대방의 이름을 알려주는 기능이었다. 사람 이름이 기억나지 않더라도 스마트글라스를 통해 상대방을 보면 그 사람의 이름이 누구인지를 알려주는 것이다.

여기에 페이스북이 만들고 있다고 밝힌 ‘라이브맵스’는 전 세계 24억 명의 페이스북 유저들이 현재 특정 지역에서 이뤄지고 있는 일들을 ‘페이스북 라이브’로 실행하면 이를 증강현실 맵으로 지도상에서 볼 수 있는 솔루션을 지향한다. 이 맵이 완성된다면 전 세계 어디서든 직접 가보지 않아도 지금 상황이 어떤 상태인지를 미리 알 수 있게 되는 것이다. 예를 들어 서울 강남 사무실에 앉아서 강북 광화문 앞 교통상황이 현재 어떤지를 지도로 알 수 있게 되는 것. 증강현실로 순간이동을 하게 되는 셈이다.

▶스마트글라스까지는 아직 먼 상태

그러나 증강현실을 현재 지원할 수 있는 최적의 디바이스가 스마트폰이라는 점은 한계 중 하나로 꼽힌다. 비록 스마트폰이 매우 유용한 디바이스임에는 틀림없지만 증강현실을 적용하기에는 안경만큼 좋은 제품이 없다. 늘 끼고 다닐 수 있기 때문이다. 반면 스마트폰으로 증강현실을 이용하려면 카메라를 작동시켜야 하고, 손으로 들고 현실세계를 바라보아야만 한다. (배터리 소모가 클 뿐만 아니라 장시간 사용할 경우 팔이 아플 수 있다.) 그런데 스마트 안경을 개발하기까지는 아직 난관들이 많다. CNBC에 따르면 페이스북이 개발하고 있는 스마트 안경의 경우 제품의 크기를 줄여서 사용자가 편안하게 느낄 만큼 발전시키려 했으나 어려움을 겪고 있다. 늘 착용하고 있는 안경이기에 충전의 불편함을 없애려면 배터리 사용량을 늘려야 한다. 그러려면 중량이 늘어나야 하고, 부피 또한 커질 수밖에 없는 것이다. 구글이 2013년 발표했던 구글글라스 역시 증강현실이 접목된 안경이었지만 비싼 가격과 사생활 논란 등으로 현재 많은 이들의 기억 속에서 사라졌다. 게다가 오늘날 많은 사람들이 기대하는 증강현실의 기능들을 구현하기에는 2013년 발표된 구글글라스로는 불충분할 수밖에 없으며, 지금보다 한층 더 높은 수준의 하드웨어 기술이 필요하다.

실리콘밸리에서 증강현실을 적용한 광학제품을 연구하는 한 엔지니어는 “현재 하드웨어 기술로는 사람들이 무게를 안경과 같은 수준이라고 느낄 수 있을 만한 스마트 안경을 제조하기란 거의 불가능에 가깝다”고 말했다. 샤 라비 페이스북 헤드도 얼굴에 착용하는 안경을 만들기 위해서는 배터리 용량이 작아야하기 때문에 에너지 소모를 최소화할 수 있는 제품설계를 해야 하는데, 오늘날 증강현실에 요구되는 인공지능 기술들은 전력소모가 매우 크다는 점을 강조했다. 또한 4G나 5G 등과 같은 통신망을 이용해 인공지능에 필요한 데이터들을 클라우드 시스템과 주고받을 경우 전력소모가 매우 커지기 때문에 안경 내에 있는 칩에서 바로 인공지능을 소화할 수 있어야 하는데, 그러려면 매우 성능이 뛰어난 칩이 개발되어야 한다고 강조했다.

▶증강현실 생태계 지금보다 더 풍성해질 필요

애플이 아이폰을 등장시킨 2007년 이후 지금까지 애플을 비롯한 마이크로소프트, 삼성, 구글, 페이스북 등 IT 기업들이 지금까지 성장해온 과정은 현실세계를 디지털 세상으로 옮기는 거대한 여정이었다고 봐도 과언이 아니다. 그리고 증강현실이라는 기술이 새롭게 열어젖히는 영역은 마침 현실세계와 디지털세계가 겹치는 중간영역이라 할 법하다. 현실세계 위에서 디지털 세계를 덧칠해서 그릴 수 있고, 그렇게 만들어진 현실세계를 디지털로 저장할 수 있는 공간이다. 이 영역으로 이주해 오는 사람들이 많아지려면 해당 기술을 가능하게 하는 하드웨어 소프트웨어 공급자들의 생태계가 단단해야 한다. 페이스북, 구글 등이 자사의 증강현실 개발 계획을 일찍부터 발표하는 이유 또한 이 세계로 이주해 올 많은 기업가들을 끌어들이기 위해서라 할 수 있다. 비록 완성되지 않은 기술이라 하더라도 미리 알리고 함께 참가할 사람들을 모집하는 것이다.

이런 전략은 과거의 경험에서 나온다. 1993년 애플은 ‘손바닥 위 컴퓨터’라는 뜻의 ‘팜톱(Palm Top)’이라는 새로운 컴퓨터를 내놓았다. 흑백의 터치스크린에 펜이 장착되어 있었고 4MB의 메모리를 갖고 있어 간단한 메모와 캘린더 작업을 할 수 있었다. 사과가 떨어지는 것을 보고 중력의 법칙을 떠올렸다는 아이작 뉴턴의 이름을 따서 ‘뉴턴’이라고 이름 붙여진 이 컴퓨터는 당시에는 기술적으로 선진적 형태의 기계였다. 오늘날에도 ‘뉴턴’은 세계 최초의 태블릿 컴퓨터로 역사에 기록돼 있다. (이 사실은 영원히 변하지 않을 것이다.) 하지만 ‘뉴턴’은 실패했다. 여러 가지 이유가 있지만, 결정적 이유 중 하나는 ‘하드웨어 소프트웨어 생태계가 조성돼 있지 않은 상태에서 혼자만 너무 빨랐다’는 것이다. 실제로 팜톱 전용 하드웨어와 소프트웨어를 고도화시킬 이들은 거의 나타나지 않았다. 결국 당시로는 큰 돈이었던 1억달러를 쏟아 부었던 이 프로젝트는 1993년 시작 이후 1998년 실패로 판명났다. 스티브 잡스가 1998년 애플의 CEO로 복귀하게 된 가장 큰 배경이 바로 전임 CEO였던 존 스컬리의 역점 프로젝트 ‘뉴턴’의 실패였다. 정확하게 10년 뒤 스티브 잡스가 ‘손안에 들어오는 컴퓨터’ 아이폰을 들고 등장하게 되니, 역사의 아이러니가 아닐 수 없다. 과연 증강현실은 ‘뉴턴’이 될 것인가, ‘아이폰’이 될 것인가.

[신현규 매일경제 실리콘밸리 특파원 ]

[본 기사는 매경LUXMEN 제110호 (2019년 11월) 기사입니다]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]