엄청나게 쏟아지는 디지털 데이터는 제대로 관리하지 못한다면 한계를 가진 저장 공간을 차지하는 쓰레기와 다를 바 없다. 도시광산에서 버려진 가전제품을 녹여 금맥을 찾아냈듯 빅데이터는 활용가치에 따라 결과물이 달라지는 0과 1로 된 디지털 보물지도라 할 수 있다. 그동안 다루기 힘들고 복잡하고 오래 걸렸던 이른바 비정형 데이터들을 가공하고 아이디어와 접목시킨다면 빨라진 연산처리 등을 활용해 새로운 가치로 재탄생시킬 수 있다. 데이터는 단순히 ‘엄청난 양의 정보 집합체’로 의미를 갖는 것이 아니라 데이터 간의 연결고리를 찾아 분석해 냄으로써 인사이트(Insight)를 얻을 수 있는 열쇠라는 점이 중요하다. 미래를 예측하고 대응할 수 있는 힘과 일맥상통한다. 산업 영역에서 아직 초기 단계이지만 ‘예측’ 영역과의 접목을 시도하고 있다.

매년 초 미국 라스베이거스에서 열리는 세계 최대의 가전쇼 북미소비자가전쇼(CES)에서 도요타 자동차는 구글과 함께 새로운 버전의 무인자동차를 선보였다. 인텔의 고성능 칩이 8개 이상 장착된 이 자동차는 방대한 양의 데이터를 서버의 메인 메모리에 보관하고 실시간으로 분석할 수 있는 인메모리시스템을 갖추고 있다. 도로 사정은 실시간 변하지만 수많은 센서들이 변화를 감지하고 영상, 고도, 온도, 습도 등의 비정형 데이터들을 계산해 자동차와 교신하면서 운전자 없이도 무인운항을 할 수 있게 하는 것이 특징. 비행기는 이미 무인항법 장치가 개발돼 있지만 항로보다 도로에선 훨씬 더 변수가 많다. 비행기보다 작은 자동차에 작은 규모의 데이터 처리 장치와 송수신 장치를 갖춰야 하는 것도 쉽지 않다. 고도의 빅데이터 처리 능력이 사실상 무인운전 자동차의 상용화 시기를 결정지을 수 있다고 해도 과언은 아니다.

바짝 다가온 지능형 시대 아직 초기 단계이지만 빅데이터는 ‘예측’ 영역과의 접목을 시도하고 있다. 이는 스마트 기기가 스스로 생각하는 ‘지능형 시대’를 예고하고 있다. 구글이 개발한 무인 자동차가 그 대표적인 예다. 구글은 정교한 위성항법장치(GPS)를 접목한 정보 분석 시스템으로 자동차 스스로 장애물을 피하고, 안전하게 목적지까지 운행할 수 있도록 했다. 자동차 곳곳에 달린 센서가 주변 상황에 관한 데이터를 수집하고 중앙 컴퓨터가 이를 분석해 주행의 안정성과 효율성을 높이는 기술이 바로 빅데이터를 활용한 기술이다.

현재 구글 무인자동차는 1초에 1기가바이트(GB)의 정보를 처리하는 수준이다. 하지만 센서와 통신망, 분석 툴의 발전으로 실시간 엄청난 데이터를 모으고 분석할 수 있게 되면 무인자동차와 같은 지능형 기기는 엄청난 파급효과를 낼 것으로 보인다.

최근 불황을 겪고 있는 TV 사업도 빅데이터를 활용해 희망적인 시도를 하고 있다. TV에 평소 생활패턴 등을 분석해 유료 방송 등을 추천해 주는 서비스들이 인기를 끌고 있기 때문이다. 올 초 삼성전자가 S레코멘드라는 기술을 적용한 TV를 발표했고 북미 IPTV 사업자는 사용자의 이용 패턴을 분석한 후 개인화된 추천을 시작하면서 실제 유료 서비스 사용이 늘고 있다.

고객 행동패턴 분석 맞춤 서비스 빅데이터는 서비스 산업 분야에서도 혁신의 물결을 일으키고 있다. 글로벌 이동통신사업자 보다폰은 통화상세기록 분석 시스템을 구축해 고객 행동패턴을 분석해 고객 민원이 콜센터에서 팀장급으로 확산되는 비율을 90%나 줄였고, 문제 해결 시간도 67%나 단축시켰다. 국내에서도 BC카드가 결제 실패 원인을 계산해 소비자 불편 해소에 나섰다. KT 계열의 넥스알과 손잡고 결제가 실패하는 이유를 분석해 소비자의 불편이나 시스템상의 오류를 수정하는 절차에 들어간 것이다.

대부분의 카드사들은 결제 실패 원인이 통신망 장애에 있는 것인지 은행 서버에 문제가 있는 것인지 아니면 고객 개인카드의 문제인지 구분하지 못한 상태에서 대응해 온 것이 사실이다. 실패 사례에 대한 방대한 데이터가 수집됐지만 이를 분석해 내지 못해 사실상 의미 없던 데이터만 쌓여 있던 것에서 벗어나 이를 개선하고 고객의 만족도를 높이는 데 데이터가 올바르게 사용되기 시작한 것이다.

모든 기업의 도전과제 빅데이터 제조업 분야에도 빅데이터가 침투하고 있다. 국내 글로벌 부품 업체는 최근 완성제품 불량률 모니터링에 빅데이터를 적용했다. 지금까지는 그림 파일로 저장된 불량품들의 사진들은 사실상 아무런 가치 없이 공장 서버의 공간만을 차지하는 애물단지에 불과했지만 복잡한 데이터를 빠르게 분석하는 빅데이터 기술이 적용되자 다시 이를 제조 공정상에 피드백함으로써 불량의 원인을 찾는 근본적인 데이터로 활용되고 있는 것이다.

IT컨설팅 업체인 액센츄어는 미국 GE항공부문과 손잡고 텔라리스라는 업체를 인수했다. 이 회사의 지능형 운영(Intelligent Operations) 시스템은 엄청나게 많은 센서를 항공기에 설치해 수집된 자료를 빅데이터로 모니터링해 항공기 정비 문제를 사전에 진단·예측해 지연 출발과 항공편 취소를 사전 예방한다. 보통 항공사는 비행 지연으로 연간 400억달러 비용을 부담한다. 비행 지연 중 10%는 예상치 못한 항공기 정비 문제와 관련 있다. 폴 도허티(Paul Daugherty) 엑센츄어 최고기술경영자(CTO)는 “빅데이터는 모든 기업의 도전과제이며 비즈니스 디지털화 정도가 미래 혁신과 사업 확장의 비결”이라며 “그 중심에 빅데이터가 있고 이것은 모든 기업의 도전과제”라고 말했다.

빅데이터는 권력… 빅브라더 현실로 정치에서 빅데이터는 권력과 동의어로 사용될 정도다. 권력을 잡기 위해 빅데이터를 분석하고 그 권력을 유지하기 위해 빅데이터가 활용된다. 과거 동독의 비밀경찰 슈타지, 북한의 오호담당제처럼 주민 일거수일투족을 감시하는 빅브라더 얘기가 아니다.

시·공간적으로 산재돼 있는 수많은 데이터의 조각을 모아 특정 개인을 식별해 내는 게 이미 가능하고 이에 대한 전략도 바로 만들어낼 수 있다. 대선을 앞두고 미래를 알기 위해 각 후보 진영에서 점술가를 찾는다는 소문은 어느 나라를 막론하고 들리는 이야기다.

미국 대선 때 블로거이자 30대의 통계전문가인 네이트 실버가 바로 그다. 실버는 2008년 미국의 50개 주 중 49개 주의 대선 결과를 그 누구보다도 정확히 예측했고, 총선에서도 상원 당선자 35명 전원을 맞췄다.

당연히 엄청난 유명세를 탔고 많은 사람들이 그의 예측에 주목했다. 그가 블로그(Five ThirtyEight.com)에 글을 올릴 때마다 민감해진 각 당이 비중 있는 논평을 내놓기에 바빴다. 두 후보가 박빙의 경쟁률을 보인 가운데 첫 토론회가 열렸고 공화당 후보 롬니의 기대치 않던 약진으로 대부분의 여론조사기관이 롬니의 승리를 예측했다.

그러나 실버는 오바마의 승리를 점쳤고, 결과는 역시 50개 주의 결과를 모두 맞춘 그의 승리로 끝났다. 빅데이터 활용은 국내 정치에서도 주목받고 있다. 지난해 박근혜 대통령의 국민행복캠프는 엄청난 분량의 소셜데이터를 분석하는 SNS본부를 설치했다.

생명도 구한다 의료는 빅데이터 효과를 가장 극대화할 수 있는 분야로 꼽힌다.

<빅데이터가 만드는 세상>의 저자 빅토르 마이어 쇤버거 옥스퍼드대 교수는 “빅데이터는 생명을 구한다”고 단언한다. 정지훈 명지병원 IT융합연구소장은 의료계 빅데이터 분석이 두 가지 방향으로 발전하고 있다고 소개했다. 하나는 개인과 관련된 다양한 생활패턴과 데이터를 분석해 건강을 관리해주는 비즈니스다. 손목에 차고 다니면서 맥박, 심전도 등을 체크해주는 나이키의 ‘퓨얼밴드’ 등이 대표적이다. 다른 하나는 맞춤형 유전자 분석이다. 테라바이트급에 달하는 인간의 방대한 염기서열 정보를 분석해 개인별 맞춤형 약·치료를 제공하는 것이다. 정 소장은 “염기서열 분석은 얼마 전까지만 해도 억원대였는데 현재 1000만원 이하로 떨어졌다”며 “앞으로 수백, 수십만원대가 될 것”이라고 말했다.

사교육업체 발 빠르게 데이터 수집 분석 빅데이터는 사람마다 다른 학습능력에 최적의 교육 시스템을 제공할 수 있을 것으로 기대된다. 발 빠른 사교육업체를 중심으로 이미 이러한 데이터 수집과 분석에 들어갔다.

학생 성향과 성적, 수행평가 등 다양한 데이터를 분석해 어느 대학에 지원할지를 컨설팅하는 정도는 이미 상당한 수준까지 발전해 있다. 민 컨설턴트는 “대입 전형만 3000개가 넘는 우리나라는 이러한 분석에서 가장 앞서 있다”며 “방대한 데이터를 활용해 어떤 가치를 창출해 낼 것인가가 교육계 핵으로 떠오를 것”이라고 말했다.

구글 검색어로 주식투자 놀라운 결과 금융 역시 빅데이터 분석을 통해 기대 이상의 성과를 거두는 분야다. 영국 워윅 비즈니스스쿨 연구팀의 구글 검색어를 활용한 주식투자 실험은 ‘빅데이터 금융’의 놀라움을 보여주는 사례다. 연구팀은 구글 검색어 가운데 매출, 실업, 신용, 금속, 외환 등 98개 키워드를 선정해 시장 변화를 관찰했다.

2004년부터 2011년까지 7년간 이들 검색어 빈도와 시장변화 사이의 상관성을 분석했다. 이를 기반으로 다우존스 산업지수 관련 상장지수펀드(ETF)에 투자했다. 그 결과 7년간 수익률이 33%에 달했다. 같은 기간 다우존스 산업평균 상승률이 11%였던 것을 감안하면 시장 수익률을 웃도는 성과다. SNS 분석을 통해 기대 이상의 수익을 달성한 더원트캐피털마켓은 지난 2011년 세계 최초로 트위터 기반 헤지펀드를 내놓기도 했다.

싸이 강남스타일 성공 뒤엔 빅데이터 있었다 인간만의 독창성과 감수성에 호소하는 문화·예술 분야에서도 빅데이터는 위력을 발휘할 수 있을까. 대답은 ‘예스’다. 말춤으로 세계 스타 반열에 오른 가수 싸이의 강남스타일 성공 뒤에도 빅데이터가 있었다. 요즘은 단순히 댓글을 분석해 트렌드를 추정하는 수준에 그치지 않는다. 데이터를 통해 대중 성향과 행동 변화까지 포착해 향후 음악 트렌드나 공연장소 선정, 마케팅 전략 수립에도 활용한다.

[이동인 매일경제 모바일부 기자]

[본 기사는 매일경제 Luxmen 제34호(2013년 07월) 기사입니다]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]