데이터 경쟁력 역사상 주요 과학혁명들이 나타나기 전에는 대부분 측정의 혁명이 먼저 일어났다. 지난 수년간 기업들은 측정 부문에서 혁명적 변화를 경험했다. 그 결과 고객 동태, 기업 내 각 프로세스의 수행 내용 및 직원들의 업무 현황 등을 훨씬 더 상세하게 파악할 수 있게 됐다. 이처럼 측정에서 나타난 거대한 개선은 차별화된 경영을 위한 새로운 기회를 창출하고 있다.

우리는 많은 기업들이 직관에 기반한 의사결정에서, 데이터와 분석도구에 기반한 의사결정으로 전환하고 있음을 확인할 수 있었다. 이 변화의 결과 생산성과 기타 성과지표들은 측정 가능한 수준으로 개선되고 있다. 보다 구체적으로, 데이터나 분석도구의 활용이 1 표준편차 정도 늘어나면 생산성은 약 5~6% 향상되며 수익성 신장은 이를 다소 상회할 정도로 상관관계가 있는 것으로 조사됐다. 다시 말해 의사결정 방식을 바꾸는 것만으로도 경쟁업체를 상회하는 성과를 달성할 가능성이 높아질 수 있다는 의미다.

데이터 중심 기업으로의 전환 이를 위해서는 반드시 갖춰야 할 요소들이 있다. 첫 번째는 더욱 정밀한 수준으로 성과를 측정할 수 있는 역량, 즉 기술적 인프라를 구축하는 것이다. 다음은 필수적인 일련의 스킬을 확보해야 한다. 이는 첫 번째 조건보다 더 어려운데 분석 역량 뿐 아니라 해당 사업에 대한 이해 및 일련의 태도까지도 포함한다. 세 번째 요소는 데이터 사용 방안에 대한 문화적 변화로, 가장 드러나지 않을 수 있지만 가장 중요성이 크다고 볼 수 있다. 많은 기업들이 데이터를 활용하고 있다고 생각한다. 실제로 경영진의 프레젠테이션에는 막대그래프, 원그래프 및 수치들이 빈번히 등장한다. 그러나 이러한 데이터들은 이미 내려진 의사결정에 대한 확인 및 지원 차원에서 언제나 사용되어 왔다. 또한 새로운 사실이나 최적의 해법을 도출하는 데 그 목적이 있었던 것이 아니다. 문화적 변화란 경영진들이 “그것 참 흥미로운 문제이자 흥미로운 질문이로군. 답변을 도출하기 위한 실험을 추진해보세”라고 기꺼이 말할 수 있는 것을 의미한다. 너무도 많은 관리자들이 이러한 기회를 인식하지 못할 뿐 아니라 대용량 데이터를 통해 경쟁방식이 전적으로 바뀔 수 있음을 이해하지 못하고 있다. 확신이 서지 않을 때 “나는 감으로 알 수 있네. 오랜 경험이 쌓이다 보면 무엇이 답인지를 알 수 있지”라고 말하기보다는 “데이터를 통해 검토해 봐야겠네”라고 할 수 있는 자세가 절대적으로 필요하다. 그간 많은 관리자들이 암묵적으로 혹은 공공연하게 경험에 의한 자신감의 표출을 통해 인정받고 보상을 받아 왔다. 그러나 이제는 전혀 다른 종류의 자신감이 요구된다. 데이터로 설명할 수 있는 용기와 의지가 필요하다.

한 CEO는 이러한 태도를 갖기 시작하면서 고위 경영진의 50% 이상을 재편해야 했다고 털어놨다. 그들은 왜 이렇게 해야 하는지 전혀 이해하지 못하고 있었기 때문이다. 과정은 매우 고통스러웠지만 결과는 매우 성공적이었다. 업계 내 선두 그룹으로 도약하기를 원한다면 최고경영진 차원에서 적어도 이 정도의 개입은 불가피하다.

필수 역량 통계적으로 유의미한 결과를 도출하기 위해 충분한 데이터를 확보하는 것 자체는 어려운 일이 아니다. 데이터는 이미 차고 넘쳐나기 때문이다. 그보다 더 중요한 것은 표본 도출 방법이나 실험 설계기법 및 엄청난 용량의 데이터에 압도되지 않고 이를 분석해 내는 역량에 있다. 기업 내부를 살펴보면 데이터를 사용하고 있는 조직 부문들이 크게 바뀌고 있는 것을 관찰할 수 있다. 이제는 마케팅 및 고객 관련 부서(고객관계 관리)가 최대 데이터 수요를 지닌 부문으로 등장하고 있다. 이들은 CIO의 가장 긴밀한 공조 대상이기도 하다. 이러한 변화는 기존의 재무적 수치 데이터 중심에서 모든 종류의 비재무적 지표로 이행해가는 과정에서 나타나는 거대한 혁명의 일부라고 할 수 있다.

비재무적 지표들은 비즈니스 현황에 대한 보다 신속하고 정확한 척도로 종종 기능하기도 한다. MIT 출신 박사이자 카이사르 엔터테인먼트 CEO인 개리 러브만은 이러한 기법을 적용해 해당 업계에 큰 혁명을 가지고 온 바 있다. 그와의 대화 중 흥미로운 사실을 발견했는데 시간이 지날수록 고객만족도 및 기타 많은 중간지표를 더 많이 측정하게 된다는 것이다. 고객만족도 지표들이야말로 특정 정책 변화에 대한 반응을 보다 신속하고 정확하게 확인할 수 있는 지표로 작용한다는 것을 알게 됐기 때문이다.

고객의 만족·불만족도는 다음 해 해당 고객의 재방문 가능성에 영향을 미치기 마련이며 결국 재무실적에 영향을 미치게 된다. 이와 같이 지금 고객들의 경험은 향후 고객들의 재방문율과 이론적으로 상응한다.

어떠한 프로세스가 효과적으로 실행되고 있는지 확인해 볼 수 있는 보다 신속한 방법은 프로세스 변경시 고객만족도를 모니터링해 보는 것이다.

새로운 지평 아날로그에서 디지털 데이터로의 전환을 포함해 이러한 측정 부문의 혁명적 변화는 현미경의 개발이 생물학 및 의학 분야에서 가져온 영향에 비견할 수 있을 정도로 깊고 크다. 이는 그저 많은 대용량 데이터라기보다는 일종의 ‘나노 데이터’라고 할 수 있다. 즉 이전에 비해 훨씬 더 정밀한 수준으로 측정할 수 있게 됨에 따라 초정밀 데이터들을 확보하게 된 것이다. 그 결과 개별 고객의 선호도를 파악해 해당 고객만을 위한 맞춤식 상품 및 서비스를 설계하는 것이 가능해진다. 전사적 자원관리(ERP), 고객관계관리(CRM), 공급망관리(SCM) 등의 기업 정보시스템들은 경영 부문에서 나타난 가장 큰 혁명의 주인공들로서, 기업들은 수억 달러를 이러한 시스템 구축에 투자해 왔다.

이러한 시스템에서 도출된 데이터들은 회사를 관리하는데 뿐 아니라 보다 차별화된 경영방식이나 비즈니스 인텔리전스를 도출하기 위해 활용된다. 대규모 엔터프라이즈 시스템을 구축한 뒤 약 3~5년이 지나면 관리자들이 “이 많은 데이터들을 모두 활용하기 위해서는 비즈니스 인텔리전스 도구들이 필요하다”는 이야기를 하기 시작하게 된다. 이러한 기회를 포착해 이전에는 전혀 존재하지 않았던 초정밀 데이터의 이점을 활용할지 여부는 경영진들에 달려있다.

데이터 경영의 미래 데이터 경영의 미래엔 긍정적 소식과 그리 긍정적이지만은 않은 소식이 공존한다. 먼저 긍정적인 부분은 기술발전 속도가 결코 둔화되지 않고 있으며, 비중 역시 더욱 증대되고 있다는 점이다. 생산성 역시 더욱 빠르게 향상돼 결국 우리 모두에게 더욱 나은 환경을 제공하게 될 것이다.

그러나 지난 20년 이상 미국의 평균 임금 수준은 정체되어 왔다. 많은 이들이 이러한 기술을 충분히 활용할 스킬을 갖추지 못하고 있었기 때문이다. 현 노동인구의 스킬 수준을 변화시키고 사람들이 보다 손쉽게 활용할 수 있는 일련의 기술들을 구축하고자 하는 대대적 노력이 수반되지 않는 한 이러한 추세가 조만간 반전될 가능성은 없어 보인다.

데이터의 홍수와 분석기회의 급증은 창의적으로 추세를 읽어내고 이를 활용해 신규 비즈니스 기회를 도출해 낼 기업가 정신을 지닌 인재들에게는 더욱 큰 가치를 창출할 기회가 된다. 이러한 기술들을 통해 페이스북이나 징가, 구글에 필적할 만한 성공적 신생기업들을 창업하는데 효과적인 플랫폼을 구축할 것이다. 국가 경제 차원에서 보면 수십만 수백만의 이베이나 앱 기반 중소 벤처기업들은 페이스북이나 구글 등에 못지않은 중요성을 갖고 있다. 많은 보통 사람들도 이러한 기술과 그들의 기업가적 열정으로 새로운 가치를 창출할 수 있을 것이다.

오픈소스의 이점 나는 페이스북 최초의 리서치 과학자였다. 당시 나의 주 임무는 사이트 내 변경사항들이 사용자 행태에 미치는 영향을 파악하는 것이었다.

당시 페이스북은 자체 인프라 구축을 통해 이미 TB(테라바이트, 1000GB)급의 분석을 수행하고 있었다. 그리고 이를 다시 FB(페타바이트, 1000TB)급으로 확대하기 위한 계획을 추진하고 있었다. 그 과정에서 우리는 자체 인프라 투자를 지속하기 보다는 오픈소스 커뮤니티와 협업해 더욱 강력한 리소스를 공유하면 보다 고도화된 비즈니스 분석이 가능함을 알게 됐다.

클라우데라를 창업하면서 나는 분석적 데이터 관리 수행을 위한 완벽한 인프라 확보 방안을 파악하게 됐다. 이는 페이스북에서 내부적으로 이미 구축했던 수많은 기술들의 오픈소스 버전들은 물론 기존 오픈소스 프로젝트들로 구성됐다.

클라우데라는 이러한 목표를 추구하며 페이스북만이 아니라 그 어떤 기업도 이러한 기술을 활용할 수 있도록 하자는 취지에서 설립됐다.

데이터 선도자들 클라우데라 창업 시 우리는 이러한 기술이 과연 어떠한 산업 부문에서 채택될 것이며 향후 시장 전망은 어떠할지에 대한 분명한 시각을 가지고 있었던 것은 아니다. 물론 당시 얼리어답터 산업은 웹이나 디지털미디어 부문이었다. 그러나 전통산업 중 나를 놀라게 했던 부문은 연방 정부였다. 연방 정부 기관들은 텍스트나 이미지 및 비디오 등 멀티미디어 데이터 분석에서 진정한 선도자였으며, 특히 정보기관들의 경우 기업 부문보다 훨씬 더 고도화된 수준을 보이고 있었다. 리테일 부문의 수준 또한 매우 놀라왔다. 많은 리테일 업체들이 온라인 사업에 진출해 대량의 웹로그 및 웹데이터 등을 도출하고 있었고, 이미 막대한 대용량의 데이터를 보유하고 있었다. 리테일 영역은 현재도 데이터를 둘러싼 장비 확보 경쟁이 한창 진행되고 있다. 소비자 행태를 이해하고 이에 관한 데이터를 최대한 많이 확보할 수 있다면 제품 관련 의사결정에 더욱 유용한 지침이 될 수 있다. 또 이는 결국 더욱 큰 수익 및 투자 여력을 가져오게 된다.

당시 나는 금융서비스 부문이 향후 얼리어답터로 등장할 것이라고 기대하고 있었다. 그러나 예상과 달리 금융서비스 기업들은 리테 업체들에 비해 사업 전체를 하나의 유기체로서 조망하지 않는 경향을 보였다.

그 결과 데이터 관리가 심지어 트레이딩 데스크 별로 CTO가 분리되어 있을 정도로 개별 프로젝트로 간주되는 경우가 많다. 그러나 우리의 기술은 다수의 부서 간 공유되는 공통의 인프라 환경 하에서 가장 큰 효과를 발휘한다.

이러한 기반에서 출발한다면 새로운 인프라를 통해 실질적 비즈니스 문제에 대한 데이터들을 어떻게 저장 및 분석할 것인지, 다양한 전문가들이 분석한 데이터들을 기반으로 수행 가능한 것이 무엇인지에 대한 경영진의 상상력을 확장시킬 방안을 배울 수 있다. 현실을 디지털화할 수 있다면 이전보다 더 빠른 속도로 세상을 움직일 수 있기 때문이다.

대용량 데이터 기능의 구축 그렇다면 무엇보다도 데이터 자체를 경쟁 우위의 원천으로 간주할 수 있는 인식의 전환이 선행되어야 한다. 다음으로 회사 내에서 가장 핵심적이라고 인식되는 비즈니스 라인에 대한 데이터를 수집해 저장하기 위한 안정된 저비용 인프라를 구축할 필요가 있다.

이러한 필수적 디지털 자산들이 확보되지 않았다면 아직 준비가 되지 않은 것이다. 이러한 준비가 완료된 후에는 여러 계층의 복잡한 분석기법 및 도구를 구축하는 작업에 비로소 착수할 수 있다. 대부분의 기업들은 바로 이 지점에서 실패하게 된다.

조직 차원의 데이터 분석 전문성 확보 방안을 결정할 때에는 신규 채용 여력이나 조직이 지향하는 장기적 비전 등 조직의 현황을 먼저 냉철히 파악할 필요가 있다. 정답은 결코 어느 한 가지만 존재하는 것은 아니다. 야후의 경우 전략적 데이터 솔루션이라는 전사 그룹을 구성해 관련된 모든 업무를 전담하도록 했다. 마케팅 분석도구 중심의 소규모 팀을 구축하는 대신 데이터 스토리지부터 실제 손익계산서에 이르기까지 전체 프로세스를 중앙화해 관리하는 방안을 채택했다. 반면 페이스북의 경우 매우 신속히 움직이는 조직이라 사내 타 부문들에 서비스를 제공하는 일종의 플랫폼 조직 형태로 운영됐다.

‘데이터 과학자’의 등장 '아름다운 데이터(Beautiful Data-The Stories Behind Elegant Data Solutions)'란 책에서 나는 ‘데이터 과학자(data scientist)’라는 직종에 대해 명확히 설명한 바 있다. 지금 ‘링크드인’에는 자신의 직함을 데이터 과학자라고 기술한 이들을 심심찮게 볼 수 있다.

과학자들 중에서도 자신을 데이터 과학자라고 소개하는 이들이 등장하고 있다. 변화가 진행되고 있는 것이다. 이제 사람들은 통계학자, 데이터 애널리스트 혹은 비즈니스 애널리스트가 수행하는 역할과 자신들이 실제로 원하는 것 간에 분명한 간극이 있다는 사실을 점차 깨달아가고 있다. 이들은 필수적인 툴 및 스킬을 가지고 씨름하고 있다.

전체 리서치 주기의 측면에서 본다면 이는 사회과학자로서의 기본적 스킬에 프로그래밍 기술을 추가적으로 접목한 후 냉철히 우선순위를 수립할 수 있는 역량 등도 포함해야 한다.

통계학 및 기계학습(일종의 인공지능으로서 알고리즘을 통해 컴퓨터가 데이터스트림을 기반으로 의사결정을 하는 것을 의미)에 대한 탄탄한 기초도 기본적으로 필요하다. 그러나 이러한 스킬들을 모두 확보하는 것은 여전히 매우 어려운 일이다.

브래드 스티븐스는 NCAA 1부 리그에서 첫 4년간 통산 최다우승 기록을 세웠고 버틀러대가 2010년과 2011년 연속으로 챔피언십 결승전에 진출하도록 이끈 명감독이다. 인디애나주 인디애나폴리스에 위치한 학생 수 4500명의 버틀러대 농구 감독으로 부임하기 전까지 그는 글로벌 제약사인 일라이릴리의 마케팅 담당자였다. 스티븐스는 수치 데이터를 집중적으로 활용해 팀의 경기력을 현저하게 향상시켰다. 데이터 및 분석도구 활용과 관련해 스티븐스는 “내 업무에 관한 한 데이터는 언제나 중요한 부분을 차지해 왔다. 내가 가장 잘 할 수 있는 방식이기도 하고 개인적으로 매우 흥미를 가지고 있는 분야이기도 하다”라고 밝혔다.

그는 또 “우리가 최고 품질의 데이터를 확보하고 있는 것은 아니다. NBA처럼 막대한 예산으로 통계나 리서치에 투자하는 것은 아니다. 다만 수치를 인용하여 선수들과 이야기하면 각 선수들은 자신의 경기력 향상을 위해 무엇을 할 것인지 매우 명확히 이해하게 된다”고 설명했다. ‘무한대의 예산이 주어진다면 어떤 일을 추진하겠냐’는 질문에 스티븐스는 “제일 먼저 스태프 중 통계업무를 전담할 직책이나 그룹을 만들 것이다. 게임플랜을 리뷰하며 각자가 어떠한 동작, 어떠한 시점, 코트의 어느 지점에서 가장 효과적으로 경기를 하고 있는 지 분석하는 것이다. 그 결과는 선수들에게 경기내 각 영역별로 자신의 경기력이 극대화되는 상황이 무엇인지를 정확히 파악할 수 있게 한다”고 밝혔다.

전담 스태프가 없는 상태에서 스티븐스는 “가장 먼저 입수 가능한 모든 통계자료들을 세분화해 상대팀 추세를 파악했다. 필드 골 시도당 3점 슛 시도 횟수를 확인했다. 이것만으로도 대략 어떤 팀인지 즉각 감을 잡을 수 있다. 그 외에 공격 리바운드 비율, 수비 공격전환 비율, 팀이 슛 찬스를 만들어내는 방식, 수비에 능한 상황 및 수비에 매우 신경을 쓰는 상황 등을 분석한다”고 설명했다.

그는 또 “컴퓨터상의 신속한 영상편집 기술을 활용해 화면상에 나타나는 특정 선수의 모든 동작들을 관찰한다. 이러한 영상 모니터링 작업은 앞서 도출한 통계수치에 대한 일종의 검증 작업이자 각 선수들의 고유 기량을 파악하는 방안이기도 하다”고 덧붙였다.

그는 “주의해야 할 부분은 시즌 통계에 집착하지 않도록 하는 것”이라고 했다. 팀의 경기력은 변하기 마련이라는 것. 개인적으로는 시즌 후반에 도달할수록 “지난 5회 경기는 어떠했던가, 통계적 관점에서 달라진 점은 무엇인가, 개선된 부분은 무엇이고 퇴보한 점은 무엇인가” 등의 질문들을 더 많이 하게 된다고 했다. 스티븐스는 특히 “원하는 데이터를 확보하는 것만으로 다가 아니다”고 강조했다. 이를 선수들에게 제대로 전달해야 한다는 것.

“선수들의 마음속에 새겨질 수 있어야 하며 이를 활용할 수 있어야 한다. 불필요하게 많은 데이터를 선수들에게 제공해서는 안된다. 농구에서의 의사결정은 3초도 너무 긴 시간이다. 게임은 그보다 더 빨리 진행되기 때문이다. 상대팀이 어떠한 대응을 하게 될지, 내가 제일 잘 할 수 있는 것은 무엇인지 마음속에 생각하고 있어야 한다. 동시에 이러한 생각에 조차 너무 집착하지 않도록 주의해야 한다. 따라서 데이터를 단순화해 선수들에게 전달하는 방식은 이루 말할 수 없이 중요하다”고 강조했다. 그렇다면 스티븐스는 어떻게 데이터를 단순화하고 선수들에게 이를 전달할까.

“가장 먼저 선수들이 어떻게 반응하고, 어떤 방식으로 해야 가장 잘 이해하게 되는지, 팀 세팅에서 가장 효과적으로 학습할 수 있는 방식은 무엇이며, 팀이 아닌 단독으로 가장 잘 학습할 수 있는 방안은 무엇인지를 파악한다. 그리고 그 지점부터 시작한다고 설명했다. 스티븐스 감독은 “이러한 기법이 중요한 역할을 하지 않은 경기는 단 하나도 없었다”며 데이터의 중요성을 강조한다.

“우리 팀은 가장 재능이 탁월한 팀은 결코 아니다. 따라서 이러한 작은 영역에서 최선을 다해야만 한다.

[마이클 추이 / 맥킨지 글로벌 연구소 선임 연구원│프랑크 컴즈 / 맥킨지 출판 멤버]

[본 기사는 매일경제 Luxmen 제15호(2011년 12월) 기사입니다]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]