전용준 / 리비젼컨설팅 대표 / 경영학 박사

▲ 전용준 / 리비젼컨설팅 대표 / 경영학 박사

스몰 데이터의 역습? 또 다른 버즈워드(buzz word) 인가?
 
앞선 글 (스몰 데이터의 역습)에서 2014년에는 스몰 데이터가 빅 데이터를 살릴 것이라는 황당한 전망 내지는 바램을 내놓았다. (모든 전망은 어느 시점에서 어느 시점에 대해 하는가가 중요할 것이다. 지금은 2014년 초반이다) 이유는 거품이 꺼지기 전에 실질적이고 당장 얻을 수 있는 가치를 중심으로 분석을 하고자 하는 사람들이 늘어날 때가 된 것 같다는 것이었다. 물론 여전히 그 이름은 '스몰 데이터'가 아니라 '빅 데이터' 일 것이다. 그 실체가 무엇일지는 생각 좀 해봐야겠지만.
 
전편에서 이야기한대로 많은 데이터를 가지고 있고 다양한 데이터를 가지고 있다 하더라도 한번에 모두 사용해야만 하는 것은 아니다. 분석의 깊이나 질, 그 결과와 시사점이 더 중요한 경우가 많다. 분석이라고 불리우는 것의 내용과 용도는 천차만별이기 때문이다. 큰 조직, 작은 조직, 마케팅, 서비스, 물류, 생산, 백화점, 경찰, 보험회사 등 모두 빅 데이터와 분석을 필요로 하지만 분석을 수행하는 내용과 목적은 분명 각각 다른 것이 사실이다.
 
역습이라는 단어는 최근에 인상적으로 본 스타워즈 시리즈 전편에서 영감을 얻어 붙였던 제목이다. 제국이 이기든 공화국이 이기든이 중요한 것이 아니라 이 전체의 거대한 스위트를 이루는데 하나의 필요한 구성 요소로서 에피소드 하나의 이름이 제국의 역습이었다. '스몰 데이터의 역습'은 총 7부작 중 두 번째 이야기 정도로 생각했다. 그러니 결국 이 에피소드 즉 스몰 데이터의 역습은 '빅 데이터'라는 거대한 작품의 일부일 것이라 생각했던 것이다. 물론, 스몰 데이터라는 용어 자체는 다양한 사람들이 빅 데이터를 설명하기 위해 상대적인 개념으로 오랜 동안 사용해 왔었고, 최근에는 빅 데이터에 대한 비판적 시각에서의 주장 내지는, 기존의 데이터와 분석을 보완적으로 활용하는 관점에서의 방안을 설명하기 위해서 사용이 급증하고 있다.
  
<그림: 데이터와 스몰 데이터의 경계> 
 
 
 
스몰 데이터는 데이터와 어떻게 다른가?
 
이제는 누구나 아는 빅 데이터의 네가지 요소, 데이터 크기, 다양성, 속도라는 3V 그리고 일부가 이야기하는 또 하나의 V 즉, 가치(즉, Value) 까지를 본다면 스몰 데이터라고 한다면 적어도 3V 측면에서는 분명 빅 데이터와 다른 것일 수 있다. 문제는 얼마나 다르며 왜 다른가가 아닐까?
 
크기는 어마어마하게 큰데 다양하지 않거나, 다양하기는 한데 건수는 작은 경우, 또는 데이터가 가용해지기도 처리하기에도 빠른 속도가 중요하거나 가능하거나 하지 않은 경우 등 경우의 수는 다양하다. 연속성을 가진 세가지 차원의 그래프에서 어느 한 지점에 위치하게 된다. 각 조직이 각각의 시점에서 처한 위치는 각각 다를 것이다.
여기서 스몰 데이터라고 한다면 처럼 적어도 하나 이상의 측면에서 그다지 3V의 요건과는 거리가 있는 것으로 볼 수 있다. 또는 세가지 모두에서 작은 경우일 수 있다. 어디 까지를 빅이고 어디까지를 스몰이냐고 묻는 것은 그다지 실용적이지는 않은 질문일지도 모른다. 교집합을 스몰 데이터로 볼 것인지 부분적인 합집합을 스몰 데이터로 볼 것인지 정도의 개념정의 차원의 이야기일 뿐이다.
분명한 것은 빅 보다는 작다는 정도를 이야기할 뿐 (즉, 개념적인 이야기일 뿐이지) 이전에 하던 것에 한정해서 스몰 데이터 분석이다라고 해야 하는 것은 아닐 수 있다. 규모는 작지만 이전에 경험해 보지 못했던 새로운, 고급스러운 또는 강력한 분석일 수 있기도 하기 때문이다.
 
이즈음에서, 50년 후를 상상해 보자. 지금 우리가 수집하고 있는 종류와 양의 데이터가 과연 빅 데이터로 불릴 수 있을까? 절대량은 그다지 중요하지 않다. 더 많은, 더 다양한 데이터를 원한다는 의미로만 해석해야 할 것이다.
 
스몰 데이터를 말하는 가장 큰 이유는 가치 즉, 네번째 V
 
가치라는 네번째 V는 스몰 데이터가 빅 데이터를 살릴 것이라는 나름대로의 전망을 내 놓은 이유이다. 누구나 알고 있듯이 가치는 ROI로 대변된다. 얼마나 제한적인 투자를 통해서 얼마나 많은 결과물을 얻을 수 있는가가 바로 가치이다. 조금 더 만들기 위해 하늘과 바다를 모두 사용할 수는 없다. 효율성이나 ROI를 무시하고 모든 데이터를 모든 가능한 방법으로 분석하겠다는 이야기는 허황된 것이 아니겠는가.
 
특히 작은 규모의 조직들이라면, 스몰 데이터에 대한 분석 조차 현실적으로 수행하지 못하며 할 능력이 안된다면, 걷지 못하는데 달리고 싶어하는 것과 마찬가지일 수 있을 것이다. 만일 이 과정에서 나쁜 경험을 하게 된다면 그 이후로부터는 분석이라는 것 전체를 부정하게 될 것이고, 빅 데이터라는 것은 그저 말장난에 불과하며 영원히 자신들과는 상관없는 것이라고 생각하게 될 것이다.
 
그렇다면 데이터는 잠시 잊고 있어도 될 것인가?
 
빅 데이터는 장편 소설 전체의 이름이다. 스타워즈라는 이름을 빼고 제국의 역습이라고 부른다고 해서 스타워즈가 아닐까? 스몰 데이터는 곧 빅 데이터이며, 빅 데이터를 위해 존재하는 것일 수 있다. 다만 다양한 측면의 관계를 가지고 있을 뿐이다. 이름을 잊고 있든 아니든은 자유일 것이다. 다만, 혼선은 피해야한다는 것이다. '빅'이라는 한 단어에만 집착하는 것은 궁극적인 목적에 어울리지 않는다. 가장 중요한 것은 큰 가치 (BIG Value)를 위한 것이니 이 모두가 어차피 빅 데이터 이다.
 
또 한가지 측면은 조직의 특성과 상황에 따라 빅과 스몰 중 필요한 부분이 다를 것이라는 것이다. '빅'인 조직이 스몰 데이터만 생각하는 것도 우스울 것이고 '스몰' 조직이 거창한 그림을 그리는 것도 비현실적일 것이라는 것이다.
 
어차피 스몰 데이터는 전체 세상의 일부이거나, 또는 요약편이라서 스몰 데이터인 것이다. 예를 든다면, 통계청이 제공하는 국가통계는 수많은 기초 자료를 요약한 것이라 그 크기가 크지 않으며, 트위터가 축적하는 데이터 역시 일부의 사람들이 일부의 상황에서만 제공하는 데이터라는 점에서 완전하거나 전체인 데이터가 아닐 수 밖에 없는 것이다.
 
어디서 출발하는가가 문제일 뿐이고 어디까지 결과를 낼 것인가에 따라 빅으로도 스몰로도 불릴 뿐이다. 스몰 데이터라는 용어를 통해 기대하는 것은 단지, 오직 '빅' 이라는 상징적인 개념만을 과하게 중시하는 이분법적인 생각을 경계하는 것이다. 최근 한 국내 일간지로부터 '세상은 아직 덜 연결됐다'는 도발적 제목의 기사를 접했다. 이 기사에서 와이어드의 케빈 캘리는 지금은 10점 만점에 2점 정도만 연결되었고 이제 시작일 뿐이라고 이야기 했다. 공감한다. 빅 데이터는 이 연결에 기초하고 있으며, 그 연결이 앞으로 어떤 속도와 모습으로 전개될 것인가는 그 것을 만들어가는 우리의 몫일 것이다.
 
참고로, 전편을 포함해서 이 글은 산업으로서의 빅 데이터에 대한 시장 전망 성격이 강하다. 전편에 대한 한 독자분의 의견을 우연히 읽었는데 연구분야에서 만큼은 스몰 보다는 빅 데이터가 화두가 되는 것이 옳지 않겠는가 하는 것이었다. 당연하다고 본다. 상대적으로 연구가 부족했던 분야이니 좋은 연구주제라고 생각한다. 그런 피드백들은 내가 누구를 대상으로 무엇을 이야기하고 있는지를 스스로에게 인식시켜주는 고마운 선물이라고 생각한다.
 
이 글을 준비하는 동안에도 여러 사람들과 만나고 이야기할 기회가 있었고, 다양한 의견들을 들을 수 있었다. 우선, <역습>이라는 단어에서 오는 충격이 약해 보인다는 지적이 있었다. 이에 대해서는 사실 <소심한 반격> 정도로 생각한다. 그다지 새롭지도 강력하지도 않을 수 있으니까. 또, 개인의 데이터를 분석하여 개인에게 적용하는 마이크로 데이터의 영역에 대해서도 고민할 필요가 있다는 이야기도 들었다. 물론 이 부분도 논의되고 있으며 진전되고 있는 것으로 안다. 대중이 기억할 만한 베스트 프랙티스가 빨리 늘어나지 않고 있다는 점이 빅 데이터의 가장 큰 병목임을 지적하는 소리도 있었다. 마지막으로 네번째 V인 가치가 공급자와 소비자 양측 모두의 관점에서의 가치여야 한다는 점을 잊지 말자는 지적도 있었다.
빅인가 스몰인가의 논의로 부터 출발한 이 시리즈는 결국 데이터 생산에서 소비까지의 전체 가치사슬(Value Chain : 즉, 포착 - 축적 ㅡ 분석 ㅡ 의사결정 ㅡ 아웃풋 ㅡ ROI 까지를 설명하는) 에 대한 좀 더 큰 시야에서의 검토를 필요로 하는 것으로 생각된다. 아쉽지만 이에 관한 이야기는 한번에 이루어지기는 어려울 것 같고, 다음을 기약해야 할 것 같다.
 
저작권자 © 컴퓨터월드 무단전재 및 재배포 금지