준비 안된 기업들 이익 창출에만 집착
'도로는 있지만 달리는 차가 없는 것과 같다'고 볼 수 있다. 하지만 국내 기업들도 자체 기술을 개발하거나 연합체를 구성해 빅데이터 쟁탈에 나섰다.
빅데이터 쟁탈전이 시작됐다. 누가 먼저 깃발을 들어 보일 것인가. 무엇보다 빠르게 진화하는 빅데이터 분석기술보다 추출된 데이터에서 보석을 만들어내는 인재양성이 시급하다고 업계 관계자들은 지적한다. 빅데이터 시대를 선점하기 위해 기업들은 어떤 전략을 세웠으며 빅데이터 전쟁의 핵심 키를 쥔 '데이터 과학자'에 대해 살펴본다.
'통합의 시대' 도래
수많은 디지털 디바이스 등장과 맞물려 데이터 크기가 날로 늘어나는 오늘날, 우리는 알고 있다. '데이터는 주변에 쌓여 있다'는 점을 말이다. 기업은 사용자 견해에 보다 높은 관심을 보이고 있다. 이제 흩어진 데이터 조각들을 통합해 비즈니스 기회를 만드는데 집중하고 있다는 것이다. 마스터 데이터 관리(MDM)와 데이터 품질 관리, 데이터 통합이 비즈니스 기회를 만들어가는 필수조건이 되고 있다.
인포매티카는 빅데이터를 바라보는 세 가지 관점에 대해서 말했다. 기업의 비즈니스가 장소와 대상, 방법에 따라 빠르게 변화하고 있다는 것이다. 기업 내부 데이터에서 외부 데이터까지 파악, 관리, 처리해야 한다는 것이다. 데스크톱이나 자체 구축 시스템에서 관리하던 데이터가 이제는 모바일 기기나 클라우드 등에서 관리, 처리된다는 점이다. 상호연동을 적절한 비용, 시간, 기술로 정형과 비정형 데이터 모두를 수집, 관리, 처리해야 한다는 점이다.
그러나 빅데이터에 적극적인 대응이 가능한 기업은 국내에 몇이나 될까.
인포매티카는 기업이 급격하게 증가하는 데이터 볼륨과 다양성으로 생기는 복합적인 문제들을 처리할 수 있는 솔루션을 결정하는 것이 중요하다고 말했다. 기업은 비즈니스 창출을 위한 기회를 붙잡기 위해서는 빅데이터 환경에 적합한 데이터 통합 플랫폼을 도입해야 한다는 것이다.
기업들은 마케팅 측면에서 빅데이터 분석의 필요성을 절감했다. 구글, 야후, 페이스북, 아마존 등 인터넷 서비스 기업들은 특히 빅데이터 분석 기술의 선두주자라고 할 수 있다.
구글은 분산 컴퓨팅을 지원하기 위한 목적으로 2004년 발표한 맵리듀스 프로그래밍 모델과 대용량 데이터 분산처리프레임워크, 그리고 대용량 데이터를 효과적으로 저장할 수 있는 구글 파일 시스템(GFS: Google File System) 기술을 확보했다. 이를 기반으로 야후에서 자바 기반의 아파치 하둡(Apache Hadoop)을 개발하고 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System) 등을 오픈소스화 했다. 이 기술은 주로 인터넷 관련 업체들이 도입해 사용했지만 빅데이터 광풍 이후 IT업체들은 빅데이터 전략을 내세워 자사 기술에 하둡을 적용했다. 아마존, 애플, 페이스북, 트위터, 마이크로소프트(MS), 넷플릭스, 링크드인이 관련 기술을 개발, 자사 시스템에 하둡을 적용하고 있다. 국내 포털 네이버를 서비스하는 NHN도 하둡 기술을 응용, 사용 중이다.
글로벌 대기업이나 금융회사들도 트랜잭션 분석이나 사용로그 분석을 위해 하둡을 이용하고 있다. 마이크로스트레티지(MSTR), 오라클, 인포매티카, 테라데이타, IBM, SAP, SAS 등이 대표적인 업체들이다. 또한, 아파치 하둡은 지난 1월 정식 버전을 출시했다. 하둡을 기반으로 한 수많은 상용 서비스 업체들이 탄생했다. 클라우데라, 호튼웍스, MapR 등이 하둡 상용 버전을 제공하고 있다. 테라데이타는 하둡을 자사 솔루션에 적용했지만, 지난해 4월 빅데이터 업체 애스터 데이터를 인수 후 데이터 분석 플랫폼 내의 맵리듀스 분석을 제공하고 있다.
빅데이터 광풍에 휩쓸려 글로벌 기업들은 자사 솔루션에 하둡을 결합한 제품을 선보였다. IBM, 오라클 등은 자사 하드웨어(HW)와 SW를 하나로 합친 제품을 시장에 내놨다. 한국오라클 장성우 상무는 "전사적으로 빅데이터를 클라우드 형태로 한 곳에 모아 통합적으로 운영 및 관리하고 각 부서 요구에 맞는 개별 서비스를 개발, 제공하는 것이 효율적일 것"이라고 제시했다. 이제는 제품을 모아 하나의 시스템으로 구축하는 시대에서 단일 제품에 모든 기능을 삽입하는 '통합 시대'가 왔다.
<이하 상세 내용은 컴퓨터월드 10월 호 참조>
김민숙 기자
wind@itdaily.kr