[컴퓨터월드] 아이티데일리와 한국BI데이터마이닝학회가 주최한 2014 BI 컨퍼런스가 ‘빅데이터 시대에 BI의 길을 묻는다’란 주제로 지난달 15일 코엑스 컨벤션 센터에서 개최됐다.
올해 11회째를 맞이한 이번 컨퍼런스는 국내외 빅데이터 및 BI 관련 기업 및 기관 20여 개사의 산업세션과 한국BI데이터마이닝학회 학술세션 등 30여 세션과 데모를 통해 이해를 돕는 전시부스로 꾸며졌다.
이번 컨퍼런스에서 발표자들은 빅데이터 구축방안은 물론, 구축 과정에서 나타난 다양한 시행착오와 문제점, 그리고 이를 개선하기 위한 새로운 접근 방안과 다양한 사례를 참가자과 같이 공유하는 시간을 가졌다. 빅데이터 시대 BI의 방향을 짚어줬던 이번 컨퍼런스 내용을 정리해본다.

IT를 넘어 전 산업군의 화두는 ‘빅데이터’다. 기업이 비즈니스 의사결정에 있어 보다 합리적인 접근을 할 수 있도록 돕는 비즈니스 인텔리전스(Business Intelligence, BI) 시장도 예외는 아니다.

2014 BI 컨퍼런스는 ‘빅데이터 시대에 BI의 길을 묻는다’라는 주제에 걸맞게 데이터 접근부터 수집, 보관, 분석 등을 수행할 수 있는 일련의 BI 솔루션이 빅데이터 구현을 위해 취해야할 방법과 실제 사례를 공유하는 자리를 마련했다. 또한 빅데이터 시대 핵심이라고 할 수 있는 데이터 사이언티스트의 역할과 중요성에 대한 전문가들의 강좌 및 패널토의도 이뤘다.

이와 동시에 한국BI데이터마이닝학회의 학술대회까지 열려 산업계와 학계가 바라보는 빅데이터와 BI의 시각을 두루 경험할 수 있는 흔히 않는 컨퍼런스로 기록됐다.

▲ 박헌진 한국BI데이터마이닝 학회장
이날 박헌진 한국BI데이터마이닝학회장은 환영사를 통해 “우리 사회의 큰 주제인 ‘빅데이터’는 초반에 방향을 잡지 못했지만 이제는 방향이 잡히고 있다”며, “20년 전 불모지와 같았던 분석 영역이 빅데이터 시대 다시 한 번 주목을 받고 있다. 빅데이터 시대 데이터마이닝과 BI 시장의 재도약을 기대해본다”고 소감을 밝혔다.

▲ 조성식 SAS코리아 대표
SAS코리아 조성식 대표도 “빅데이터에 대한 첫 정의였던 3V가 지속적으로 재정의되고 있다. 하드웨어, 소프트웨어도 중요하지만 변화하는 상황에 적응할 수 있는 모더나이제이션(Modernization) 시대가 개막했다”고 환영사를 남겼다.

올바른 결정의 열쇠 ‘분석’
이 날 첫 번째 키노트 주제는 ‘Analytics, Part of Daily life’로 오라클 비즈니스 애널리틱스 사업부의 케네스 장(Kenneth Chang) 전무가 발표를 했다.

▲ 케네스 장(Kenneth Chang) 오라클 전무
케네스 장 전무는 “사람들은 크고 작은 결정들을 매일 내려야 한다. 그렇다면 우리는 어떻게 수많은 정보들을 기반으로 ‘올바른’ 결정을 내릴 수 있을까.”라고 질문을 청중들에게 던진 후 “올바른 정보에 대한 문을 열어주는 열쇠는 ‘분석’”이라며 키노트를 시작했다.

케네스 장 전무는 “IoT란 거대한 흐름 속에서 디바이스 등이 인터넷과 연결되고 있으며 이 과정에서 수많은 데이터를 쏟아낸다. 이렇게 축적된 전세계 데이터의 90%는 최근 3년 내 생성된 것으로 2020년까지는 5배가 늘어난다는 전망처럼 엄청나게 많은 데이터가 생성되고 있다. 이게 빅데이터”라고 강조했다.

그는 “이 과정에서 고객들은 자신만의 경험에 맞춰 ‘나를 알고, 나를 만족시켜달라’는 요구를 하고 있다. 기업 입장에서는 고객을 만족시키기 위해 엄청나게 많은 데이터를 다뤄야 하는 과제에 놓이게 됐다.”고 설명했다.

케네스 장 전무는 “5년 전 BI 분석은 CIO에게 눈에 들어오지 않는 화두였지만 이제는 CIO 가장 첫 번째 화두는 분석으로 가치가 상승했다”며, “분석을 통해 기업들은 경쟁력을 갖추기 위한 방법을 찾으려고 한다”고 말했다.

그는 “그러나 이런 빅데이터 활용은 쉽지 않다. 기존에 잘해왔던 정형 데이터는 전체 데이터의 20%에 불과하며 기존에 잘 다루지 않았던 비정형 데이터는 80%에 이르러 각기 다른 비정형 데이터의 표준화 시키는 과제에 놓이게 됐다. 게다가 폭증하는 데이터를 처리하기 위한 기술적인 한계를 극복하는 것도 문제다. 그러나 더 큰 문제는 이런 빅데이터가 정말 가치가 있는지에 대한 확신을 할 수 없다”며 문제점을 시사했다.

또한 그는 “기업 내부에서 데이터와 정보는 갖췄으며 임원들 역시 방법과 가치에 대해서는 알고 있지만 그 사이에 간격이 존재해 활용하기까지 격차가 있다”며, “이 모든 것을 다 다루려다 보니 정말 빅데이터 거대한 사이즈의 데이터가 됐다”고 지적했다.

케네스 장 전무는 “데이터 자체는 크게 보는 것보다 잘 할 수 있는 것 하려고 하는 것, 그리고 효율적으로 하려고 하는 것에 대한 고민이 선행돼야 한다. 이 과정을 거치면 빅데이터는 실제로 큰 데이터가 아닌 작은 데이터가 되어 조금 더 쉽게 접근이 가능하다”고 조언했다.

그는 이에 대해 실 사례로 도요타의 경험에 대해 소개했다.

케네스 장 전무는 “도요타는 한 분기에 전세계에서 40%라는 클레임이 들어왔다. 사상 최대의 수치였다. 이를 해결하기 위해 차량 주민등록번호와 같은 비클 DW & PQSS 애플리케이션 데이터와 서플라이어(supplier) 데이터, 그리고 소셜 데이터, 머신 데이터와 우리나라로 치면 교통부와 같은 NHTSA 웹사이트에 게재된 클레임 데이터 등을 모아 문제점을 파악해 위기를 극복했다”고 설명했다.

그는 “작은 사이즈의 시스템으로 시작해 전사 시스템으로 확장한 도요타가 모범사례라고 할 수 있다”고 덧붙여 말했다.

스마트 시대 핵심은 ‘사람’
다음 키노트 연사로 나선 SAS코리아 최고전략위원인 이진권 상무는 ‘Big Data Now and Tomorrow’를 주제로 빅데이터 시대 거대한 흐름을 이끌어 온 SAS의 빅데이터 전략과 기업의 올바른 구현 방향과 사례들을 소개했다.

▲ 이진권 SAS코리아 상무
이진권 상무는 “자동화(시스템)와 통합(정보) 시대를 넘어 혁신 3.0 시대라고 할 수 있는 스마트(데이터) 시대 핵심은 결국 사람”이라며 “빅데이터 시대 핵심인 데이터사이언티스트에 주목해야 한다”고 강조했다.

이 상무는 “1980년대 메인프레임이 등장했던 시점은 OLTP와 다운사이징이 화두로 대두되면서 선진화와 자동화에 초점을 맞췄다. 1992년 데이터웨어하우스 등장으로 통합된 정보로 빠른 의사결정을 하는 시대가 도래했음, 2005년 하둡이 등장한 것을 기점으로 빅데이터를 기반으로 새로운 가치를 찾으려는 시도를 하고 있다. 이게 초연결시대다”고 설명했다.

그는 “과거 메인프레임 시절 시스템과 그 다음 정보의 시대라면 이제는 사람이 중요한 시대가 왔다. 빅데이터 역시 시스템과 데이터가 준비되어 있다고 한 듯 사람이 없으면 가치를 얻지 못한다. 데이터 사이언티스트가 빅데이터 시대 핵심으로 주목받는 이유가 여기 있다”고 강조했다.

이 상무는 “아마존과 구글의 공통점은 과거 데이터를 통해 미래를 예측하는 것으로 플랫폼이 중요한 것이 아니라 비즈니스적으로 최적의 상황을 만들어내는 사람이 중요하다”고 설명했다.

이어 그는 “디즈니는 자사 존재 이유인 ‘사람을 더 행복하게’라는 것을 추구하기 위해 최근 매직밴드라는 10억 불 규모의 프로젝트를 진행하고 있다. RFID가 탑재된 이 손목팔찌는 디즈니랜드 입장부터 음식점 예약, 음료 구매 등 내 위치와 정보를 알 수 있다. 이를 통해서 내가 주문한 음식이 자동으로 나오고 깜짝 생일 파티가 열리며, 호텔 입장이 키가 없어도 가능하다.”며, “디즈니는 CRM이 아닌 CMR을 하겠다고 나섰다. 디즈니는 고객접점을 모두 다 모았다. 대표적인 것이 콜센터 데이터다. 이를 통해서 고객에게 맞춤식 서비스를 제공한다.”고 설명했다.

그는 또 “미국 택배회사인 UPS(United Parcel Service)는 화물운송 노선을 최적화시켰다. ORION 이니셔티브라는 시스템을 만들어 텔레매틱스 센서 데이터를 활용해 배송 시스템을 실시간으로 변경, 최적화했다. 46,000개 이상의 화물 운송 차량에 부착된 센서 데이터를 수집해 운행 속도, 방향, 제동, 동력 전달 성능 등을 데이터 분석을 통해 성과 모니터링 및 운행 노선 개선을 이뤘다. 실제 배송 기사 1명이 매일 1마일 운행 노선 단축 시 3천만 달러 절약 효과를 얻었다. 이에 UPS는 매일 2,000여 건의 항공기 운항 효율성 극대화에도 적용 시도 중이다.

이 상무는 “이 같은 접근점을 살펴보면 데이터, 엔터프라이즈 플랫폼, 리더쉽(문화), 타깃, 애널리스트 등 다섯 가지 관점으로 접근이 가능하다”며, “아직까지 빅데이터를 바라볼 때 전체를 보지 않고 몸통을 본다. 실제 데이터 사이언티스는 하둡을 잘 쓰는 사람이 아니며 실제 기업에서 하둡을 잘 쓰는 사람이 있다고 한 듯 혁신이 일어나지 않는다. 새로운 아이디어를 비즈니스로 풀어내는 사람인 데이터 사이언티스트가 진정으로 필요하다.”고 강조했다.

단계별 접근할 방법을 강구해라
마지막 키노트 연사로 나선 EMC 이달수 상무는 ‘경험을 통해 확인된 빅데이터 접근 방법론과 사례’를 주제로 발표를 했다.

▲ 이달수 EMC 상무
이 상무는 “빅데이터 프로젝트를 시작하거나 확대할 때 무엇을 어떻게 해야 하는지 혼란스러울 수 있다. 보다 효율적으로 빅데이터 프로젝트를 진행하고, 목표하는 결과를 도출하기 위해서는 단계별 접근 방법이 필요하다.”고 강조했다.

이에 그는 “빅데이터 혁신의 7가지 추진 포인트로 △주제 선정 △데이터 준비 △현상·변화 감지 △변화 원인 찾기 △예측/최적화 모델 진화 △데이터 과학자 지향 △제대로 된 솔루션 준비 등 단기, 중기, 장기적 접근 방법론이 필요하다”고 조언했다.

이 상무는 “먼저, 주제를 선정해야 한다. 주제탐색-주제 선정-과제 선정의 순서로 이뤄진다. 다음으로 데이터를 준비해야 한다. 분석가(현업) 입장에서는 데이터를 정의하고, 관리자 입장에서는 데이터를 수집/저장해야 한다. 분석가는 필요 데이터를 정의하고, 관리자는 데이터 관리를 정의한다. 데이터 사이언티스가 있지만 이를 결정해주지는 못한다. 그 다음으로 현상과 변화를 감지해야 한다. 빅데이터 분석은 단순한 시계열 분석만으로도 영감을 얻을 수 있다. 복잡한 빅데이터 분석에 앞서 시계열/추이 분석 등을 통해 현상을 이해하고, 변화를 감지해 봐야 한다. 그리고 변화의 원인을 찾아야 한다. 장소와 시간에 구애받지 않고, 다양한 기법을 활용하고, 시도해 볼 수 있는 ‘분석의 장’이 필요하다. 그 다음은 예측/최적화 모델로 진화시켜야 한다. 끊임없이 새로운 데이터와 분석 기법을 모색하고, 빅데이터 모델로 적용/진화시킨다. 업무에 적용할 수 있는 예측모델을 만들어야 한다.”고 설명했다.

그는 그 다음으로 데이터 사이언티스트를 강조했다. 이 상무는 “빅데이터를 통한 비즈니스 혁신의 과정에서 가장 필요한 역할은 데이터 사이언티스트 장기적 양성계획을 수립하는 것이다.”며, “과거의 직관적인 판단보다는 데이터의 객관적 분석을 통해 방향을 모색해야 한다.”고 조언했다.

마지막으로 이 상무는 “제대로 된 솔루션을 준비해야 한다”고 말했다. 그는 “빅데이터는 한 번의 프로젝트로 완성되는 것이 아니라 지속적을 진화하는 비즈니스 자체”라며, “처음부터 제대로 된 솔루션의 구축이 필요하다.”고 강조했다.

빅데이터 시대, BI 접근 산업·학술 관점에서 바라보다
이번 컨퍼런스는 키노트와 주제발표와 함께 국내외 빅데이터 및 BI 관련 기업 및 기관 20여 개사의 산업세션 4개 트랙과 한국BI데이터마이닝학회 학술세션 1개 트랙 등 5개 트랙에서 30여 세션에서 각각 진행됐다.

산업세션 트랙 중 BI매트릭스 정웅교 수석은 “효율적인 빅데이터 분석을 위한 스마트BI 기반의 접근전략 및 해결방안에 대해 발표했고, 데이터스트림즈 정태호 기술연구소장은 “Real Value Using Big Data and Next Step”을 주제로 발표했다.

마이크로스트레티지 이동협 컨설턴트는 “Business Analytics for Everyone”을 주제로 마이크로스트레티지 분석 플랫폼을 소개했고, HP 김규진 부장은 “HP ConvergedSystem300 for Vertica를 주제로 빠르고 유연한 빅데이터 플랫폼 구현에 대해 발표했다.

인포매티카 임정혜 부장은 “빅데이터 활용의 출발점, 효과적인 빅데이터 통합”에 대해 소개했고, 데이터솔루션 정성원 이사는 “빅데이터를 활용한 Advanced Analytics 개념과 사례”에 대해 참가자들과 공유했다.

위세아이텍 김상수 수석은 “빅데이터 현장의 목소리와 사례”란 주제로, 다윈컨설팅 현승순 대표는 “사람의 두뇌처럼 작동하는 차세대 Big Data 분석 BD/BI 솔루션 QlikView”란 주제로 발표를 했다.

또한 건강보험심사평가원 김록영 부연구위원은 “건강보험심사평가원의 공공데이터 개방을 통한 의료산업 활성화 지원 방안”에 대한 소개로 참석자들의 관심을 받았으며, 경희대학교 이경전 교수는 “사물인터넷과 빅데이터 : 두 톱니바퀴의 이해”란 주제로 발표했다.

모니타 컨설팅 허윤 이사도 “비즈니스 성과 창출 위한 Data Visualization”란 주제로, 윌비솔루션 김종현 팀장은 “빅데이터를 활용한 실시간 마케팅 실행”이란 주제로 각각 발표를 했다.

한편, 이번 컨퍼런스에서는 한국BI데이터마이닝학회의 학술대회도 동시에 개최됐다.

 
이번 학술대회는 △모바일/스마트디바이스 기반 데이터마이닝 응용 △최적화 기법 및 응용 △데이터마이닝 모델링 등 3개 주제에 대한 논문이 발표됐으며, 초청된 연세대 이원석 교수가 “빅데이터와 개인 정보보호”를 주제로 강연을 했다.

빅데이터 시대, “현재가 아닌 미래를 위한 준비해야”
2014 BI 컨퍼런스 오후 세션인 주제발표를 통해 리비젼컨설팅 전용준 박사는 “빅데이터 활용의 전략적 선택 : 규모, 업종, 비전의 고려”를 주제로 빅데이터 구현을 위한 전략적 고려사항을 논의했으며, 정보화진흥원 신신애 부장은 “데이터 사이언티스트 양성을 위한 빅데이터 커리큘럼 참조모델”을 주제로 데이터 사이언티스트가 갖춰야 하는 역량에 대해 소개했다.

전용준 박사는 “빅데이터란 이름을 달고 기존 BI에 비해 얼마나 달라졌는가?”라고 질문을 던
졌다.

▲ 전용준 리비젼컨설팅 대표
전 박사는 “10년이란 결코 짧지 않는 역사를 가지고 있는 BI와 비교하면 빅데이터는 아직 초기 수준의 기술을 가지고 있는 만큼 처리/분석 숙련도가 필요하며, 경영진, 현장실무자, 고객 등 사용자의 이해와 수용이 동반돼야 한다”며, “이를 위해 준비할 수 있는 시간이 필요한 만큼, 지금이 아닌 미래를 위한 빅데이터를 생각해야 한다” 주장했다.

신신애 부장은 “데이터 분석활용 능력은 앞으로 10년간 중요한 비즈니스 역량으로 데이터를 이해/처리/가치/시각화/전달하는 능력이 필요하다”며, “이 같은 능력을 가진 데이터 사이언티스트가 각광 받을 것이다”라고 말했다.

▲ 신신애 한국정보화진흥원 부장
신 부장은 “이에 정보화진흥원은 데이터 사이언티스트 양성을 돕기 위해 빅데이터 커리큘럼 표준 참조 모델을 개발했다”며, “커리큘럼 참조모델은 기존 교육과정 개선시 또는 신규 교육과정 개설시 목적에 맞게 구성해 활용이 가능하다”고 밝혔다.

한편, 데이터 사이언티스트의 중요성과 올바른 인력 양성 방안이란 주제로 이뤄진 패널토의에서는 조성준 서울대 교수, 신신애 정보화진흥원 부장, 전용준 리비젼컨설팅 대표, 장동인 미래읽기 대표가 참석해 열띤 토론을 벌였다.

▲ 이 날 컨퍼런스에서는 점심시간을 이용한 깜짝 공연도 열려 청중들의 호응을 받았다.

저작권자 © 컴퓨터월드 무단전재 및 재배포 금지