DW 현안을 통해 바라 본 To-be DW의 구축 방향성
▲ 이창식 한국IBM 글로벌비즈니스서비스 실장
최근 들어 DW를 재구축하고자 하는 회사들이 안고 있는 주요 이슈들을 분석해보면 크게 두 가지 관점으로 나눌 수 있다. DW 재구축에 대해 ▲관리자의 관점에서 바라보는 이슈들과 ▲실무자들의 관점에서 바라보는 이슈들이 있는데, 이를 요약하면 다음과 같다.
관리자 관점 : DW 내의 많은 정보들이 범람하다 보니 진정으로 유용한 정보들이 무엇인지 파악하기가 쉽지 않고, 이를 파악해 보려 해도 체계적으로 갖추어 지지 않아 활용하기가 무척 어렵다고 느낀다. 이미 DW를 사내에서 활용하고 있고 다양한 정보들을 저장해 두고 있긴 하나, 요즘같이 빠르게 변화하는 환경에 대응하기 위해서는 여전히 다양한 분석자료를 체계적으로 제공할 필요가 있으며 시뮬레이션, 재무예측 등 다양한 고급 예측 기능들을 강화되어야 할 필요가 있다고 본다. 그리고, DW 시스템이 단순히 축적된 정보를 활용해 제공하는 수동적인 역할에서 벗어나 앞으로는 비즈니스 프로세스에 대한 개선을 모니터링할 수 있는 도구로써의 능동적인 역할로의 진화가 되었으면 하는 것이다.
실무자 관점 : 대부분의 회사들이 DW 구축 이후 5년 이상 지나 사용자 수나 데이터 용량 등이 증가하고 있다. 이에 따라 점점 도입 시점에 대비해 성능이 저하되고 있고, 이로 인해 업무에 지장을 초래하는 경우가 많다.
또한 정보에 대한 제공 간격이 예전의 일, 월 단위로 제공하는 수준에서 실시간 단위의 신속한 정보를 제공하기를 원하고 있어 이에 대한 대응력이 필요한 상황이다. 그리고 요즘같이 스마트폰을 통한 커뮤니케이션 채널이 증가하는 시점에 BI업무 또한 스마트폰에 적용하고자 하는 요구가 늘어가고 있다. 마지막으로 가장 중요한 요소 중의 하나라고 생각하는 것은 DW 시스템이 이미 적용되어 있음에도 사용자들은 아직도 수작업으로 가공, 엑셀을 통한 보고서 작성 업무에 상당시간을 할애하고 있다는 것이며, DW의 개선을 통해(물론, 시스템 재구축으로서만 해결될 수 있는 것은 아님) 조직 내 체질 개선을 시도하고 있는 것 또한 사실이다. 그리고, DW/BI의 시장 동향을 보더라도 각 기업들이 안고 있는 이슈들에 대한 해결 방향으로 시장은 변화해 나가고 있음을 알 수 있다. 올해 연초부터 지속적으로 국내외 시장을 모니터링하여 정리한 DW/BI의 동향은 다음과 같다.
▶ Predictive analytics : 과거 데이터 기반 하에 미래 시점의 예측분석을 통한 분석범위 확장
▶ DW appliance : Appliance를 통한 비용 절감과 분석 업무에 적합한 인프라 제공
▶ Mobile Application : Embedded analytics 도구로서의 Mobile의 등장
▶ Operational BI : Data Latency의 실시간 제공에 대한 사용자 요구사항의 증가
▶ Strong focus on ROI : EDW를 활용하는 Analytic application들을 포함한 ROI 분석 요구사항 증가
▶ Mart Consolidation : 목적 별 분산된 분석 Application의 EDW로의 통합(in-database analytics)
▶ EDW Governance : 정보의 가용성 및 사용자의 분석력 강화를 위한 변화관리 활동
위 동향들을 보아도 알 수 있듯이, 점차적으로 DW/BI 업무는 다양한 채널(모바일로의 확산)을 통해 핵심 업무(Strong focus on ROI)에 치중하면서도 더 나은 기능들을 갖춘(Mart consolidation, Predictive analytics) 스마트한 시스템으로의 진화가 대세임을 알 수 있다. 위에서 언급한 주요 이슈들을 해결하기 위해서는 최초 구축 당시와는 다른 차별적인 접근이 필요하며, 이를 위해서 3가지 핵심 키워드를 중심으로 재편할 것을 제안한다.
Information centric
DW 시스템의 핵심은 정보에 있다. 이러한 정보를 어떻게 획득하고, 저장하여 활용할 것이냐가 가장 중요하다.
• Information structure - DW 시스템은 IT 중심이 아닌 Business User 중심으로 재편하여 최종 사용자 입장에서 필요한 시점에 필요한 정보를 쉽게 사용이 가능하도록 하는 것이 기본이다. 기존의 DW 시스템들은 주로 처리계(계정계) 시스템들의 카피본이라고 해도 될 만큼 DW로서의 차별성이 없는 모델 구축에만 급급해 왔다. 이러한 정보 구조는 처리계 시스템 모델 구조설계의 핵심인 성능, 애플리케이션 유용성 등에 초점을 두고 설계된 모델이기 때문에 이를 차용해서는 제대로 된 DW 모델을 만들어 낼 수 없다. DW의 구축 목적인 정보의 축적 및 활용에 중점을 두고 처리계의 카피본이 아닌 DW 고유의 모델을 설계하는 것이 필요하다.
• Information uniqueness - 정보의 활용을 통해 best practice를 구축한 회사들은 남들과 차별화된 방법을 통해서 서비스를 제공하고 있다. 아마존닷컴은 DW 정보를 활용하여 개인 별 추천 알고리즘을 만들어서 도서 구매 시 다양한 옵션 추천을 함으로써 매출을 증대할 수 있는 데 적용하여 성공을 거둔 사례이다. 그리고, CAPTITALONE의 경우에도 2000년대 초부터'Information Based Strategy'라는 전략적 기치를 두고 전사 마케팅 전략을 정보 활용을 통해 전개해 나가는 것을 추진해 왔다. 실제로 CapitalOne은 마케팅을 기획하고 캠페인을 실행하기 이전에, 다양한 변수들을 조합하여 시장에서의 캠페인 성공여부에 대해 수백 회 이상의 시뮬레이션을 통해 사전 검증한 후, 실제 적용하고 있다. 이로 인해 캠페인 의 반응률과 적중률을 극대화하여 이끌어내고 있음은 이미 주지하고 있는 바와 같다. 이처럼 정보활용의 독창성(uniqueness)을 이용해서 남다른 성과를 내고 있는 회사들에 대한 사례들은 이외에도 많다.
• Information Integration - 회사들이 가지고 있는 원래의 처리계 업무 영역에다 점차적으로 많은 부분을 시스템화해서 처리하다 보니 각 회사들이 가지고 있는 시스템의 종류도 다양화 해지고 있는 것 또한 사실이다. 처리계, ERP, CRM, PRM 등 DW 구축 당시보다 더 많은 정보 원천들이 증가해 왔다. 하지만, 이런 다양한 정보의 소스들을 제대로 활용하기 위해서는 표준화된 정보의 형태로 통합하는 것은 누구나 아는 사실임에도 실제로 이를 제대로 적용하고 있지 않은 경우도 비일비재하다. 따라서, DW 구축 이전에 다양한 서로 다른 시스템들을 통합하기 위한 표준화를 미리 선행하여야 하는 것은 필수임을 주지할 필요가 있다.
• Information quality - 표준화의 중요성과 함께 정보의 품질 또한 DW 구축에 있어서의 핵심 요소이다. 정제된 데이터가 제공되지 않게 된다면, 사용자가 활용하는 데이터의 정합성에 의구심이 들 뿐 아니라 결국은 DW 자체에 대한 신뢰성의 저하를 초래하여 사용자로부터 외면 받는 시스템으로 전락하는 경우를 많이 볼 수 있기 때문이다. Garbage in Garbage out이라는 말이 있는 것처럼 정제되지 않은 정보는 정제되지 않은 결과를 초래할 수밖에 없다. 따라서, DW 구축을 통한 정보의 신뢰성을 높이기 위해서는 데이터 품질 관리 체계의 확립과 프로세스를 재정비함과 동시에, 이와 병행하여 실제로 데이터를 정비하는 일 또한 수행되어야 한다.
• Information privacy - 최근 들어 정보의 보안에 대한 중요성은 어느 때보나 높아지고 있다. 고객 정보 유출로 인한 다양한 사고로 인해 발생하는 대내외적 피해를 최소화하고자 하는 것은 모든 기업들의 필수사항이 되어 가고 있다. 그래서, DW 구축 시에 각 사업부나 부서 단위 별로 공유가 필요한 범위와 대상에 대해서는 명확하게 규정할 뿐 아니라, 이에 대한 공유 체계를 정립하여"필요한 정보가 필요한 담당자에게만 전달되는 체계를 구축"하여야 할 것이다.
• Information access - 과거에는 DW 시스템이 주로 사내 정보만을 활용하여 사용자에게 제공되어 왔다. 하지만, 정보 제공의 깊이를 고려하고, 더욱 다양한 정보를 제공하기 위해 외부 정보를 적극적으로 활용할 필요가 있다. 외부 정보와 내부 정보의 조합을 통해서 기존에 제공하지 못하던 다양한 유용한 정보들을 이끌어 낼 수 있을 것이다.
Analytic enterprise
Analytic enterprise란, 과거처럼 실무자의 감각이나 경험을 중심으로 의사결정을 하는 것이 아닌 실제 데이터의 팩트에 근거한 분석을 통해서 객관화되고 과학적인 접근방식에 의해 모든 프로세스가 움직이는 기업을 통칭한다고 할 수 있다. Analytic enterprise이냐 아니냐 하는 것을 단순히 이분법적으로 규정할 수는 없을 것이다. 기업마다 분야에 따라 그렇게 적용하는 부분도 있고 아닐 수도 있기 때문이다.
결국, Analytic enterprise를 몇 가지 레벨로 분류하여 판단하는 것이 가장 적절하지 않을까 판단된다. Analytic enterprise로 가는 것을 가장 이상적인 레벨로 보았을 때, 이상적인 레벨이 되기 위해서는 다음의 몇 가지 질문들에 답을 해 줄 수 있어야 할 것이다.
• 무슨 일이 발생했는가? (Reporting)
• 현재 진행되고 있는 상황은? (Alert / monitoring)
• 무엇이 발생할 것인가? (expectation)
• 어떻게 그리고 왜 일어난 것일까? (Modeling)
• 현재 우리가 취해야 할 최적의 액션은? (recommendation)
• 향후에 발생 가능한 Best/worst 시나리오는? (prediction, simulation)
과거에 DW를 구축한 기업들은 대부분 reporting, monitoring 등에 머물러 있는 경우가 대부분이다.
향후에 DW를 재구축할 때 추구해야 할 방향성을 고민할 때, 단순히 현상만 분석, 측정하는 것이 아닌 예측, 시뮬레이션 등을 포함하고, 나아가서는 최적의 추천 안을 제시해 줄 수 있는 스마트한 시스템이 되어야 하지 않을까 판단된다.
Aligned with PI(프로세스 혁신과의 연계)
예전에는 DW 시스템을 프로세스 혁신과 연계하여 생각하는 기업은 많지 않았다. 왜냐하면 정보의 저장소 및 활용 처인 DW가 프로세스의 혁신과 연계하는 것은 무관하다고 생각하는 경우가 대부분이기 때문이다. 하지만, DW가 가지고 있는 정보들을 기반으로 분석업무에 활용하다 보면 프로세스의 개선이 요구되는 영역이 도출되는 경우를 많이 볼 수 있다.
차후 DW 구축 시에는 정보 개선 요구사항에 대한 구축 뿐 아니라, 프로세스의 개선 요구사항의 구축 가능성 여부도 같이 검토하여 추진해 봄이 어떨까 한다.
• 결론: DW를 재구축하기 위해서는 최초 구축 시보다 많은 사항들이 고려되어야 할 것이다. 구축 당위성에 대해 비즈니스적 효과 검토는 기본이고, IT 관점의 효율성 증대 측면도 고려해 보아야 할 것이다. 또한, 차별화된 DW를 구축하기 위해 사용자 부서를 대상으로 공감대 축적을 통해 나은 정보요구사항들을 이끌어 내기 위한 작업들도 사전에 이루어져야 할 것이다.
그리고 DW를 구축하는 방향성을 정립할 때, 기업이 가지고 있는 PAIN POINT가 무엇인지 명확하게 분석하여 이를 해결하기 위한 차원에서의 접근도 중요하지만, 위에서 언급한 것처럼"Information centric", "Analytic enterprise", "Aligned with PI"의 방향성을 가지고 다른 경쟁자들은 제공하지 않는 나만의 차별화된 서비스를 준비하여 새로운 지식 창고로서의 DW를 구축하는 것은 어떨까 제안한다.