금융분야에서 전분야로 활용범위 확대...툴 시장 ‘장밋빛’
예측 분석 애플리케이션 구축 추세
그렇다면 차세대 경쟁력 강화 수단은 무엇일까? 그것은 이벤트를 미리 예측하고 적절한 평가와 분석을 통해 판단을 내리는 것이다. 데이터 웨어하우스를 미래 예측 도구인 '수정구슬'로 사용하는 과학적인 명칭인 예측 분석은 비즈니스 인텔리전스가 지향하고 있는 방향이다. 여기에는 신경망과 의사결정트리(decision trees), 베이지안 네트워크(Bayesian networks) 등의 수학적인 알고리즘을 통한 히스토리컬 데이터를 구동해 트렌드와 패턴을 밝혀내고 미래의 결과를 예측하는 것이 포함된다. 제품 수요가 폭증할 것인가? 환자의 상태가 악화될 것인가? 고객이 다른 곳으로 이동할 것인가? 이러한 추측과 결과는 서비스를 개선하고 비용을 줄이며 새로운 시장 기회를 알아내는데 있어 중요한 역할을 할 수 있다.
BCBS(Blue Cross Blue Shield)는 현재 의료 리소스를 활용해 수술 환자의 경과를 예측하고 있다. 미국 연방항공국은 사고 예방을 위해 조종사의 건강 상태와 항공 사고의 상관관계를 규명하고 있다. 페덱스는 어떤 고객들이 새로운 서비스에 높은 관심을 갖고 있는지 혹은 경쟁사를 압도할 수 있는지를 예측하고 있다.
이러한 개념은 새로운 것이 아니다. 보험회사들은 수십 년 동안 보험통계학을 사용해 보험계약자들의 예상 수명은 얼마인지, 자동차 사고가 발생할 가능성은 어느 정도인지 예측해오고 있다. 금융 회사들의 경우 대출을 받은 사람들의 신용도를 파악하기 위해 예측 분석 기술을 도입해왔다. 현재 다른 점이 있다면 모든 직원들에 대한 매일매일의 의사 결정을 위한 '주류' 애플리케이션으로서 벤더들이 예측 분석 기술을 구축하고 있다는 것이다. IDC는 예측 분석 소프트웨어 시장이 연간 8% 성장, 2008년에는 30억 달러 규모가 될 것으로 전망하고 있다.
신생 업체인 트루디맨드 소프트웨어는 전자태그(RFID) 시스템의 데이터를 사용해 유통 업체들과 제조업체들이 상품의 수요를 예측하고 재고를 최적화할 수 있는 공급망 애플리케이션을 개발하고 있다. 애트렌다는 개발 초기 단계에서 반도체 디자인이 스펙을 만족시키는지 여부를 확인하기 위해 예측 분석을 사용하고 있다. IBM은 지난 5월 내장된 예측 분석을 사용해 제품 재고를 모니터링하며 히스토리컬 수요의 분석을 토대로 주문할 수 있는 유통 업체용 재고 관리 애플리케이션을 발표했다. 이러한 애플리케이션은 IBM 컨설턴트들에 의해 수년 동안 사용되어 온 것이다.
고객보다 앞서 요구사항 예측해야 경쟁력 확보
미국의 리치몬드 지역의 경찰들은 총기 도난이나 자동차 절도, 살인 등 특정 범죄가 특정 시간대에 특정 지역에서 발생할 가능성을 판단하는 예측 분석을 사용하고 있다. 리치몬드 도시의 12구역을 관할하는 경찰 서장들은 30명의 경찰 인력을 어디에 배치해야 하는지를 판단해주는 시스템에 연결된 데스크톱 컴퓨터를 사용하고 있다. 로드니 먼로 경찰 서장은 "예측 모델을 근거로 공권력의 효율적인 배치가 가능하다"고 밝혔다.
경찰관들은 이 시스템의 안내에 따라 16명의 탈주자를 체포했으며 18개의 총기류를 압수했다. 지난해 리치몬드 지역에서 5월 첫째 주에 3건의 살인 사건이 발생했던 것에 비해 올해 같은 기간에는 단 한 건도 발생하지 않았다. 먼로 서장은 "사전 예측력이 훨씬 강화된 것으로, 이제는 더 이상 가만히 앉아 사건이 발생하기를 기다리지 않아도 된다"고 언급했다.
응급 전화는 실시간 이벤트로 예측 분석 능력이 선행되어야 한다. 데이터 통합과 미들웨어 업체인 팁코소프트웨어의 CEO인 비벡 라나디베는 데이터 예측 기능을 적용하고 있는 기업들이 지속적으로 증가할 것으로 확신하고 있다. 라나디베는 '실시간'을 전도하는데 자신의 모든 생애를 보냈지만 여전히 사건이 발생한 뒤 신속히 대응하는 형태에 불과하다면서, "그 대응 곡선을 앞당겨야 할 것"이라고 전했다.
라나디베는 최근 발간된 '예측의 힘(The Power To Predict)'이라는 책에서 자신의 생각을 피력했으며 여기에는 페덱스의 CEO인 프레드 스미스의 의견도 제시되어 있다. 스미스는 "성공한 기업들은 언제나 민첩하게 행동해왔다"면서, "하지만 더욱 더 민첩하고 빠른 의사 결정과 예측력이 요구되고 있다"고 밝혔다. 그는 "고객들이 원하는 것을 고객들보다 앞서서 예측함은 물론 서비스의 장애 사고도 발생하기 전에 예측해야 한다고 역설했다.
라나디베는 고객들의 충성도를 높이고 공급망의 효율화와 상점에서 적합한 물품의 구비를 유지하기 위해 향후 예측 분석이 폭 넓게 도입될 것으로 예측하고 있다. 팁코는 이러한 기회를 선점하기 위한 시도를 하고 있다. 팁코는 '예측 비즈니스'와 '예측의 힘'을 트레이드마크로 삼고 있으며 비즈니스의 기회를 규명하는데 있어 데이터에서의 패턴을 찾기 위해 데이터베이스와 애플리케이션을 결합한 규칙 엔진인 '팁코 비즈니스 이벤트'를 개발했다.
예측 분석은 데이터 분석의 다양한 방법을 제공하고 미묘한 패턴을 찾아내기 위해 마르코프 의사결정 프로세스, 스트림 마이닝(stream mining), 벡터 머신 지원 등의 명칭을 가진 새로운 알고리즘이 개발되어 과학적으로 향상되었다. 많은 업체들이 이러한 툴에 관심을 가지는 실용적인 이유는 기업들이 축정하고 있는 수많은 데이터를 활용하기 위해서이다. 훨씬 저렴하고 보다 강력한 컴퓨터의 도입은 모든 데이터에 대한 액세스를 가능하게 해준다. 보험 시장을 위한 예측 분석 소프트웨어를 개발하고 있는 발렌 테크놀로지스의 CTO인 리차드 블라심스키는 "몇 년 전만 해도 불가능했던 예측 분석을 다양한 방법으로 적용할 수 있다"고 말했다.
하지만 벤더들은 지나친 낙관론을 배제한 신중한 접근 방법이 요구된다. 리치몬드의 경찰관들이 사용하고 있는 시스템은 스티븐 스필버그의 영화인 마이너리티 리포트에서 존 앤더튼 반장 배역의 톰 크루즈가 범죄자들을 미리 예측해 체포했던 것과 같은 기능은 결코 할 수가 없다.
오라클의 데이터 마이닝 기술 담당 이사인 찰리 버거는 "이제 영화 같은 일이 거의 현실이 되고 있다"고 밝혔다. 오라클은 1999년 싱킹 머신즈(Thinking Machines)의 인수를 통한 데이터 마이닝 소프트웨어를 비롯해 피플소프트와 프로핏로직(ProfitLogic)의 인수를 통해 CRM을 위한 예측 분석 애플리케이션을 추가해 예측 모델링을 자사 데이터베이스에 구현했다. 버거는 "기술 벤더들은 예측 모델의 구축 및 프로세스 단계를 자동화해 사용자층을 확산시키고 있다"고 밝혔다.
주식 자동매매 시스템도 탄생
예측 분석의 정확성은 평가되는 상황의 복잡성과 기타 변수들에 따라 좌우된다. 즉, 예측 프로세스에서 많은 것이 잘못될 수도 있다는 것이다. 발렌테크놀로지스의 블라심스키는 "최대한 현실적으로 생각해야 한다"면서, "미래를 투시하거나 천리안을 가지는 것은 불가능한 것"이라고 밝혔다. 로데 아일랜드 주립대학의 컴퓨터 과학 및 통계학 교수인 루츠 하멜은 "주식 시장의 미래를 내다볼 수 있는 날은 결코 오지 않을 것"이라고 말했다. 너무나 빨리 변하는 변수들이 너무나 많기 때문이다. 반면에, 월스트리트 회사들은 단기적인 거래 동향을 예측할 수 있으며 이를 바탕으로 자동매매시스템이 탄생, 그 결과도 비교적 흡족한 것으로 나타났다.
페덱스의 고객 마케팅 분석 담당 이사인 톰 위킨스키는 자사의 예측 분석 시스템이 제공하는 패키지 선적률의 정확도가 65~90%에 이른다고 말했다. 페덱스는 SAS의 엔터프라이즈 마이너 및 기타 툴을 사용해 고객들이 가격 변화와 신규 서비스에 어떻게 반응할 지, 어떤 고객들이 경쟁사로 이동할 가능성이 있는지 등을 예측하는 모델을 개발하고 있다. 위킨스키는 정확도가 문제의 복잡성이나 변수에 의해 좌우되는 것이 아니라 지원 데이터의 품질과 양에 따라 좌우된다고 말했다.
페덱스는 1990년대부터 고객을 예측하기 위해 예측 분석 기술을 사용하기 시작했다. 이후 페덱스는 기술사용의 범위를 확대해 보다 복잡한 비즈니스 문제에 적용했다. CAR(Customer-At-Risk) 시스템을 포함한 애플리케이션들은 비교적 새로운 것으로, 위킨스키는 "이러한 애플리케이션이 비즈니스 프로세스의 주류가 되고 있다"고 말했다.
그는 콜 센터 등과 같이 실시간으로 운영되는 부분에도 예측 분석을 적용할 계획이라고 밝혔다. 이를 통해 고객 서비스 부서가 고객을 세분화하며 타사로 이동할 가능성이 높은 고객들을 분류해 이들을 대상으로 특화된 서비스를 제공할 수 있을 것으로 기대하고 있다. 재무 상황은 언제나 성공을 가늠하는 좋은 잣대가 되고 있다. 킨테라의 예측 분석 소프트웨어를 도입한 유타 대학의 동창회 기부금은 지난해 73%나 증가했다. 유타 대학은 킨테라의 분석 소프트웨어를 통해 30만 명의 졸업생 데이터베이스에서 기부를 할 수 있는 동창이 누구인지 판단하고 있다. 유타 대학의 연구 개발 이사인 에리카 마켄은 "제한된 리소스 내에서 누가 기부금을 낼 여력이 있는지 알아내고 그 가능성을 예측하는 것이 과제였다"고 말했다.
의료와 범죄예방, 테러방지까지 확산
금융과 마케팅 애플리케이션 분야에서 도입되던 예측 분석 기술은 의료와 범죄 예방, 테러 방지 등의 분야로 확장되고 있다. 2년 전부터 리치몬드의 예측 분석 시스템을 사용하고 있는 경찰들은 과거 15년 동안의 경찰 기록과 통화 내역, 체포 및 범죄 발생 등에 관한 자료를 모아놓은 데이터베이스를 사용해 범죄가 언제 어디에서 발생할 가능성이 높은지를 판단한다. 또한 기상 정보의 여러 요인들을 활용하며 지역 축제나 스포츠, 기타 이벤트도 추적하고 있다. 이 시스템은 SPSS의 클레멘타인 예측 분석 소프트웨어와 인포메이션빌더스의 리포팅 및 가상화 툴, 연구 기관인 RTI 인터내셔널이 개발한 예측 모델로 구성되어 있다.
경찰관들은 어떤 사람들이 무장 강도나 자동차 도난을 경험할 가능성이 높은지 판단하는 등 특정 범죄에 관해 시스템에 문의를 보낼 수 있다. RTI의 과학자인 콜린 맥큐는 "예를 들어, 나이트클럽 고객들이 술에 취해 표적이 될 가능성이 높은 시간에 클럽의 주차장 근처에 경찰관들을 배치해 무장 강도들을 집중 단속할 수 있다"고 설명했다.
먼로 소장은 데이터가 시스템에 추가됨에 따라 정확도가 향상되어야 한다고 말했다. 하지만 한계가 있는 것도 인정해야 한다. 분석은 주로 범죄가 발생한 시간과 장소, 유형에 국한되며 과거 범죄에 사용되었던 무기의 종류는 고려 대상이 아니다. 또한 예측 모델의 경우 거리에서 판매된 마약이 증가하는지 혹은 감소하는지 등 새로운 정보로 업데이트 되어야 한다.
국가 보안의 경우, 정부 기관들이 데이터 마이닝과 예측 분석을 어떻게 사용하고 있는지 자세하게 알 수는 없다. 하지만 퍼시픽 노스웨스트 국립 연구소의 사례를 통해 어느 정도 짐작이 가능하다. 국가안보부 테러방지대책의 일환으로, 이 연구소는 예측 분석과 가상화 기술을 통합해 테러리스트의 공격 징후를 탐지하기 위한 동향 분석과 패턴 인식에 사용하고 있다. 프로그램 매니저인 스티브 마틴은 그러한 애플리케이션의 정확성에 대해 신중한 태도를 보이고 있다. 그는 "하지만 연방 정부는 전화 통화 패턴을 분석하는데 이 기술을 사용하고 있는 것처럼 보인다"고 전했다. 또한 이 연구소는 테러리스트들이 테러를 감행하기 전에 특정 장소에서 어슬렁거릴 때 이러한 행동을 밝혀내고 보안 카메라에 잡힐 수 있다는 생각에 예측 분석과 행동 분석을 결합하고 있다.
개인의 건강 및 행태 분석 예측용으로 진화
전자 의료 기록이 보편화됨에 따라, 이러한 데이터베이스는 예측 분석을 위한 풍부한 정보 소스를 제공하게 된다. BCBS는 의료 서비스를 위해 MEDai의 신경망을 토대로 한 예측 모델을 지난 18개월 전부터 사용하고 있다. 연구 개발 및 컨설팅 담당 소이얼 모민 이사는 "심장병이나 신장병, 당뇨병을 예측할 수 있는 패턴이 있다면 이를 가능한 한 신속히 알고 싶을 것"이라면서 "이 기술이 질병을 예측할 수는 없지만 심각한 상황의 전조를 인식할 수는 있다"고 말했다.
시카고에 위치한 CMRC(Children's Memorial Research Center)는 실제로 종양의 재발을 예측할 수 있도록 한 단계 가까이 가고 있다. CMRC는 클레멘타인 데이터 마이닝 소프트웨어를 사용해 소아 뇌종양을 세분화하고 있다. 그런 다음 관련 정보를 위한 전자 의료 문서를 검색하는 툴과 예측 분석, 게놈 연구를 통해 의사들은 최적의 치료법을 결정하고 종양이 재발할 가능성을 예측하게 된다. CMRC의 뇌종양 연구 프로그램의 에릭 브레머 박사는 "이러한 개념을 통해 개인화된 의료 서비스를 앞당길 수 있게 될 것"이라고 밝혔다.
항공 업계의 경우, FAA는 최근 조종사의 건강과 항공기 사고와의 상관 관계를 규명하는 프로그램을 도입했다. FAA는 인사이트풀(Insightful)의 S-플러스와 인사이트풀 마이너 예측 분석 소프트웨어를 도입해 항공기 사고와 조종사의 의식불명 사고에 대한 정보를 교차 분석하고 있다(조종사들은 정기적인 의료 검진을 받아야 하며 검진 결과는 FAA 데이터베이스에 저장된다).
연구원들은 사고와의 연관성을 밝히기 위해 조종사의 심혈관과 신경 상태를 검사하고 조종사의 연령이 항공 안전에 영향을 끼치는지 여부를 정밀 검사할 예정이다. FAA의 항공의학연구소 생물정보학 연구팀장인 스티븐 버로뉴는 "일정 연령을 넘어선 기장들이 항공기를 조종할 때 안전 문제가 발생하는지 여부를 파악하는 것이 주안점"이라고 말했다. 개별 조종사의 신원 자료가 아닌 의료 데이터를 사용하는 이 프로그램은 또한 게놈 데이터를 비롯해 조종사의 혈액 샘플을 분석해 피로에 더 취약한지를 파악하게 된다.
발렌의 블라심스키는 트럭 운전사들의 운전 행동이나 피로에 약한 건강 상태로 인해 사고를 당할 가능성이 높은 사람들을 규명하기 위해 트럭에서 수집된 텔레매틱스 데이터를 검사하는데 사용되는 것과 유사한 기술을 자사가 사용하고 있다고 설명했다. 하지만 이러한 데이터 분석은 윤리적인 문제를 안고 있다. 예측 분석으로 인해 사람들의 유전자를 분석해 직장에서의 채용이 거부되거나 건강 상황이 좋지 않을 것이라는 예측으로 인해 보험 가입이 거부되는 등의 부작용을 초래할 수 있기 때문이다. FAA의 버로뉴는 "정부와 같은 대형 조직이 인터넷이나 이메일을 사용하는 사람들을 추적하는 오웰리안(Orwellian) 시스템과 같은 형태를 생각하면 된다"고 말했다.
리치몬드의 경찰들은 마약 판매상이나 갱들에 대한 정보나, 심지어는 개인의 범죄 기록 등을 시스템에 추가해 범죄를 저지를 가능성을 예측하는 방안을 고려중이다. 이에 따라 프라이버시 옹호론자들의 거센 반발이 예상된다. 먼로 서장은 인종에 따른 분류가 아닌 포괄적이며 일반화된 분류로 접근해 프라이버시 문제에 대응할 방침이지만 프라이버시 옹호론자들이 이를 수용할 가능성은 확실하지 않다. BCBS 측은 예측 기술을 잘못 사용할 경우의 잠재적인 위험성을 인식하고 있으며 예측한 건강 상태에 대한 가입자의 비밀 요청을 적극 수용할 방침이라고 밝혔다.
예측 분석 툴 시장 '장밋빛'
예측 분석 애플리케이션의 성장이 지속되리라는 것은 누구도 부인할 수 없는 추세가 되고 있다. 하지만 프라이버시 문제 등을 포함해 책임이 수반되어야 하기 때문에 관련 기술을 도입하는 사람들의 책임 의식이 요구된다. 로데 아일랜드 주립대학의 하멜 교수가 '지구에서 가장 방대한 텍스트 데이터베이스'라고 칭한 인터넷이 예측 분석 기술 도입의 '종착역'이 될 것으로 예상된다. IBM 리서치의 데이터 분석 매니저인 치드 압트는 "예측 분석은 아직 분석가 중심의 기술에 머무르고 있지만 향후에는 비즈니스 프로세스에 접목되어 분석과 행동 간의 차이를 좁혀줄 것"이라고 밝혔다. IBM은 기업들이 결과에 대해 즉각적으로 대응할 수 있도록 서비스 지향적인 아키텍처에 예측 분석 기술을 탑재하는 방안을 연구 중이다.
테라데이터 기반의 데이터 웨어하우스인 테라데이터 웨어하우스 마이너와 Kxen 툴을 사용해 구축한 모델을 사용해 특정 가격대의 특정 상품에 대한 수요를 예측하는 업체인 오버스탁닷컴(Overstock.com)의 마케팅 분석 담당 통계학자인 스콧 버크는 "예측 분석은 점차 비즈니스 운영에 접목되고 있다"고 말했다. 이제 과거의 정보와 데이터가 미래를 예측하는데 효과적인 수단이 되고 있다. 또한 이를 활용한 기업들이 확산되면서 예측 분석 툴의 시장 전망 역시 '장밋빛'이 되고 있다.
Rick Whiting(rwhiting@cmp.com)
예측분석 기술로 '평생의 반려자' 찾는다
예측 분석 기술이 진실한 사랑을 찾는데 사용될 수 있을까? 이하모니(eHarmony)의 연구원들은 예측분석 툴을 사용해 온라인 데이트 업체인 자사의 서비스를 강화하기 위한 알고리즘 모델을 구축하고 있다. 데이트 사이트 이하모니가 2000년에 오픈했을 당시, 개인적인 가치 기준이나 관심사, 인성 등의 특징을 알아내기 위해 결혼한 커플을 인터뷰했던 사회 심리학자들을 고용했다. 현재 이 회사는 1,100만 명에 달하는 회원을 보유하고 있으며 2005년 한 해에만 3만3,000쌍을 결혼시켰다.
인터넷을 통한 '짝짓기'는 매우 높은 성공률을 기록하고 있다. 이는 운영 모델에 추가되어야 하는 많은 변수들이 규명되고 있으며, 변수를 효과적으로 측정하는 방법이 밝혀지고 있음을 의미한다. 이하모니의 연구 개발 부문 스티브 카터 이사는 "하지만 아직까지 규명하지 못한 변수들은 수없이 많다"고 말했다. SPSS의 소프트웨어는 이하모니의 과학적인 리서치와 브랜드 개발, 호환성 모델, 고객 만족도 및 유지, 제품 리서치를 위해 사용되고 있다. 이를 통해 결혼하기 전의 커플을 추적해 그들의 관계가 얼마나 오래 지속되었으며 교제가 끊긴 커플은 얼마나 되는지 알아낼 것이다. 이하모니는 그러한 중요한 정보를 전세계와 공유하는 방법에 대해 모색해보아야 한다.
"미래 예측의 정확도를 높여라"
쪾전문 영역에서 비즈니스 프로세스의 주류로 이동하고 있는 예측 분석
쪾비즈니스 데이터와 수학적 알고리즘, 예측 모델이 주요 구성 요소.
쪾IDC, 2008년 80억 달러의 시장 규모 전망
미래 예측으로 나아가는 시스템 관리 툴
IT 매니저들의 업무는 점점 예측이 불가능해질 정도로 많아지고 있으며, 그들이 사용하는 툴 역시 그러하다. 하지만 이제 상황이 점차 바뀌고 있다.
CA와 IBM은 훨씬 능동적이 되도록 자사의 시스템 관리 제품에 예측 분석 기술을 추가하고 있다. CA는 오래 전부터 뉴전트(Neugents)라 불리는 신경망 네트워킹 기술을 시도해왔지만 큰 성과는 거두지 못했다. CA의 최고 기술자인 빈스 리는 "당시에는 기술과 고객의 예측 사이의 연결점이 없었다"면서, "상당수 IT 문제들은 전원의 장애나 소프트웨어 버그 등 무작위적이었기 때문에 뉴전트가 예측할 수가 없었다"고 밝혔다.
하지만 이제는 새로운 기술이 IT 리소스의 할당과 유기적인 시스템 분할에 대한 필요성을 예측할 수 있게 되었다. 유니센터(Unicenter)와 클레버패스(CleverPath) 및 기타 CA 제품들은 패턴 인식 기술을 비롯해 여러 예측 기능을 사용, IT 시스템과 네트워크 성능 수준을 모니터링하고 있다.
IBM은 티볼리 시스템 관리 툴에 기본적인 예측 분석 기술을 도입했다. 티볼리 인텔리전트 오케스트라는 IBM의 데이터센터와 리소스, 워크로드 기능의 모델을 갖고 있다. 이 제품은 예측 알고리즘이 서비스 수준의 기준치가 초과되었다는 판단을 내리게 되면 새로운 장비를 온라인으로 구매하거나 워크로드를 재구성한다.
IBM의 토털스토리지 프러덕티비티 센터(TotalStorage Productivity Center)는 스토리지 인프라를 모니터링하며 데이터 활용을 분석해 병목 현상을 예측한다. 티볼리 애플리케이션 디펜던시 디스커버리(Tivoli Application Dependency Discovery) 매니저는 복합적인 애플리케이션을 모니터링하고 시스템이 최적의 구성에서 어긋나게 변경될 경우 경고를 보낸다.