데이터 분석 전문 인력 문제 해결 기대

[컴퓨터월드] 데이터 분석도 서비스 형태로 제공되고 있다. MAaaS(Managed Analytics as a Service)가 바로 그것이다. 이 서비스는 데이터 전문 인력이 수행해야할 데이터 분석부터 인사이트 도출, 모델링 관리까지 대신해준다. 고객은 AI 예측모델을 비즈니스에 적용하기만 하면 된다. MAaaS는 전문 인력 부족 등의 문제로 골머리를 앓고 있는 국내 IT 기업들에게 희소식이 아닐 수 없다. MAaaS는 데이터 분석 전문 인력 부족 문제를 해결하는 것과 동시에 데이터 기반의 의사결정 기회를 확대할 것으로도 기대된다. MAaaS 전반을 조명해봤다.


데이터 및 AI 활용 어려움 타개…트리거는 클라우드

클라우드의 적용범위가 보다 확대되고 있다. 기업들의 비즈니스 형태도 클라우드의 핵심인 ‘서비스형’을 채용하며 다양해지고 있다. 서비스 형태(XaaS)로 제공되지 않는 것이 없다는 말이 나올 정도다.

최근에는 데이터 분석을 서비스 형태로 제공해주는 MAaaS가 등장해 관심을 끌고 있다. 현재 국내에서는 데이타솔루션이 이 서비스를 제공하고 있다. 데이타솔루션은 한국마이크로소프트(MS)와 업무협약을 체결하고 ‘애저(Azure)’ 환경에서 AI 예측모델을 운영하고 관리해주는 서비스를 본격 개시했다.

한인애 데이타솔루션 데이터사업본부장은 “빅데이터, AI 도입이 기업 경쟁력에 필요하다고 생각하는 CEO는 70% 이상인 반면, 실제 파일럿(Pilot) 프로젝트를 진행하는 도중에 포기하는 경우도 70% 이상”이라면서, “파일럿 프로젝트를 진행하면서 모델링 외에도 관리 등 수많은 어려움이 따른다는 것을 인지했고 이를 타개하기 위해 MAaaS를 개발했다”고 설명했다.

▲ MAaaS의 개요 (출처: 데이타솔루션)

MAaaS 비즈니스가 가능해진 이유는 바로 클라우드가 모든 산업 분야, 모든 업무에 적용되고 있기 때문이다. 클라우드로 인해 직접 사무실을 방문하지 않고 원격에서 접속해 상시적인 서비스가 가능해졌기 때문이다. 이러한 서비스에 데이터 분석이 접목되며 원격에서도 고객의 데이터를 전달받아 분석하고, 모델을 만들 수 있게 됐다는 것이다.

특히 최초 예측 모델을 개발하고 적용하는 것부터 성능 모니터링, 리모델링까지 필요에 따라 다양한 수준의 분석 서비스를 제공하기 위한 전제조건 역시 클라우드다. 클라우드가 결국 데이터 분석의 효율성과 편의성까지 높여줄 수 있게 됐다.

MAaaS를 이용할 경우 기업들은 데이터를 분석하기 위해 필요한 데이터마이닝 역량 부족 문제를 해결할 수 있다. 데이터마이닝은 수많은 데이터들 사이에 숨겨진 유의미한 상관관계를 찾아내는 것으로 이러한 역량을 가진 엔지니어가 절대적으로 부족하다. 국내 중소 중견기업은 말할 것도 없이 대기업도 이러한 전문인력이 부족해 데이터 전문 조직을 갖추지 못한 경우가 많다.

전문 인력부족으로 많은 기업들이 데이터 분석을 위해 외주 프로젝트를 진행하게 됐으며 이러한 일회성 프로젝트로는 지속적인 예측 모델 관리에 대한 어려움이 많았다.

일반적으로 프로젝트를 진행할 경우 데이터를 분석하고 이를 통해 모델을 만들고, 다시 예측률을 확인하고, 개선하는 등의 작업이 지속적으로 이뤄진다. 이 단계를 계속하면서 모델을 업그레이드해 나간다. 기업들은 전문 인력 없이 이러한 프로젝트를 계속하는데 의구심을 가질 수밖에 없다.

▲ 일반적인 데이터 분석 프로세스

기업들은 전문가가 없더라도, 데이터 분석과 이를 토대로 만들어진 모델링 관리를 도맡아 수행해 줄 수 있는 서비스의 필요성을 인식하게 된 것이다. 이러한 수요를 충족시켜줄 수 있는 서비스가 바로 MAaaS다.


개발과 관리 등 5가지 단계 거쳐야

MAaaS는 데이터를 분석만 해주는 서비스가 아니다. 고객 데이터 분석을 통해 개발된 모델을 관리도 해준다. 고객의 데이터를 분석하고 그 결과를 토대로 모델을 만들어 전달하며, 이후 예측 모델의 확률을 검증한다. 모델 검증이 끝나면 예측 확률을 높이기 위해 다시금 모델을 튜닝하기도 한다. MAaaS는 개발의 3가지 단계와 운영의 2가지 단계를 거쳐야한다.

모델 개발의 경우 ‘예측분석 컨설팅’, ‘신규 예측 모델 개발’, ‘설명변수 개발’ 등 3가지 절차를 거친다. 먼저 ‘예측분석 컨설팅’ 단계에서는 분석용 데이터 현황을 진단하고, 예측분석 주제를 발굴한다. 또한 이를 적용했을 때의 성공률을 가늠해보는 등 가능성을 검증하는 작업도 진행한다. 가장 시간이 오래 걸리고 번거로운 작업인 데이터 확보도 컨설팅 단계에서 이뤄진다. 한인애 데이타솔루션 상무는 데이터 확보가 도입 3단계와 운영 2단계 통틀어 가장 힘든 절차라고 말한다.

한 상무는 “프로젝트를 진행하기 앞서 컨설팅 단계에서 데이터를 확인해보면 데이터양이 현저히 적다. 심지어는 CEO, CIO는 데이터를 보유했을 것이라고 판단해 MAaaS를 도입하려 하는데, 실무자들에게 물어보면 없는 필요한 데이터가 없는 경우가 태반”이라며, “추가적으로 데이터를 확보하기 위한 작업을 진행하기도 한다. 데이터만 잘 확보돼있다면, MAaaS 도입은 3개월이면 끝날 수 있다. 고객들은 데이터 상황을 확실히 인지하고 있어야 한다”고 당부했다.

다음 단계는 ‘신규 예측 모델 개발’이다. 이 단계에서는 앞서 확정 지은 데이터 분석 주제를 토대로 새롭게 예측 모델을 개발한다. 데이터를 수집, 저장하고 분석에 맞게 데이터 전처리 과정도 포함된다. 이후 고객사가 선정한 주제에 대한 알고리즘을 적용해 분석 모델링을 만들게 된다.

이후에는 ‘설명변수(Factor Fool)’를 개발하게 된다. 여기에서는 향후 활용이 가능한 설명변수를 별도의 데이터베이스(DB)에 구축한다. 또한, 고객이 정한 데이터 분석 주제와 관련된 변수 요소를 갖고 있는 데이터를 확보하고 변수를 추출한다. 가령 고객의 수요 예측 모델을 만들 경우 제품이 한 달간 얼마나 팔릴 것인지, 이에 따른 물품 발주량에 대한 변수를 변수 요소를 가진 데이터로 추출한다.

택배 물동량 예측 모델을 만든다고 가정할 때 변수로 날씨 데이터, 홈쇼핑 프로그램 편성 데이터, 교통 데이터 등을 들 수 있다. 각각의 변수 데이터를 추가로 확보하고 이를 통해 추출한 변수를 물동량 예측 모델에 적용시킨다. 그렇게 되면, 물동량 예측 모델의 정확도를 높일 수 있고 변수를 예측해 만일의 상황에 대비할 수 있다. 눈이 많이 오면 교통량이 늘어나게 되고, 결국에 물동량은 줄어든다. 기업은 이러한 예측을 통해 어떻게 대처해야 할지 방안을 모색하게 된다.

MAaaS는 이와 같은 3가지 개발 절차를 거친 후 운영 2단계를 진행하게 된다. 여기에서는 ‘모델 성능 진단’과 ‘모델 튜닝’ 작업을 수행하게 된다. 운영 단계에서는 개발한 예측 모델을 시스템에 장착하고 사용하게 된다. 우선 ‘모델 성능 진단’ 단계에서는 개발 절차를 거쳐 만들어진 예측 모델의 성능을 정기적으로 진단하고 원인을 파악한다. 예측 모델이 고객 시스템 궤도에 안착될 때 제대로 맞지 않는 경우가 발생할 수 있다. 그렇기 때문에 모델의 성능 및 문제 발생 시의 원인을 정기적으로 진단하고 파악하는 작업을 거치게 된다.

이후 ‘모델 튜닝’ 절차가 진행되는 데 여기서는 모델 성능 진단 결과에 따라 예측 확률을 높이기 위해 변수를 바꿔보거나 가중치를 바꿔보는 등의 작업을 수행한다. 아울러 운영 단계에서의 모델 모니터링도 함께 진행한다.

▲ MAaaS 패키지별 서비스 (출처: 데이타솔루션)

한편, 데이타솔루션은 기존의 데이터 분석 역량에 클라우드를 결합해 비즈니스 다각화를 꾀하고 있다. 데이타솔루션은 MAaaS를 ‘MAaaS PASP’, ‘MAaaS 베이직’, ‘MAaaS 프로’, ‘MAaaS 프리미엄’ 등으로 세분화했다. 아울러 이 패키지 서비스에는 전문가 교육과정도 포함돼 있다.


데이터 확보가 관건

MAaaS는 서비스형 분석 관리다. 데이터 분석을 서비스 형태로 제공해주는 것이다. 이 같은 클라우드 기반의 데이터 분석과 관련, 아마존웹서비스(AWS), 마이크로소프트(MS), 구글 클라우드(GCP) 등 CSP와 메가존, 베스핀글로벌, 클루커스와 같은 MSP도 솔루션을 클라우드로 제공하고 있다. 그러나 MAaaS와 CSP가 제공하는 클라우드 데이터 분석 서비스는 다르다.

가장 큰 차이점은 개발과 운영의 주체에 있다. CSP나 MSP들은 고객이 데이터 분석 솔루션을 필요로 할 때 고객의 데이터 상황에 맞게 컨설팅을 진행한 후 솔루션을 제공해준다. 다만, 고객은 클라우드 기반의 솔루션을 구축할 뿐 데이터 분석과 모델 개발, 검증, 튜닝 등의 작업을 직접 해야 한다. 데이터 전문 인력을 어느 정도 갖추고 있어야 한다.

MAaaS는 ‘MS 애저’ 클라우드를 사용하고 있는 고객이라면 데이터 전문 인력이 없어도 데이터 분석, 모델 개발, 검증, 튜닝 등 개발부터 관리까지 서비스 형태로 제공한다. 한 마디로 솔루션 외에 실제 작업도 서비스로 제공받을 수 있는 것이다.

MAaaS를 사용하더라도 데이터 확보는 고객 몫이다. 데이터는 MAaaS의 가장 기본적인 재료다. 토마토 파스타를 만드는 데 토마토와 면이 없는 상태에서 아무리 뛰어난 요리사라도 파스타를 만들 수 없는 것처럼 MAaaS를 사용해 원하는 예측 모델을 만들기 위해서는 모델에 적합한 데이터와 모델의 정확도를 높이기 위한 변수 요소 데이터를 확보해야 한다.

데이터가 확보된 상태에서 MAaaS를 이용해 예측 모델을 만들 경우 시간을 대폭 줄일 수 있다. 정확도 역시 최초 예측 모델부터 높은 상태로 개발될 수 있다. MAaaS를 제공하는 데이타솔루션과 같은 기업이 고객의 요구에 따라 데이터를 추가로 확보하겠지만, 고객은 보유한 데이터가 무슨 데이터인지, 또는 데이터 유무 정도는 파악하고 있어야 한다.

배수정 데이타솔루션 이사는 “중요한 것은 데이터다. 데이터 존재 여부도 중요하지만 이제는 데이터의 수준을 파악해서 쓸 수 있는 데이터를 준비하는 게 중요하다. 분석하는 회사의 역할도 중요하지만 자신들의 데이터를 관리하는게 더욱 중요하다”고 데이터의 중요성을 강조했다.

배 이사는 예측 모델에 대한 인식 전환도 주문했다. AI 예측 모델은 한 번에 끝나는 것이 아니라 수차례 지속적으로 발전하고 순환이 된다는 인식을 가져야 한다는 것이다.


AI 및 데이터 분석 트렌드 좇는 고객에 적합

데이터 사이언티스트는 데이터 엔지니어링과 수학, 통계학, 컴퓨팅 등 다방면에 걸쳐 복합적이고 고도화된 지식과 능력을 갖춰야 한다. 국내에서 이러한 데이터사이언티스트를 채용하기는 쉽지 않다. 몸값도 몸값이지만 인력이 절대적으로 부족한 실정이다.

이런 상황에서 MAaaS는 데이터 전문 인력을 보유하고 있지 않거나 관리가 어려운 기업들에게 데이터 분석과 AI 예측모델을 비즈니스에 활용할 수 있는 기회를 제공할 것으로 보인다.

한인애 데이타솔루션 상무는 “데이터와 AI를 비즈니스에 적용하고 싶은 기업들은 많은데 그동안 여러 이유로 어려웠다”며, “이들 기업이 MAaaS를 통해 문제를 해결할 수 있게 됐으며 데이터를 기반으로 의사결정을 내릴 수 있게 됐다”고 설명했다.

MAaaS물는 중소규모 기업에만 적합한 것은 아니다. 대기업과 중견기업 수요도 상당할 것이라는 것이 데이타솔루션측의 진단이다.

데이터 분석 인력이 많을 것 같다고 생각되는 대기업도 전문인력을 확보하지 못하고 있으며 설령 전문 인력을 갖추었다고 해도 이들 전문인력을 365일 운영할 만큼 일이 있는 것도 아니라는 것이다.

이런 문제를 해결할 수 있는 대안이 바로 MAaaS다. 데이타솔루션은 MAaaS를 이용할 경우 비용적인 면에서도 유리하다고 주장한다.

특히 데이타솔루션은 MS와 협약을 맺고 할인 프로그램도 진행하고 있다. 데이타솔루션은 보안에 대한 고객들의 우려도 줄여나가고 있다. 데이타솔루션은 MAaaS를 제공할 때 고객의 MS 애저 클라우드 계정에서 데이터를 옮겨 받아 MS 애저 클라우드 환경에서 데이터 분석 작업을 수행하고 있다. 고객의 데이터는 MS 애저 클라우드 환경 밖으로 나가지 않으며, 이에 따라 보안성도 높다. 이미 계약 단계에서 모든 데이터를 클라우드 환경에서 분석할지, 기밀데이터가 아닌 데이터만 클라우드 상에서 분석할지를 고객과 충분히 협의한 후 진행하고 있다.

한인애 상무는 “고객이 MAaaS를 사용할 경우, 우리는 MS 애저 환경에서 작업을 하게 된다. 그렇게 되면 데이타솔루션 계정으로 접속하는데, 계정별로 작업 로그가 남기 때문에 보안성이 높다”며, “기밀데이터의 경우에는 고객사에 직접 가서 데이터 분석 작업을 수행하는 등 보안 우려 해소에도 적극 나서고 있다”고 강조했다.

MAaaS가 적용되는 산업군은 주로 물류, 제조, MD, 금융 분야 등이다. 물류 산업에서는 물류 물동량 및 고속도로 교통량 예측 등이며, 제조 수율제고를 위한 레시피 예측, 설비 유지관리를 위한 고장 예측 등이 있다. 고객 행동과 개인화 상품추천 예측에도 사용된다. 아울러 향후에는 금융 부문의 보험 유지율 예측, 추가 가입 예측, 리크루팅 모델링, 손해액 예측을 비롯해 이미지 데이터 기반 결함 유형 식별 모델링 등 다양한 산업의 여러 분야에서 활용될 것으로 기대된다.

▲ MAaaS의 기대효과 (출처: 데이타솔루션)

[관련 뉴스] 데이타솔루션, 클라우드 기반 데이터 분석 서비스 발굴 나서
한국MS와 MOU 체결…모델링 및 시각화 등 전 과정 지원

데이타솔루션이 클라우드 기반 데이터 분석 서비스에 나섰다. 마이크로소프트(MS)의 클라우드 플랫폼 애저(Azure)의 데이터 분석 솔루션을 서비스형으로 제공하게 됐다.

데이타솔루션은 한국마이크로소프트(MS)와 클라우드 서비스 영역으로 확장하기 위해 전략적 업무협약을 체결했다.

그 동안 데이타솔루션은 클라우드와 빅데이터가 중심이 되는 디지털 트랜스포메이션 시대에 맞춰 꾸준히 사업구조와 조직을 변화시켜왔다. 그 일환으로 MS의 클라우드 서비스 애저(Azure)에 데이타솔루션의 솔루션과 역량을 더해 고객에게 더 나은 클라우드 서비스를 제공하기 위해 오랜 기간 준비해왔다.

양사는 ‘클라우드 스케일 애널리틱스(Cloud Scale Analytics)’와 ‘매니지드 애널리틱스 서비스(Managed Analytics Service)’ 분야의 협력을 통해 고객의 기존 환경을 클라우드 상에 구축하며 모델링 및 시각화까지 전 과정을 지원한다. 또한, 클라우드 시스템을 지속적으로 관리하며 머신러닝 및 AI 등의 자원을 통해 데이터 분석 기반의 비즈니스를 창출 할 수 있도록 서비스를 제공할 계획이다.

배복태 데이타솔루션 대표는 “데이터 전문기업으로서 20년 이상 축적해 온 데이터 분야의 독자적인 기술과 역량을 마이크로소프트 글로벌 서비스와 결합해 클라우드 시장에 본격적으로 진출할 수 있는 좋은 기회가 될 것”이라고 말했다.

장홍국 한국마이크로소프트 파트너 및 SMC사업본부 부사장은 “데이터 통합솔루션 전문기업인 데이타솔루션과의 긴밀한 협업을 통해 더욱 많은 국내 기업들이 새로운 비즈니스 기회를 물색하고 빅데이터 분석 및 디지털 역량을 강화할 수 있도록 지원할 것”이라고 밝혔다.

▲ 배복태 데이타솔루션 대표(좌), 장홍국 한국MS 부사장
저작권자 © 컴퓨터월드 무단전재 및 재배포 금지