[컴퓨터월드] 오늘날 빠르게 변화하는 시장 환경에 대응하기 위해서는 민첩한 의사결정이 필수적이다. 그리고 이제 정확한 의사결정을 내리기 위해서는 데이터를 활용하는 것이 당연해졌다. 과거에는 기업의 흥망을 결정짓는 의사결정권자들만 복잡한 데이터 분석 보고서가 활용됐지만, 이제는 저번 달에 입사한 신입 직원도 팀 내 보고서에 데이터 분석 결과를 첨부하는 시대다.

이제 기업에게 있어 직원들의 데이터 접근성과 활용성을 높이는 것은 중요한 과제가 됐다. 이를 위해 손쉽게 사내 데이터를 검색하고 활용할 수 있는 데이터 포털에 대한 관심이 늘어나고 있다.

데이터 접근성이 민첩한 의사결정을 만든다

국가적으로 데이터 중심의 혁신을 도모하기 위해서는 다양한 데이터를 개방하고 공유해 데이터에 대한 접근성을 늘리는 것이 필수적이다. 정부에서는 이미 몇 년 전부터 공공데이터를 적극적으로 공개하고, 민간기업에서 수집‧생산된 데이터들도 서로 적극적으로 공유 혹은 거래할 수 있도록 다양한 플랫폼을 만들어나가고 있다. 특히 최근에는 사용자들이 보다 손쉽게 데이터에 접근하고 획득할 수 있도록 데이터 포털 구축에 무게를 싣고 있다. 행정안전부가 운영하고 있는 ‘공공 데이터 포털’, 서울시가 운영하는 ‘서울 열린데이터 광장’, 국토교통부가 최근 공개한 ‘국토교통 데이터 통합 채널’ 등이 대표적인 공공분야 데이터 포털이라 할 수 있다.

한편 민간기업들의 데이터 포털은 공공기관들과 성격이 조금 다르다. 공공기관들이 구축하는 데이터 포털은 기관이 보유 및 생산하고 있는 공공데이터들을 최대한 많이 공개해 민간에서 자유롭게 활용할 수 있도록 돕기 위함이라면, 최근 민간기업들이 구축하고 있는 데이터 포털은 내부적으로 데이터 활용도를 높이기 위한 방법으로 사용된다. 비즈니스 조직이 IT 조직을 통하지 않고도 손쉽게 원하는 데이터를 찾고 활용할 수 있는 채널로써 데이터 포털이 활용되는 것이다.

데이터 전문가의 부족으로 인해 셀프서비스(Self-Service) 형태의 데이터 활용은 이제 필수가 됐다. 셀프서비스는 비즈니스 조직이 IT 조직의 도움 없이도 직접 데이터로부터 인사이트를 찾아내는 것을 의미한다. 기존에는 비즈니스 조직이 데이터를 분석하고자 하면 IT 조직에게 요구사항을 제시하고 보고서를 기다려야 했지만, 셀프서비스 분석 체계가 갖춰져 있다면 비즈니스 조직이 직접 데이터를 찾고 분석할 수 있다. 이는 기업이 보다 민첩하게 비즈니스 인사이트를 창출하고 의사결정의 속도를 높일 수 있도록 만든다.

비즈니스 조직의 셀프서비스 데이터 분석

초창기 대부분의 셀프서비스 데이터 분석 형태는 IT 조직이 분석을 위한 데이터를 준비해 DW로 제공하고, 비즈니스 조직은 이렇게 준비된 데이터들을 활용해 원하는 분석과 시각화를 수행하는 형태로 이뤄졌다. 그러나 이런 형태는 IT 조직이 여전히 비즈니스 조직을 위한 데이터 추출을 지원해야 하고, 비즈니스 조직은 원하는 데이터를 얻기 위해 지속적으로 IT 조직과 마찰을 일으키게 된다는 점에서 한계가 있다.

특히 비즈니스 조직은 기존에 IT 조직에게 맡겼던 데이터 분석을 직접 수행하게 되니 업무가 가중되고, IT 조직은 데이터 전문성이 떨어지는 비즈니스 조직이 데이터에 접근한다는 점에서 부담감을 느낀다. 이 때문에 셀프서비스 분석에 대해 기업의 의사결정권자와 현업 직원이 서로 다른 평가를 내리곤 했다. 의사결정권자는 셀프서비스 분석이 가져다줄 민첩한 인사이트 창출을 기대하지만, 현업 직원 입장에서는 추가적인 업무를 떠맡았음에도 불구하고 큰 효과를 보지 못하기 때문이다.

하지만 최근에는 이러한 인식에 조금씩 변화가 생기고 있다. 비즈니스 조직이 직접 데이터를 다룰 수 있어야 한다는 인식이 확산되고 있는 것이다. 이는 비단 의사결정권자들의 인식에만 국한되는 것이 아니라, 비즈니스 조직에서부터 보다 빠르게 데이터를 분석하고 인사이트를 얻기를 원하기 시작했다는 점에서 의미가 있다.

이에 대해 한 업계 관계자는 “현대식 슈퍼마켓이 처음 생겼을 때 손님들은 스스로 물건을 바구니에 담아 계산대로 가져가는 것에 대해 불만을 가졌다. 이전까지는 카운터에서 물건을 주문하면 직원이 가져다주는 식이었다. 하지만 지금은 다들 셀프서비스 쇼핑을 하고 있다. 길게 늘어진 줄을 서서 직원이 물건을 가져주길 기다리는 것보다, 직접 필요한 물건을 찾는 것이 효율적이라는 것을 알게 됐기 때문”이라고 설명했다.

셀프서비스의 관점에서, 데이터 포털은 비즈니스 조직이 IT 조직의 도움 없이도 직접 원하는 데이터를 찾고 시행착오를 겪을 수 있는 인프라를 제공한다. 초창기 셀프서비스와 가장 큰 차이는 ‘직접 원하는 데이터를 찾는다’는 점이다. 초창기 셀프서비스는 비즈니스 조직이 분석이나 시각화를 할 수 있더라도, 이를 수행할 수 있는 데이터는 IT 조직이 준비해줘야 했기 때문이다.

한편 데이터 포털은 단지 데이터에 대한 전문성이 부족한 비즈니스 조직만을 위한 것은 아니다. 과거에는 데이터의 수집‧저장과 분석‧활용이 모두 IT 조직에 의해 이뤄졌지만, 최근에는 데이터를 관리하는 조직과 활용하는 조직이 분리되는 추세다. 즉 IT 조직은 데이터를 수집‧저장하는 관리 업무에 보다 전문성을 가지게 되고, 비즈니스 조직과 함께 데이터 분석 전문 조직이 구성돼 분석‧활용만을 수행하는 것이다. 이러한 관점에서 본다면 데이터 포털은 셀프서비스만이 아닌, 기업의 데이터 활용 능력을 전반적으로 향상시키기 위한 방법이 된다.

“데이터 포털은 검색 그 이상을 제공해야 한다”
김범 엔코아 전략사업본부 전무

최근 기업들 사이에서는 데이터 중심의 디지털 트랜스포메이션 프로젝트가 유행처럼 추진되고 있다. 하지만 이들이 기대한 만큼의 성과를 내고 있는 지에 대해서는 다시 한 번 생각해볼 필요가 있다. 많은 프로젝트들이 데이터를 활용하는 방법으로 챗봇이나 기본적인 고객 분석 자동화 수준에 머무르고 있다.

이것은 디지털 트랜스포메이션에 대한 기대치가 너무 낮았기 때문이다. 디지털 트랜스포메이션은 단순히 기존 업무가 조금 편해지는 수준이 아니라, 업무 프로세스 자체를 완전히 새롭게 혁신하는 수준에서 이뤄져야 한다. 이는 단발적인 프로젝트가 아닌, 장기적으로 기업이 데이터를 어떻게 바라보고 다룰 것이냐에 대한 전략의 문제다.

이에 따라 최근 선도적인 기업에서는 데이터 전문가들을 동원해 자사가 보유한 데이터들을 지속적으로 분석할 수 있는 체계를 만들고자 하고 있다. 장기적인 전략으로 추진하는 것이기 때문에 단발성 아웃소싱보다는 내부적인 인력강화가 두드러진다. 실제로 기업들이 굉장히 많은 데이터 분석가들을 채용하고 있어 공급이 따라잡지 못하는 수준이다.

기업이 데이터 전문가로 구성된 조직을 마련하게 되면 어떤 문제가 생길까? 이들은 기존에 기업 내에서 데이터를 수집‧저장‧관리하던 IT 조직과는 다르다. 따라서 데이터를 운영해온 IT 조직과 신흥 데이터 전문가들 사이에서 업무 괴리가 발생할 수 있다. 이들 사이에 체계적인 시스템이 없기 때문이다. 신입 데이터 전문가가 분석 업무를 하려는데, 원하는 데이터가 어디에 혹은 누구에게 있는지를 알 수 없고 어떻게 요청해야 하는지도 모르면 업무를 진행할 수가 없다. 이렇게 되면 소위 앞뒤가 바뀐 프로젝트, 다시 말해 실제 분석보다 데이터를 탐색하는 데에 더 많은 시간을 소비하는 프로젝트들이 발생한다.

이러한 문제를 해결하기 위해 최근 데이터 카탈로그(Catalog) 솔루션들이 성행하고 있다. 데이터 카탈로그는 기업이 보유하고 있는 데이터 자산을 인덱싱하는, 쉽게 말해 도서관에 있는 책 검색 PC 같은 기능을 제공한다. 하지만 책 이름을 모르면 도서관 검색 PC 대신 사서의 도움을 받으면 되지만, 기업에서는 해당 데이터의 검색어를 모른다고 해서 일일이 IT 조직의 힘을 빌릴 수는 없다. 데이터 카탈로그는 특정 문자가 포함된 정보만을 찾는 단순 검색 기능에 가깝다.

원하는 데이터의 정확한 검색 키워드를 모르더라도 여러 정보들을 조합해 찾을 수 있어야 한다. 이러한 관점에서 데이터 포털은 데이터 카탈로그를 한 걸음 넘어선다. 데이터 포털은 데이터 카탈로그가 가지고 있는 인덱싱 기능에 더해, 데이터들이 IT적으로 연관지을 수 있는 관계성을 정의하고 관리한다. 데이터 사이의 관계성까지 고려해서 찾아주기 때문에 더 사용자에게 필요한 데이터를 정확히 제공할 수 있다. 데이터들의 표준과 모델, 갖고 있는 데이터값들이 연관 관계를 가지고, 경우에 따라서는 분류체계의 정보관리, 적재요청에 대한 승인 프로세스까지 갖추고 있어야 검색의 정확성이 높아질 수 있다.

원천데이터까지 활용할 수 있어야 진짜 셀프서비스

그렇다면 데이터 포털을 위해 가장 중요한 것은 무엇인가? 이는 초창기 셀프서비스 방식이 어떤 한계가 있었는지를 되짚어보면 알 수 있다.

앞서 설명한 바와 같이 초창기 셀프서비스는 IT 조직이 DW를 준비해주고 비즈니스 조직이 이를 활용하는 방식으로 이뤄졌다. 하지만 IT 조직은 비즈니스 조직이 데이터 분석을 수행하려고 할 때마다 DW를 준비해줄 수가 없다. 그럴 바에야 차라리 데이터에 대해 조금이라도 더 많이 알고 있는 IT 조직이 분석 및 보고서 작성까지 해주는 게 효율적일 것이다. 비즈니스 조직 역시 필요할 때마다 IT 조직에게 데이터를 요청하는 것은 번거로운 일이다.

이러한 문제는 기업이 보유하고 있는 날것 그대로의 데이터(raw data)들을 비즈니스 조직이 그대로 활용할 수 없었기에 발생한다. 한 번 IT 조직의 도움을 거쳐야만 했던 것이다. 그동안 기업이 보유하고 있는 데이터들은 메타데이터값이 달라 서로 결합할 수 없거나, 수집 과정에 문제가 있어 누락이 있거나, 실시간으로 새로운 데이터가 반영되지 않아 데이터값을 신뢰할 수 없는 문제가 있었다. 그렇게 관리해도 분석에 활용할 때는 IT 조직의 손을 한 번 거치기 때문에 별다른 문제가 없었기 때문이다. 최선은 아니었으나 현실적인 방법이었다.

제대로된 셀프서비스 분석을 수행하기 위해서는 비즈니스 조직이 원천데이터까지도 활용할 수 있어야 한다. 이에 따라 최근 몇 년 사이에는 손쉽게 사용할 수 있는 다양한 전처리(Data Preparation) 제품들이 득세하기 시작했다. 이들은 기존에 IT 조직이 수행하던 데이터 준비 작업을 비즈니스 조직이 수행할 수 있도록 돕는다. 복잡한 코딩 없이 마우스 클릭이나 드래그&드롭만으로 간단한 수준의 데이터 준비‧정제를 수행할 수 있어, 문제가 있는 데이터도 조금 손봐서 사용할 수 있었다. 한때 데이터 전처리 제품들은 셀프서비스 분석에 꼭 필요한 요소로 여겨졌다. 하지만 이 역시 근본적인 해결책은 아니다.

데이터 포털, 거버넌스 관리부터 시작해야

모든 문제는 ▲데이터를 쉽게 찾고 ▲소유주에게 쉽게 요청하고 ▲데이터를 신뢰할 수 있어야 해결된다. 비즈니스 조직이 데이터 분석을 수행하고자 할 때 원하는 데이터를 한두 번의 검색만으로 찾고, 복잡한 과정 없이 데이터를 받아서 의심없이 사용할 수 있다면 가장 좋을 것이다.

따라서 올바른 데이터 포털을 구축하기 위해 가장 먼저 수행해야 하는 작업은 데이터 거버넌스(Data Governance)를 정확히 다잡는 것이다. 데이터의 수집에서 활용에 이르기까지 모든 과정을 정확히 관리하고, 해당 데이터가 어떤 내용을 담고 있는지를 명확히 정리할 수 있다면 포털을 통해 손쉽게 데이터를 찾고 신뢰하며 활용할 수 있을 것이다.

특히 데이터의 활용 주체가 비즈니스 조직으로 넘어가게 되므로, 사전에 데이터 거버넌스를 더욱 치밀하게 다잡을 필요가 있다. 전문성이 낮은 비즈니스 조직들에 의해 기존 데이터들이 무분별하게 변화하거나 잘못된 값으로 덮어씌워지게 된다면 데이터 신뢰성이 크게 떨어지기 때문이다. 따라서 데이터 포털 구축을 수행하려는 기업은 사전에 합리적인 데이터 거버넌스 체계를 갖춰, 데이터의 정합성을 높이고 장기적으로 데이터 품질이 관리될 수 있도록 노력해야 한다.

KB국민은행, 보안성 높인 포털 구축으로 데이터 활용성 극대화

KB국민은행은 2000년도 초반에 처음 DW를 구축할 때부터 모든 직원들이 공유하고 활용할 수 있어야 한다는 정책을 세웠다. 정보보호에 문제가 없는 범위 내에서는 은행 내부에 있는 어떤 데이터도 직원이 접근하고 활용할 수 있어야 한다는 주의다. 이러한 오픈된 데이터 관리 정책은 최근 추진된 데이터 거버넌스 혁신 프로젝트에서도 그대로 유지됐다.

KB국민은행은 지난 2019년 ‘디지털 트랜스포메이션 원년’을 선포하고 데이터 기반의 경영 체계 수립에 집중했다. 이를 위해 데이터전략본부와 데이터분석부를 신설하고 축적된 데이터를 비즈니스 조직들이 원활히 사용할 수 있는 체계를 마련했다. 이 과정에서 비즈니스 조직이 IT 조직의 도움 없이도 데이터에 접근할 수 있는 데이터 포털을 구축했다.

데이터 포털 구축 프로젝트의 모토는 ‘모든 사용자가 모든 데이터를 활용할 수 있게 한다’는 것이었다. 그동안 각 부서들은 각자가 접근하는 데이터가 정해져있고, 그 밖에는 어떤 데이터들이 있는지에 대해 관심이 적었다. 효율적이긴 했지만 활용성에서는 한계가 있었다. 이러한 문제를 해결하기 위해 데이터 접근 과정을 단순화함으로써, 비즈니스 조직이 보다 부담없이 다양한 데이터에 접근할 수 있는 프로세스를 마련한 것이다.

특히 금융업계는 데이터 유출과 같은 사고에 민감하기 때문에 데이터 거버넌스를 타이트하게 구성했다. 실제로 사내에서 사용하는 데이터를 외부로 반출하는 것은 매우 어렵다.. 모든 데이터에는 사용할 때마다 로그가 남는 것은 물론, 각각의 데이터 테이블마다 모두 권한관리 시스템이 적용돼 있다. 데이터를 주고받을 때는 항상 중앙의 정해진 절차를 준수해야 하기 때문에, 비즈니스 조직에 의한 데이터 접근 빈도가 늘어났다고 해도 보안상 문제가 발생할 일은 없다는 설명이다.