[컴퓨터월드] 데이터스트림즈가 ‘데이터 패브릭(Data Fabric)’에 전사적인 힘을 모으고 있다.

데이터스트림즈는 기업들이 데이터 패브릭 전략을 구현할 수 있도록 빅데이터 플랫폼 ‘테라원(TeraONE)’을 기반으로 데이터 가상화 솔루션 ‘테라원 슈퍼쿼리(TeraONE SuperQuery)’, 거버넌스 플랫폼 ‘이루다(IRUDA)’ 등 폭넓은 제품군으로 시장을 공략하고 있다. 데이터 패브릭 구현을 위해 통합, 거버넌스, 가상화를 강조하고 있는 데이터스트림즈는 특히 데이터 패브릭과 관련된 모든 제품을 갖춘 회사라는 점을 내세우고 있다.

데이터 패브릭으로 누구나 손쉬운 데이터 활용

분야를 막론하고 데이터는 이제 비즈니스에 없어서는 안 될 중요 자원으로 자리 잡았다. 높아진 중요도만큼 데이터 전문가뿐 아니라 현업에서도 데이터를 수집 및 활용하고자 하는 니즈가 늘어났다. 하지만 방대한 데이터는 전문지식 없이 다루기 어렵다. 이를 해결하고자 데이터 활용에 있어 사용자 중심의 전략 ‘데이터 패브릭’이 등장했다.

인공지능(AI), 빅데이터 등이 트렌드로 떠올랐고, 산업 전반에서 디지털화가 진행됨에 따라 분석 목적으로 대용량 데이터를 생성 및 관리하는 기업이 늘어났다. 이러한 흐름 속에서 방대해진 데이터를 빠르게 적재하고, 접근 경로를 단순화하는 ‘데이터 레이크(Data Lake)’가 주목받았다.

데이터 레이크는 그러나 여러 저장소에 흩어진 데이터를 한곳에 집중시켜 관리한다는 장점이 있었지만, 기존 데이터를 물리적으로 모두 옮길 수 있는 스토리지 구축을 위해 막대한 비용이 소요됐다. 큰 비용을 들여 하나의 데이터 레이크에 모든 데이터를 모은다 해도 활용 측면에서 문제가 있었다. 데이터 전문가만이 데이터 레이크에 있는 원천 데이터(Raw data)를 가져다 가공해 사용할 수 있었다.

그런데 최근 데이터의 중요도가 높아지며 일반 비즈니스 조직에서도 데이터를 직접 활용하려는 시도가 증가하고 있다. 이에 따라 사용자가 데이터를 찾으려고 이곳저곳을 돌아다니지 않으면서도, 활용이 어려운 데이터 레이크의 문제를 해결할 수 있는 새로운 전략이 요구됐다.

이러한 상황에서 기업 내 구성원이 데이터를 효율적으로 사용할 수 있는 사용자 중심의 데이터 패브릭이 떠오르기 시작했다. 특히 클라우드 컴퓨터 환경 영향으로 다양한 데이터가 양산되고, 이를 활용하기 위한 시스템 구축으로 기업 내 데이터 사일로(silo)가 심화되고 있다. 운영계 시스템, 데이터 웨어하우스, 데이터 레이크 등 점점 많아지는 이기종 환경에서 데이터에 대한 액세스 및 관리를 단순화하는 방법이 필요하게 됐으며, 대안으로 데이터 패브릭이 관심을 받게 된 것.

데이터 패브릭은 데이터 거버넌스 기반으로 데이터 활용성을 제고하고 비즈니스 가치 창출을 강화하는 데이터플랫폼의 새로운 디자인 개념이자 아키텍처 전략이다.

데이터 패브릭은 기업 내 다양한 형태의 데이터를 통합해 하나의 접근 및 공유 환경 구축은 물론, 외부의 시장 데이터까지 편리하게 사용하도록 지원한다. 기업은 데이터 패브릭으로 목적, 사용처에 따라 실시간으로 데이터를 찾고 조직화·재구성 등이 가능한 데이터 통합환경을 가질 수 있게 된다.

데이터 패브릭이 구축되면 디지털 리터러시(Digital Literacy)가 낮은 사용자도 데이터를 빠르게 찾고, 통합 및 공유할 수 있다. 스토리지 인프라를 위한 유지비용이 드는 데이터 레이크와 는 달리 가상화로 데이터를 사용해 비용도 절감할 수 있다. 조직 차원에서는 데이터 관리자와 현업 간의 커뮤니케이션이 향상되며, 구성원 중 필요한 누구나 직접 데이터를 활용할 수 있어 유연한 업무가 가능해진다.

가트너 ‘데이터·분석 10대 트렌드’에 데이터 패브릭 포함

데이터 패브릭의 이러한 장점으로 인해 데이터 패브릭에 대한 시장의 관심도 늘어나고 있다. 가트너는 2022년 ‘IT 주요 전략 기술’ 중 하나로 데이터 패브릭을 선정했으며, 지난 5월 ‘2023년 데이터·분석 10대 트렌드’에 데이터 패브릭을 포함했다. 성장 중인 기술인 만큼 전 세계 패브릭 시장 규모는 계속해서 증가하는 추세다. 특히 기업들이 IoT(사물 인터넷), AI 기술을 도입하며 많은 데이터가 생성되고 있어 그 수요는 앞으로도 계속 증가할 전망이다.

데이터 패브릭은 기업들에게 많은 이점을 제공하지만 간단하게 구현할 수 없다. 특정 기술이 아니라 데이터 환경을 혁신하는 새로운 아키텍처 개념이기 때문이다. 데이터 패브릭은 기존의 데이터 웨어하우스, 데이터 레이크를 포괄하며, 동적인 데이터 검색, 융복합 및 실시간 관리 아키텍처를 기업에 제공하는 ‘시스템의 시스템(System of Systems)’이다. 따라서 데이터 패브릭 구현은 하나의 솔루션을 도입하는 것으로 끝나지 않고 기업 내 데이터 구조를 전체적으로 바꿔 나가야 가능하다.

데이터스트림즈가 데이터 패브릭 구현을 위해 강조하는 점은 통합, 거버넌스, 가상화다. 여러 소스로 수집된 다양한 데이터를 처리 및 저장하며, 손쉬운 활용을 위해 거버넌스 작업을 거쳐 통합한다. 그 후 어디서든 접근할 수 있도록 가상화 레이어에 데이터를 올리는 과정까지 이어져야 한다. 데이터스트림즈는 이 모든 과정의 솔루션을 두루 갖춘 회사로 기업이 데이터 패브릭을 구현하는 데 겪는 어려움을 줄여준다고 강조한다.

우선 데이터 패브릭을 위해서는 데이터를 수집 및 처리하는 과정이 필요하다. 데이터 소스는 크게 기업 내 ERP(전사적자원관리), CRM(고객관계관리), 컨택센터 등에서 수집된 정형 데이터와 SNS, IoT, 이미지 등으로 외부에서 모은 비정형 데이터로 나뉜다. 빅데이터 플랫폼 ‘테라원’은 데이터를 수집, 처리, 저장하는 모든 과정을 하나의 플랫폼 아래 지원한다. 모든 유형의 데이터를 활용할 수 있도록 전처리를 거쳐 저장하고, GUI 기반으로 데이터를 편리하게 조회 및 탐색할 수 있다.

데이터의 품질을 높이고 적절히 활용하기 위해서는 거버넌스가 필요하다. 데이터가 아무리 많아도 설명이 누락되거나 표준화가 부족해 시스템별로 일치하지 않는 용어 등의 문제가 산재하면 제대로 쓰일 수 없다.

거버넌스 플랫폼 ‘이루다’는 데이터 분석, 실시간 통계를 파악할 수 있는 시각화 기능을 탑재했다. 또한 다양한 데이터를 빠르게 찾아 활용할 수 있도록 지원하며, 데이터 위치·분류·설명·관계 등을 제공해 전사 데이터 거버넌스 구축을 돕는다.

마지막으로 정리된 데이터를 물리적으로 모으지 않고도 찾을 수 있도록 만드는 데이터 가상화가 필요하다. 테라원 슈퍼쿼리는 모든 데이터 소스의 메타데이터를 가상화해 필요할 때 하나의 쿼리로 원하는 데이터에 접근할 수 있도록 해준다. 이 외에도 데이터 증가에 대비한 스케일아웃을 지원하며, 인메모리(In-Memory) 분산 처리로 최적의 성능을 제공한다.

데이터스트림즈는 데이터 패브릭을 위해 필요한 솔루션을 두루 갖춰 패키지 하나로 구현할 수 있다는 이점을 보유한 회사다.

데이터 패브릭 구현 경험 풍부

데이터스트림즈 관계자는 “IT 부문 전문가뿐 아니라 일반 비즈니스 조직에서도 데이터에 대한 니즈가 증가해 데이터 패브릭을 찾는 기업이 늘고 있다. 하지만 데이터 패브릭은 다양한 솔루션이 결합돼야 해 빠르게 구축하는 데 어려움이 있다”며 “데이터스트림즈는 데이터 패브릭 모든 영역에 관련 솔루션은 제공하고 있어 기업 내 파이프라인 혁신에 강점이 있다”고 말했다.

데이터스트림즈는 또한 데이터 패브릭과 관련한 다양한 구축 경험을 갖고 있다. 근로복지공단과 NH농협생명에 데이터 패브릭 구현 사업을 수행한 바 있다. 근로복지공단에서는 클라우드 기반 빅데이터 플랫폼을 구축했고, 테라원 슈퍼쿼리로 가상화 데이터 정보 관리를 지원했다. 또한 시뮬레이션 화면, 분석 포털 등을 개발했다.

NH농협생명에는 빅데이터 분석 기반의 경영 혁신과 고객 마케팅 강화 효과를 거두고자 다양한 종류의 데이터를 가상화 레이어에서 통합 및 분석할 수 있는 차세대 빅데이터 플랫폼을 구축했다. 이 밖에도 여러 기업 및 기관과 데이터 패브릭 구현 사업을 진행하고 있는 것으로 알려지고 있다.