[컴퓨터월드] 데이터 비즈니스 전문기업 엔코아(대표 이화식)가 지난달 19일 코엑스 인터콘티넨탈 호텔에서 ‘2023 엔코아 데이터 데이(2023 en-core DATA DAY)’를 개최했다. 이번 엔코아의 2023 엔코아 데이터 데이에서는 ‘데이터가 만드는 모든 가능성’을 주제로 기업과 조직이 데이터를 자산화할 수 있는 방안과 전략, 선도기업의 사례가 소개됐다.

엔코아 이화식 대표는 이번 세마나 개최와 관련, “최근 많은 기업들은 데이터가 4차 산업혁명의 원유로 꼽히면서, 데이터 분석을 통해 새로운 비즈니스 인사이트를 창출하고자 투자를 지속하고 있다. 대표적으로 데이터 웨어하우스를 만들거나 데이터 레이크를 만들며 빅데이터 분석을 시작했다. 하지만 대부분 데이터 자산화를 제대로 하지 못해 어려움을 겪고 있다”면서 “엔코아는 챗GPT와 라마를 기반으로 하는 DA# AI 파워드 팩을 토대로 고객의 데이터 자산화와 데이터 거버넌스 환경을 마련하도록 돕고 있다. 오늘 공유될 프로젝트 및 구축 사례를 참고해 데이터 자산화와 거버넌스 환경을 마련하기를 기원한다”고 말했다.

이날 세션은 △DX 시대, 데이터 기반 디지털 혁신 극대화를 위한 엔코아의 데이터 관리와 활용 전략 △데이터 거버넌스의 혁신, AI 기반 데이터 모델 구축을 돕는 ‘데이터웨어 DA# AI 파워드 팩’ △빅데이터 기반 DW/BI 고도화 케이스 스터디(Case Study) △데이터 활용 관점의 데이터 거버넌스 수립 사례 △프로젝트 사례로 보는 최신 데이터 자산화 방법론 △케이스 스터디로 보는 그래프 데이터베이스 기반 데이터 분석과 활용 등으로 구성됐다. 특히 데이터 관리를 위한 데이터 자산화와 데이터 거버넌스 환경을 실현한 선도 사례가 공유돼 참가자들의 이목을 집중시켰다.

DX 시대, 데이터 기반 디지털 혁신 극대화를 위한 엔코아의 데이터 관리와 활용 전략

첫 번째 세션에서 엔코아의 김범 CTO 겸 전략사업본부장은 ‘DX 시대, 데이터 기반 디지털 혁신 극대화를 위한 엔코아의 데이터 관리와 활용 전략’을 주제로 발표를 진행했다. 김범 CTO는 데이터를 제대로 활용하기 위한 기반 핵심 과제와 엔코아가 이를 지원하는 방안에 대해 소개했다.

먼저 김 CTO는 효율적이고 현실적인 데이터 활용의 필요성에 대해 설명했다. 김 CTO는 “많은 국내·외 기업들은 이기종의 다양한 데이터를 분산된 상태로 갖고 있다. 때문에 데이터를 활용해야 할 경우 데이터가 어디에 있는지, 누구에게 요청해야 할지 모르게 된다. 통상 기업들은 데이터를 데이터 웨어하우스나 데이터 레이크에 저장한다. 또한 데이터 마트를 구성해 MSTR, 파워BI, 태블로의 제품을 통해 각 부서로 공급하는 구조를 채택하고 있다. 이 경우 데이터 보관은 편리하지만, 데이터를 가공하고 실제로 활용해야 할 때 목적에 맞는 데이터를 찾는데 어려움이 있다. 데이터를 잘 활용하기 위해서는 이러한 문제를 해결하는 데 무엇보다 관리 체계가 중요하다”고 조언했다.

김범 CTO는 데이터 관리 체계를 구비하기 위한 전략으로 △핵심 데이터 수요조사 및 활용 목적 도출 △핵심 데이터 수집 범위 및 선정 기준 마련 △핵심 데이터 현황 분석 및 비즈니스 메타 현행화 △테크니컬 & 비즈니스 메타 데이터 매핑 △데이터 카탈로그 서비스 구성 △데이터 마켓 스토어 구성 △목표 이미지 구성 등 핵심 과제 7가지를 소개했다.

김범 CTO는 “데이터를 제대로 활용하기 위해선 7가지 과제를 선행해야 한다. 최근 데이터 패브릭, 데이터 메시, 놀리지 기반 그래프, 데이터 옵스 등 다양한 개념이 존재하지만 이들 모두 데이터 공급과 소비의 흐름에 대한 해법이자 방법론일 뿐이다. 이 같은 방법론을 현실화하기 위해선 핵심 과제 7가지를 통한 데이터 자산화와 거버넌스 환경 마련이 필수적이다”면서 “엔코아는 고객의 환경에 맞춰 다양한 컨설팅과 솔루션 도입 전략 등을 수립할 수 있도록 적극 지원하고 있다”고 강조했다.

엔코아 DA# AI 파워드 팩

엔코아의 김기동 전략사업본부 수석은 ‘엔코아 DA# AI 파워드 팩’의 핵심 기능을 소개했다. 김기동 수석에 따르면, 엔코아 DA# AI 파워드 팩에는 데이터 거버넌스를 구현할 수 있는 다양한 AI 기능이 접목됐다. 구체적으로 △AI 서비스 컨트롤러 △데이터 컬럼명 추론 △요구사항 분석 △업무 쿼리 분석 △유사 컬럼 분석 △비즈니스 분류 △모델링 가이드 등 기능이 챗GPT를 기반으로 제공된다.

먼저 AI 서비스 컨트롤러는 챗GPT에서 발급 가능한 API키를 받아 사용해 DA#에서 다양한 AI 기능을 구현한다. 이를 통해 DA샵에서 제공하는 사용자 경험적 의사결정에 필요한 모델 콘텐츠 생성기술, 각 기능 별 필요한 모델 기준 정보 등을 데이터 모델에 반영하고 구현할 수 있다.

다음은 데이터 컬럼명 추론 지원 기능이다. 일반적으로 데이터 모델을 구축할 경우 데이터 컬럼명을 추론하는 과정에서 많은 시간과 비용이 발생한다. 가령 데이터 오브젝트가 영문 약어로 구성되거나 활용 정보가 제한되는 것을 해결하는 절차를 예로 들 수 있다.

DA# AI 파워드 팩은 컬럼명 추론 기능을 지원해 AI로 데이터 오브젝트를 식별하고 컬럼 명칭에 대응하는 한글 논리명을 생성할 수 있다. 사용 조직과 환경에 맞춰 정제하는 과정을 통해 논리 명칭으로 활용할 수도 있다. 이를 토대로 표준 사전 구축에 필요한 기반 데이터로 활용할 수도 있다.

이 외에도 김 수석은 요구사항을 텍스트로 정리하고 챗GPT에 분석 요청을 보내 대응 테이블과 컬럼을 설계하는 기능인 ‘요구사항 분석 기능’과 AI가 SQL 쿼리 정보에 담긴 테이블과 컬럼 정보를 분석해 관계 정보를 확인, 리포트해주는 기능인 ‘업무 쿼리 분석 기능’, 기준 속성과 유사한 컬럼 간 속성 정보를 표기해 속성 관리를 지원하는 ‘유사 컬럼 분석 기능’, 기준 정보로 유사성을 가진 테이블을 자동으로 분리하는 ‘비즈니스 분류 기능’, 모델링 가이드 기능을 채팅 서비스로 지원하는 ‘모델링 가이드 기능’ 등을 소개했다.

김 수석은 “AI를 기반으로 데이터 거버넌스 환경을 구현하고 데이터 모델을 구축할 경우 인력이 투입될 때보다 최대 90% 이상 시간과 비용을 절약할 수 있다. 간편한 형태로 모델링에 익숙지 않은 사용자도 쉽고 빠르게 데이터 모델을 구축할 수 있다. 특히 데이터 아키텍트, 데이터 사이언티스트 등 전문 인력이 없는 중소·중견기업의 경우에도 데이터 자산화와 거버넌스 환경을 마련할 수 있다”고 설명했다.

빅데이터 기반 DW/BI 고도화 프로젝트 활용사례

다음은 엔코아 데이터 컨설팅 본부의 이영민 상무가 ‘A사의 빅데이터 기반 DW/BI 고도화 프로젝트 활용사례’를 소개했다. 2020년에 시작해 3년차를 맞이한 A사의 빅데이터 기반 DW/BI 고도화 프로젝트는 MS-SQL과 하이브(HIVE) 등 2개의 DW로 운영되는 것을 구글 클라우드 플랫폼(GCP)의 ‘빅쿼리(Big Qeury)’를 기반으로 통합 DW를 구현하는 것을 목표로 하고 있다.

엔코아는 DW/BI 모델을 분석하고 데이터 흐름과 지표 데이터 생성 로직을 분석하는 작업을 수행했다. 구체적으로 DW 모델 분석, ETL 설계 및 SQL 개발, 지표 데이터 검증 및 보안 등을 추진했다.

이영민 상무에 따르면, 프로젝트 과정에서 △빅데이터 처리 △이해관계자 간 협업 △다양한 스킬 셋 등 크게 3가지 부문에서 어려움을 겪었다. 먼저 처리해야 할 데이터가 페타바이트(PB) 수준으로 빅데이터 처리에 어려움을 겪었다. 단일 테이블 용량이 1.5PB였고, 총 테이블 개수는 3조 4천억 개였다. 아울러 데이터 처리 로직이 복잡했다. 다음은 개발부서, 데이터 엔지니어, DW/BI 운영 담당자, 협업담당자, 프로젝트 인력 등이 개별적으로 구분돼 프로젝트 진행에 커뮤니케이션이 부족한 상황이었다. 마지막으로 MS-SQL, 하이브, 빅쿼리 등을 비롯해 다양한 기술에 대한 이해도가 요구돼 난이도가 높았다.

이에 대해 이영민 상무는 “엔코아는 빅데이터 처리에 대한 어려운 사항을 GCP 빅쿼리의 높은 성능으로 해결했고, 이해관계자 간의 협업은 빅데이터실 전환 TFT를 중심으로 긴밀하고 민첩하게 소통하며 해결했다. 마지막으로 스킬 셋의 경우 기술 수준과 숙련도가 높은 엔코아의 컨설턴트를 투입해 해결했고, 이기종 DB 간 데이터 검증 도구를 자체 개발해 원활히 프로젝트를 수행할 수 있었다”고 부연했다.

엔코아는 원활한 프로젝트 수행을 위해 우선순위를 4가지로 구분했다. 비용과 위험성을 중심으로 고비용, 고위험군에 가중치를 높게 뒀고, 다음으로는 고비용 저위험, 3순위는 저비용 고위험, 4순위는 저비용 저위험 순으로 프로젝트 작업 일정을 기획하고 진행했다.

마지막으로 이 상무는 “이번 프로젝트를 통해 A사는 비용 관점에서 DW/BI 환경이 단일화돼 운영비용이 감소했고, 장애 위험도도 줄어 손실 비용이 크게 줄었다. 기술 관점에서는 통합 DW 플랫폼 구축으로 데이터 서비스 고도화 기반이 마련됐고 기술 전문성을 단일화해 숙련도가 향상됐다. 사용자 관점에서는 데이터 활용 기반이 넓어져 활용도가 향상됐고 신규 지표 요청에 신속하게 대응할 수 있게 됐다”고 강조했다.

프로젝트 사례로 보는 최신 데이터 자산화 방법론

엔코아 데이터 컨설팅 본부의 안희진 전무는 ‘프로젝트 사례로 보는 최신 데이터 자산화 방법론’을 주제로 발표를 진행했다. 먼저 안 전무는 데이터 활용 단계에서 데이터 품질과 표준, 모델 등을 확보하고 데이터 검색 효율성, 정확성을 높이기 위해선 관리 단계에서 데이터 태깅을 통해 데이터를 표준화해야 한다고 강조했다.

안희진 전무는 “많은 기업들은 관계형데이터베이스(RDB)를 중심으로 비즈니스를 영위하고 있다. 하지만 ‘관계형’이라는 DB 분류와는 달리 RDB에는 데이터에 대한 연결·관계 정보가 담겨있지 않다. 데이터를 잘 활용하기 위해선 데이터 간 속성정보를 이해하고 연결해야 한다. 이를 위해 별도로 SQL을 분석하고 데이터 간 상관관계를 분석한다. 또한 이 같은 일련의 프로세스를 효율화하고 데이터를 자산화하기 위해선 데이터 모델 현행화 방법론을 채택하고 데이터를 검증할 수 있는 AI 모델을 확보해야 하며 데이터에 대한 품질을 높여야 한다. 이러한 방법은 IT관계자라면 누구나 공부를 통해 할 수 있다고 한다. 하지만 생산성과 정확성을 고려했을 때 전문가의 투입이 반드시 필요한 영역이다”라고 말했다.

이어 안 전무는 “기업의 데이터 활용 측면에서 핵심적인 데이터는 분류 코드다. 하지만 많은 기업의 경우 코드의 컬럼 값과 공통 코드가 완벽히 매핑되지 않는다. 기업의 내부 조직별로 사용하는 코드가 존재하며 종류 역시 상이하다. 그렇기에 DW나 DL에서 통합해 분석하는 데 어려움이 있을 수밖에 없다”면서 “특히나 코드가 텍스트라면 이를 의미론적으로 바꾸고 통합해 새로운 데이터를 만들어 학습시켜야 하는데 불가능에 가깝다. 이를 엔코아에서는 AS IS 현행화 모델을 기반으로 하는 매핑정의 방법론 등을 컨설팅하고 가이드하고 있다”고 설명했다.

엔코아의 데이터 컨설팅 본부는 DA# 제품을 토대로 데이터 모델링 컨설팅, 개발 기술지원 컨설팅, 데이터 이행 및 클렌징 컨설팅, 시스템 오픈 등 설계부터 개발, 테스트·구현, 운영까지 지원하고 있다.

사례로 보는 그래프 데이터베이스 기반 데이터 분석과 활용

엔코아 데이터 서비스 센터 최미영 전무는 ‘케이스 스터디로 보는 그래프 데이터베이스 기반 데이터 분석과 활용’이라는 주제로 그래프 데이터베이스에 대해 소개했다.

최 전무에 따르면 노드와 에지로 구성된 그래프 데이터베이스는 1970년대 네트워크 모델 데이터베이스와 비슷하나 수학에서 사용되는 그래프 이론을 활용해 데이터를 저장하고 표현하는 데이터베이스이다. 최 전무는 그래프 데이터베이스는 특히 현재 시점에서 가장 진보된 데이터저장구조를 갖고 있는 데이터베이스로 그래프 데이터 과학(GDS, Graph Data Science)은 생성형 AI의 주요 조력자로 평가받고 있으며 시장이 지속적으로 성장하면서 관계형 데이터베이스를 대체할 수 있을 것이라고 주장했다.

“그래프 데이터베이스는 확장성과 가용성이 뛰어나 성능 저하 없이 대용량의 데이터를 처리할 수 있다”고 말한 최미영 전무는 그래프 데이터베이스의 국내 사례와 관련, “국내 한 글로벌 해운업체의 레거시 시스템의 주요 업무를 관계형 DB에서 그래프 데이터베이스로 이관하고 있다”고 밝혔다.

최 전무에 따르면 엔코아는 관계형 데이터베이스에서 축적한 데이터베이스 튜닝 지식을 기반으로 그래프 데이터베이스를 튜닝해 높은 성능 개선 효과를 얻고 있다. 최 전무는 마지막으로 그래프 데이터베이스 구축방법론과 그래프 알고리즘을 설명하며 발표를 마무리했다.