[컴퓨터월드] 본지(컴퓨터월드/IT DAILY)가 지난달 16일 양재동 엘타워에서 ‘제19회 2022 데이터 컨퍼런스’를 개최했다. 이날 행사는 ‘AI & 빅데이터, 로우코드’라는 주제로, 복잡한 하이브리드 IT 환경에서 데이터를 손쉽게 찾고 활용할 수 있는 전략을 제시하는 자리로 마련됐다. 각계 전문가와 기업들이 산업별 성공사례와 관련 기술, 솔루션 정보 등을 소개하며 성공적인 데이터 전략의 인사이트를 공유했다.

최근 데이터 분야에서는 빠르게 변화하는 산업계의 흐름에 맞춰 폭발적으로 증가하는 데이터에서 핵심적인 인사이트를 민첩하게 찾아야 한다는 요구가 높아지고 있다. 하지만 클라우드가 기업의 핵심 인프라로 자리잡고 MSA(Micro Service Architecture)가 대세가 되면서, 데이터 저장소들의 사일로(silo)화와 같은 전통적인 문제들이 여전히 기업의 IT 담당자들을 괴롭히고 있다.

이번 ‘제19회 2022 데이터 컨퍼런스’는 조직 내 데이터 관리 역량을 기초부터 재점검할 수 있는 새로운 데이터 전략을 함께 고민하고, 데이터로부터 가치를 창출해낼 수 있는 데이터 리터러시(Data Literacy)를 확보하기 위한 방법을 제시하기 위해 마련됐다. 또한 로우코드와 프로세스 마이닝, 실시간 이벤트 스트리밍 등 새로운 IT 기술과 트렌드를 데이터 관점에서 살펴보는 시간도 준비됐다.

“데이터 산업 발전 위해 학계와 산업계의 협력 필요”

이날 행사는 한국데이터마이닝학회 김현중 회장의 키노트 발표로 시작됐다. 김현중 회장은 먼저 “최근 국내 테크 기업들은 IT 업계 구직 시장에 한파가 몰아치면서 혹독한 겨울을 겪고 있다고 한다. 한편 또 다른 일각에서는 데이터 산업은 이미 포화상태이며, 데이터를 활용해 비즈니스 성과를 높일 수 있는 시대는 지나갔다고 설명한다. 필요한 기술들은 모두 개발됐으며 뽑아야 할 사람은 다 뽑았으므로 기회가 남아있지 않다는 것이다. 하지만 이는 잘못된 생각이다”라고 강조했다.

매년 기업이 사용할 수 있는 데이터의 총량은 폭발적으로 증가하고 있다. IDC의 조사에 따르면 전 세계 기업들이 1년간 사용할 수 있는 데이터는 올해 약 60ZB 수준이며, 2025년에는 160ZB에 달할 것으로 예상된다. 이 중에서 실제로 분석에 사용할 수 있는 데이터는 전체의 약 15%에 불과하지만, 데이터의 총량 자체가 급격하게 늘어나고 있기 때문에 분석 가능한 데이터 역시 기하급수적으로 증가하고 있다.

데이터 관련 시장 규모 역시 빠르게 성장하고 있다. 올해 전 세계 빅데이터 시장 규모는 약 2,718억 달러 수준이며, 이는 2025년에 3,964억 달러까지 증가할 전망이다. 국내 시장으로 한정했을 경우 2022년에는 23.9조 원, 2025년에는 32.9조 원에 달할 것이다. 김현중 회장은 “흔히 21세기의 원유는 데이터라고 말한다. 이렇게 원유의 양 자체가 빠르게 증가한다면 이를 활용하는 빅데이터 시장은 부흥할 수 밖에 없다”고 설명했다.

특히 코로나19(COVID-19) 팬데믹을 거치면서 데이터 산업의 성장은 더욱 가속화됐다. 온라인 상에서의 유통과 소비가 급증했고 디지털 화폐 사용량도 크게 늘었다. 기업에서는 재택 및 원격근무가 일상화됐으며, 학교에서는 비대면 수업이 자리잡고 에듀테크 기술에 대한 관심이 증가했다. 디지털 기술을 접목한 비대면 산업이 코로나19 시기의 핵심 키워드로 자리잡으면서 데이터의 생성량과 중요성은 더욱 빠르게 높아지고 있다. 코로나19는 오프라인 중심 사회가 디지털 기반 사회로 변화하는 모멘텀으로 작용했다.

김현중 회장은 “지금 사회는 데이터 기술에 대한 요구가 증가하고 발전 속도도 가속화되고 있다. 정부 역시 디지털 전환과 AI‧빅데이터가 미래의 핵심 기술이라고 강조하며 과감한 투자를 이어가고 있다”며, “데이터 산업은 국가의 발전을 지속할 수 있는 핵심 산업이 될 것이며, 이러한 혁신을 뒷받침하기 위해 학계와 산업계가 함께 노력하고 협력해야 한다”고 덧붙였다.

로우코드 개발 솔루션 AUD플랫폼

키노트 발표에 이어 오전 첫 번째 세션은 비아이매트릭스 배영근 대표가 맡았다. 배영근 대표는 ‘로우코드 개발 솔루션 AUD플랫폼’이라는 주제로, IT 업계 전반의 개발자 부족 문제를 해결하는 데에 로우코드 기술이 효과적으로 사용될 수 있다고 설명했다.

로우코드에 앞서, 과거에는 코드 생성을 자동화하려는 케이스(CASE) 툴 개발이 이뤄졌다. 하지만 케이스 툴은 직접 소스코드를 생성하기 때문에 개발자의 모델링 난이도가 높고, 리버스 엔지니어링을 통해 소스코드를 수정할 때에도 굉장한 공수가 들어간다. 사용이 어렵고 직관성도 떨어졌기 때문에 차라리 직접 코딩을 하는 게 효율적인 경우가 대부분이었다.

반면 최근에 등장하는 로우코드 솔루션들은 사용이 쉽고 직관적이라는 것이 장점이다. 빠르면 일주일, 늦어도 2~3주 정도의 교육만 받으면 누구나 로우코드 솔루션을 통해 간단한 앱이나 서비스를 개발할 수 있다는 설명이다.

배영근 대표는 “스마트폰은 하나의 기기로 수만 개의 기능을 사용할 수 있지만, 사용자가 설명서를 읽어보지 않아도 될 정도로 직관적인 UI‧UX를 가지고 있다”면서, 자사의 ‘AUD플랫폼’을 활용한 로우코드 방법론이 무엇보다 직관적이고 쉽게 접근 가능하다고 강조했다. 아울러 “정부에서 SW 개발자 100만 명을 양성하겠다는 활동을 벌이고 있는데, 이들이 시장에서 제 몫을 하기까지는 너무 오랜 시간이 걸린다. 반면 AUD플랫폼은 2~3주만 학습하면 누구나 사용할 수 있어, 개발자 부족 문제에 빠르게 대응하고 디지털 혁신을 추진할 수 있다”고 말했다.

이어서 배영근 대표는 자사의 AUD플랫폼을 활용해 주요 정부부처의 차세대 시스템들을 성공적으로 개발한 사례를 공유했다. 기획재정부에서는 차세대 예산회계 시스템(dBrain)을 개발하면서 AUD플랫폼의 로우코드 기능을 활용해 약 2,500개의 정책지표 비정형분석 화면과 600개의 정책 의사결정 대시보드 화면을 개발했으며, 농축산식품부에서는 다양한 방역 관련 데이터들을 손쉽게 취합하고 보고서로 작성해주는 농림사업 정보 시스템(N-Agrix)를 개발했다. 비아이매트릭스는 매년 약 7~80여 개의 프로젝트를 수행하고 있는데, 이들 모두 로우코드 솔루션을 활용하며 AUD플랫폼의 가능성을 증명해나가고 있다.

모던 데이터-드리븐 엔터프라이즈: 논리적 접근 전략

두 번째 세션은 ‘모던 데이터-드리븐 엔터프라이즈(Modern Data-Driven Enterprise): 논리적 접근 전략’이라는 주제로 한국디노도 김세준 상무가 연단에 올랐다. 김세준 상무는 먼저 “그동안 데이터 웨어하우스나 데이터 레이크를 구축했던 기업들은 이미 데이터 관리에 한계를 느끼고 있다”면서, 기존의 물리적인 데이터 저장소를 활용하는 전략을 벗어나, 데이터를 논리적으로 통합하고 분석하는 새로운 전략이 필요하다고 강조했다.

오늘날 기업의 IT 시스템들은 서로 복잡하게 얽혀있다. 대다수 기업들은 한정된 데이터 인프라에서 여러 가지 요구사항을 해결해야 했고, 그때마다 필요한 인프라를 새롭게 만들어 넣다보니 스파게티처럼 복잡하게 얽혀있는 구조가 됐다. 이러한 인프라 위에서는 데이터의 흐름 관리가 제대로 이뤄질 수 없으며, 비즈니스에도 나쁜 영향을 미친다. 이러한 문제를 단지 몇 명의 데이터 엔지니어가 해결하는 것은 불가능하다.

디노도가 150개 글로벌 기업들을 대상으로 조사한 결과, 기업 중 55%가 5개 이상의 데이터 소스를 보유하고 있다고 답했다. 20개 이상의 데이터 소스를 보유한 기업도 14%에 달한다. 데이터 소스가 빠르게 증가하고 관리해야 하는 데이터의 종류도 늘어나고 있어, 데이터 인프라의 복잡성은 점점 더 심각한 문제가 될 것이다. 실제로 62%의 기업들은 자사의 데이터 중 절반 이상에 접근할 수 없거나 분석이 불가능하다고 답했다.

김세준 상무는 “모놀리식(monolithic) 아키텍처는 유지하는 데에 시간과 비용이 많이 들고 새로운 시스템들과의 호환성이 부족하다. 반면 MSA를 위해 분산된 데이터 아키텍처 역시 한계가 분명한데, 산발적으로 구축된 데이터 저장소들이 파편화되고 사일로(silo)화되면서 필요한 시점에 제대로 데이터를 공급하지 못하고 있다. 비용과 품질관리라는 문제 또한 그대로 가지고 있다”면서, “데이터 주도적인(data-driven) 비즈니스를 도모하는 기업은 보다 현대적인 데이터 패브릭 인프라를 마련해야 한다”고 강조했다.

김세준 상무는 “데이터 가상화를 통한 논리적인(logical) 연결은 조직이 보유한 모든 데이터에 제한없이 접근해 소비할 수 있도록 만들고, 물리적인 스키마 관리의 제약에서 데이터를 해방시킨다”면서, “디노도는 전 세계적으로 1,000개 이상의 고객사를 보유하고 있으며, 이들은 평균적으로 데이터 준비(data preparation)에 소요되는 시간을 67% 단축하고 데이터 전달(delivery) 시간은 ETL 대비 65% 줄일 수 있었다. 논리적으로 연결된 데이터 인프라는 미래의 혁신을 추구하는 기업들에게 필수로 자리잡을 것”이라고 말했다.

데이터 기반 비즈니스를 위한 통합 데이터 플랫폼

오전 세 번째 세션은 한국마이크로포커스/버티카 윤찬호 부장이 맡았다. 윤찬호 부장은 ‘데이터 기반 비즈니스를 위한 통합 데이터 플랫폼(Building a unified data platform for data-driven businesses)’이라는 주제로, 버티카가 기업의 데이터 인프라 혁신을 지원하기 위해 데이터 레이크하우스 기술과 플랫폼을 활용하는 방법에 대해 소개했다.

오늘날 대다수 기업들의 데이터 인프라는 데이터 웨어하우스(DW)와 데이터 레이크로 구성돼있다. 기업들은 기술 기반이 완전히 다른 두 가지 데이터 인프라를 운영하면서 많은 문제를 겪는다. 데이터를 이원화해서 관리하다보니 데이터의 중복 저장으로 인해 비용이 크게 증가하고, 실시간 동기화나 품질 이슈도 발생한다. 운영의 복잡성을 차치한다고 하더라도 데이터 기반 비즈니스에 많은 걸림돌로 작용한다.

그럼에도 불구하고 기업들은 DW와 데이터 레이크를 사용할 수 밖에 없는 상황이다. 서로 장점과 단점이 뚜렷하기 때문에 어느 한 쪽이 다른 쪽을 완전히 대체할 수 없기 때문이다. 이러한 문제를 해결하기 위해서는 DW와 데이터 레이크의 장점을 결합한 데이터 레이크하우스 기술을 활용해야 한다.

데이터 레이크하우스는 비용효율적이고 확장이 쉬운 데이터 레이크를 깔아놓고, 그 위에 복잡한 데이터 작업을 처리할 수 있는 DW를 연결해 운영한다. 이를 통해 운영 비용을 효율화하면서도 방대한 데이터 스토리지를 확보할 수 있고, DW 기반의 강력한 엔터프라이즈 분석과 보안 기능들도 사용 가능하다. 데이터 아키텍처를 통합하면서 관리 측면에서도 효과적이라는 장점이 있다.

윤찬호 부장은 “버티카는 DW로 시작해 데이터 레이크하우스로 성공적으로 진화를 이끌어냈다. 컴퓨팅과 스토리지 분리를 통해 효율적인 운영과 민첩한 확장이 가능한 것은 물론, 오브젝트 스토리지를 활용해 비용을 최적화하면서 최고 수준의 가용성을 제공한다”고 강조하며, “데이터 레이크하우스 플랫폼을 제공하는 대다수 기업들이 퍼블릭 클라우드 환경에서 SaaS 형태로만 서비스하는 반면, 버티카는 온프레미스 환경과 프라이빗 클라우드까지 지원할 수 있다는 점에서 차별화된다”고 덧붙였다.

모던 데이터 아키텍처, 데이터 패브릭 기반 빅데이터 플랫폼 구현전략

오전 마지막 세션은 ‘모던 데이터 아키텍처, 데이터 패브릭(Modern Data Architecture, Data Fabric) 기반 빅데이터 플랫폼 구현전략’이라는 주제로, 데이터스트림즈 나희동 제품사업본부장이 연단에 올랐다. 나희동 본부장은 지난 2021년 미국 롱비치 항구 앞에 100대 이상의 선박이 몰려 수십만 개의 컨테이너가 기약없이 하역 순서를 기다려야 했던 사건을 언급하며, “이제 우리는 기존의 방법으로는 미래를 예측할 수 없다”고 단언했다.

EDW(Enterprise Data Warehouse)와 같은 전통적인 데이터 아키텍처는 거대한 중앙집중형 데이터 스토리지와 여러 개의 데이터 마트로 구성된다. 하지만 클라우드 도입이 확산되고 MSA(Micro Service Architecture)가 자리잡으면서 각각의 마이크로 서비스마다 별개의 DB를 갖추고자 하는 요구가 생겼다. 데이터 담당자는 이렇게 만들어지는 각각의 DB가 사일로화되고 전사적인 데이터 가시성이 사라지는 모습을 쉽게 상상할 수 있다.

나희동 전무는 “우리는 지난 30년 동안 ‘이렇게 데이터를 모아놓으면 언젠가 쓰겠지’라는 생각을 가지고 있었다. 하지만 이제는 데이터의 양이 너무나 방대해졌고, 이것들을 단순히 모아놓는 것 만으로는 가치가 생겨나지 않는다는 것을 알게 됐다”면서, “결국 쌓아놓은 데이터를 활용할 수 있는 방법을 생각하지 않으면 기업들이 원하는 데이터가 주도하는 혁신(data-driven innovation)은 요원하기만 하다”고 말했다.

특히 우리나라는 오랫동안 공공기관과 기업 모두 차세대 프로젝트를 통한 빅뱅 형식의 시스템 개선을 지속해왔다. 그러다보니 중심을 잡는 센트럴DB와 여러 개의 데이터 마트로 구성된 데이터 아키텍처가 수십년 동안 대세를 차지해왔다. 하지만 SOA와 MSA가 나오면서 IT 시스템이 서비스 중심으로 옮겨가고, 개별 서비스마다 별개의 DB를 구성하게 되자 더 이상 관리가 불가능한 상황에 이르렀다.

나희동 본부장은 이에 대해 “MSA와 같은 서비스 중심의 아키텍처에 대응하는 가장 좋은 방법은 핵심 도메인들을 중심으로 데이터 라이프사이클을 구성하고, 도메인 단위의 팀이 주도권(ownership)을 가지고 데이터 상품(product)을 만들어 공유하도록 하는 것”이라고 설명하고, “복잡한 비즈니스 구조를 가지고 있는 기업들은 전사 데이터를 하나의 데이터 스택으로 관리할 수 없다. 도메인 별로 별개의 데이터 스택을 만들어 관리하고, 이들을 논리적(logical)으로 연결해 밸류체인을 만드는 것, 이것이 데이터 메시, 데이터 패브릭 등 현대적인 데이터 아키텍처들이 지향하는 것”이라고 강조했다.

“왜 데이터 흐름인가?”

점심시간 이후 진행된 오후 세션은 주제에 따라 △데이터 아키텍처, 거버넌스 △AI‧빅데이터 성공사례, 데이터 활용, 컨설팅 △SW융합협의회 제언 등 3개 트랙으로 나누어 진행됐다.

트랙1의 첫 번째 세션은 지티원 장희철 이사가 맡았다. 장희철 이사는 ‘왜 데이터 흐름인가?’라는 주제로, 데이터 거버넌스 측면에서 데이터 흐름 관리의 중요성과 필요성에 대해 역설했다.

지난 10년 동안 나왔던 IT 기술들과 현업의 요구사항들은 기업이 데이터를 관리하고 활용하는 방법을 더욱 복잡하게 만들고 있다. 비즈니스 의사결정은 더 빠르게 일어나야 하고, 이를 위해 현업 사용자들이 IT 조직의 도움 없이도 데이터를 분석하고 활용할 수 있는 셀프서비스의 필요성도 대두됐다. 이렇게 데이터에 접근할 수 있는 사람과 조직이 늘어나게 되면 데이터 관리 조직의 부담은 크게 가중된다.

셀프서비스를 통해 조직의 데이터 리터러시 역량을 높이면서도 IT 조직이 데이터 관리 역량을 잃지 않기 위해서는 무엇보다 데이터 흐름 관리를 포함하는 데이터 거버넌스 수립이 반드시 전제돼야 한다. 데이터가 빈번히 조회되고 변경되는 가운데 데이터의 흐름을 지속적으로 추적하고 현행화할 수 있는 시스템이 필요하다는 것이다.

장희철 이사는 “대부분의 기업들은 ETL 중심의 데이터 매핑 관계를 정의하는 방법으로 흐름 관리를 해왔다. 하지만 이런 방법은 소스DB와 타깃DB 사이의 매핑 관계만 정의하기 때문에, 임시 테이블이나 기타 프로그램 사용에 의해 정보 누락이 발생할 위험이 있고 현행화도 어렵다”면서, “데이터 흐름 관리는 데이터의 원천부터 목적지까지 어떤 규칙에 따라 가공‧변환‧활용됐는지를 시각적으로 파악할 수 있어야 한다”고 강조했다.

더 큰 비즈니스 가치를 만드는 스노우플레이크 데이터 클라우드

트랙1 두 번째 세션은 스노우플레이크 이계윤 상무가 ‘더 큰 비즈니스 가치를 만드는 스노우플레이크 데이터 클라우드’라는 주제로 발표에 나섰다. 이계윤 상무는 “스노우플레이크는 120개 이상의 DB 관련 특허를 보유한 전문가들이 모여서 클라우드 환경에 최적화된 DW를 만들어보자는 이념으로 설립됐다”며, “미국 증시 역사상 IT 부문 최대의 IPO 빅뱅을 일으키며 가장 주목받는 기업으로 떠올랐다”고 말했다.

포레스터리서치의 조사에 따르면, 전 세계 의사결정권자 중 자신의 조직이 생산하는 데이터 이외에도 외부 데이터 소스를 활용해 인사이트를 만들고자 하는 비율은 약 87%에 달한다. 그렇지만 전통적인 데이터 환경의 사일로화는 점점 더 가속화되고 있으며, 데이터를 통합하고 분석하는 데에 소요되는 시간은 점점 더 증가하기만 하고 있다.

스노우플레이크는 기업이 보유한 데이터 소스들을 데이터 클라우드로 결합해 사일로화를 제거하고, 데이터 분석과 활용을 위해 준비하는 시간을 크게 감소시킨다. 데이터를 물리적으로 통합하는 대신 논리적인 파이프라인을 통해 연결함으로써 데이터의 중복 저장으로 인한 비용 증가를 피하면서 실시간 정합성 확보에도 문제가 없도록 만들어준다.

이계윤 상무는 “스노우플레이크는 분산된 대용량 데이터 관리에 손쉽게 접근하고 관리할 수 있는 최적화된 스토리지, 다양한 워크로드를 지원할 수 있도록 단순화된 고성능 엔진, 높은 신뢰성을 보장하는 완전 관리형 서비스 등을 갖추고 있다”며, “데이터 클라우드를 통해 기업이 보유한 데이터를 손쉽게 관리하고 비즈니스 가치를 창출할 수 있도록 최선의 데이터 스택을 제공한다”고 말했다.

실시간 이벤트 스트리밍과 한국 구축사례

이어서 트랙1 세 번째 세션은 컨플루언트 김현수 상무가 맡았다. 김현수 상무는 ‘실시간 이벤트 스트리밍과 한국 구축사례(use cases)’라는 주제로, 실시간 이벤트 데이터 활용이 필요한 이유와 데이터 인 모션(data in motion)를 손쉽게 실현하는 방법에 대해 소개하는 시간을 마련했다.

김현수 상무는 “그 어느때보다도 이벤트, 즉 실시간 데이터를 즉시 활용하는 것이 매우 중요한 시대가 됐다”며, “실시간 데이터를 민첩하게 분석하고 활용하는 것이 디지털 시대의 생명선이자 비즈니스 성공률을 높이는 방법”이라고 말했다. 또한 김현수 상무는 실시간 이벤트 데이터를 활용하기 위해서는 데이터가 실시간으로 움직이도록(data in motion)해야 한다고 강조했다.

기존의 데이터 패러다임은 데이터를 저장하는 방법에 맞춰서 만들어졌다. DB를 기반으로 데이터를 저장하고, 이를 활용해야 할 때 일시적이고 정적인 쿼리를 사용한다. 여기에 임기응변식 통합(ad-hoc intergration)을 거쳐 DW나 BI 솔루션 등을 붙여나가면서 느리고 제한적인 정보만을 사용해왔다는 설명이다. 이러한 방법은 비즈니스 변화가 가속화되고 있는 오늘날에는 더 이상 효과적이지 않다.

김현수 상무는 “컨플루언트의 데이터 인 모션은 데이터가 특정 위치에 저장되지 않고, 비즈니스 전반에 걸쳐 해당 데이터를 필요로 하는 곳으로 즉각 전달되는 일련의 흐름을 의미한다”며, “조직 내 모든 시스템과 애플리케이션의 데이터를 실시간으로 연결함으로써 중요한 의사결정을 빠르게 내리고 다가오는 비즈니스 변화에 민첩하게 대응할 수 있을 것”이라고 강조했다.

AWS의 클라우드 데이터 전략

트랙1 마지막 세션은 ‘AWS의 클라우드 데이터 전략: 완전하게 통합된 환경에서 더 쉽고 더 스마트하게’라는 주제로 AWS 송규호 솔루션즈 아키텍트가 발표를 맡았다. 송규호 아키텍트는 먼저 디지털 트랜스포메이션은 선택이 아닌 필수가 됐다는 점을 강조하며, AWS가 자사의 서비스들을 활용해 고객들의 디지털 트랜스포메이션을 지원하는 전략에 대해 소개했다.

이노사이트가 2018년 공개한 보고서에 따르면, S&P 500대 기업의 평균 수명이 1964년에는 33년, 2016년에는 24년 정도로 나타났다. 오는 2027년에는 12년까지 줄어들 것으로 예상된다. 이에 대해 송규호 아키텍트는 “기업들의 평균 수명은 빠르게 감소하고 있으며, 이는 디지털 트랜스포메이션을 통해 지속적인 혁신을 달성하는 기업과 그렇지 못한 기업 사이의 격차가 점점 더 벌어진다는 것을 의미한다. 이러한 혁신의 중심에는 데이터가 있다”고 말했다.

기업들의 지속적인 혁신을 지원하기 위해 AWS는 데이터를 통합하고 연계할 수 있는 환경과 손쉬운 활용 인프라, 우수한 글로벌 지원 인프라를 제공하고 있다. 특히 AWS는 ‘아마존 S3’로 대표되는 데이터 레이크 환경을 통해 개별적인 DB와 DW가 가지고 있는 데이터 사일로를 문제를 해결하고 유기적인 통합과 활용을 지원한다. 모든 데이터는 중앙집중형 데이터 레이크에 직접 수집되며, 필요에 따라 다양한 데이터 플랫폼으로 이동해 원하는 서비스를 이용할 수 있다.

송규호 아키텍트는 “AWS는 데이터 레이크 서비스에 다양한 데이터 플랫폼을 연결하는 데이터 레이크하우스 아키텍처를 제공하고 있으며, 이를 통해 손쉽게 데이터 통합과 관리가 가능한 전사적인 데이터 메시를 구축해 활용할 수 있다”며, “많은 기업들이 데이터 공유와 거버넌스 확보 사이에서 어려움을 겪고 있는데, AWS가 제공하는 데이터 메시 아키텍처를 통해 이러한 문제를 해결할 수 있을 것”이라고 밝혔다.

AI 및 빅데이터 리딩 분석 RDBMS, 벡터 성공사례

트랙2의 첫 번째 세션은 이글로벌시스템 김정중 이사가 ‘AI 및 빅데이터 리딩 분석 RDBMS, 벡터 성공사례’에 대해 발표했다. 김정중 이사는 “데이터를 수집하고 모델링을 거쳐 원하는 데이터를 찾아가는 절차에는 짧게는 하루, 길게는 일주일 이상의 시간이 소요되는 것이 다반사”라며, “대용량 데이터의 고속분석에 특화된 RDBMS 벡터는 가장 빠른 데이터 처리 속도와 다양한 알고리즘에 대한 지원을 제공한다”고 설명했다.

벡터는 일반적인 RAM 보다 훨씬 빠른 연산이 가능한 온칩 캐시 메모리에서 데이터를 처리하며, 대용량 데이터 처리에 효과적인 컬럼 기반(column-base) 스토리지를 제공한다. 또한 뛰어난 병렬 실행 성능을 갖추고 있어 멀티코어 CPU 활용과 확장에도 우수한 성능을 보이는 것이 특징이다.

이어서 김정중 이사는 벡터를 활용해 추진한 다양한 데이터 분석 시스템 성공사례를 소개했다. 가장 먼저 소개된 것은 지난 2020년 추진된 괴산 노지스마트농업 프로젝트로, 변수가 많은 노지 환경에서 토양과 작물의 특성, 기상 예측과 유통 환경 등 다양한 요소들을 복합적으로 분석해 수확량과 예상 판매량 등을 예측하는 시스템을 구축했다. 산림청과 함께 추진한 지능형 산림항공 운항시스템 구축사례도 소개됐다. 해당 프로젝트에서는 헬기 운항 정보를 실시간으로 수집하고 분석하는 시스템을 구축해, 실시간으로 이상징후를 예측하고 안전관리 역량을 강화할 수 있었다.

김정중 이사는 “벡터는 초기부터 1,000억 건 이상의 데이터를 동시에 처리할 수 있는 DB를 목표로 설계됐으며, 현재는 약 2조 건의 데이터를 빠르게 분석해 가장 정확하고 가치있는 인사이트를 제공한다”며, “우수한 데이터 처리 성능과 전 세계적으로 가장 많은 빅데이터 분석 사례를 통해 최선의 분석 시스템 구축을 지원할 수 있다”고 말했다.

지속적인 업무혁신을 위한 리얼타임 프로세스 마이닝

트랙2 두 번째 세션은 퍼즐데이터 김영일 대표가 맡았다. 김영일 대표는 ‘지속적인 업무혁신을 위한 리얼타임 프로세스 마이닝’이라는 주제로, 프로세스 마이닝 기술을 활용해 비즈니스 혁신을 도모한 사례를 소개했다.

기업에서 일어나는 업무 대부분이 디지털 환경으로 옮겨가면서 직원의 업무 프로세스 흔적을 손쉽게 수집하고 확인할 수 있게 됐다. 프로세스 마이닝은 다양한 업무 시스템이 생성하는 이벤트 로그를 분석해 기업 내의 실제 업무 프로세스를 분석하는 과정을 의미한다. 기업의 업무 시스템이 다양해지고 복잡해지면서 실제 업무 프로세스를 파악하고 개선점을 찾는 것이 어려워지고 있는데, 프로세스 마이닝을 활용하면 병목현상이 발생하는 부분을 파악해 개선하거나 불필요한 시스템 규모를 최적화하는 것이 가능하다.

이는 업무 프로세스 개선만이 아니라 고객의 행동 패턴 분석에도 활용 가능하다. 디지털 채널을 통해 유입된 고객이 어떤 프로세스를 따라 행동하는지를 파악하고, 고객이 오래 머물며 관심을 보이거나 유실되는 지점 등을 파악해 고객 경험을 개선할 수 있다. 김영일 대표는 A 금융사와 함께 정기예금 가입 경로를 분석하거나 고객 이탈이 빈번히 발생하는 지점을 파악해 개선한 사례를 소개하며 참가자들의 이해를 도왔다.

이어서 김영일 대표는 자사의 프로세스 마이닝 솔루션 ‘프로디스커버리(ProDiscovery)’를 소개했다. 프로디스커버리는 조직 내 이벤트 로그 데이터를 분석해 실시간 프로세스 마이닝이 가능하도록 돕는 솔루션이다. 금융‧유통‧제조‧통신 등 다양한 분야에서 고객사를 확보해 업무 프로세스 최적화와 고객 경험을 지원하고 있다.

김영일 대표는 “프로세스 마이닝은 이미 20년 전부터 시작돼 다양한 분야에 적용되고 있는 기술이지만, 국내에서는 여전히 도입 사례가 많지 않아 많은 비즈니스 기회가 있는 분야”라며, “기존 데이터 분석에서는 보여주지 못했던 프로세스 기반의 업무 및 고객 분석이 가능해 기업의 생산성과 서비스 수준 개선을 지원할 수 있다”고 설명했다.

DT 여정을 위한 기업의 데이터 활용 전략

이어서 트랙3 세 번째 세션은 ‘디지털 트랜스포메이션(DT) 여정을 위한 기업의 데이터 활용 전략’이라는 주제로 엔코아 전략사업본부 김범 전무가 발표에 나섰다. 김범 전무는 국내외 기업들이 디지털 경쟁력 확보를 위해 새로운 데이터 전략을 수립하고 있으며, 이를 위해 어떤 목표를 세워야 하는지에 대해 다양한 인사이트와 사례들을 공유했다.

그동안 많은 기업들이 업무 시스템 개선이나 비용/원가 절감 시도, 신규 비즈니스 기회 발굴 등을 위해 디지털 트랜스포메이션을 추진해왔다. 이러한 과정에서 데이터의 중요성을 인식하고 관련 인력을 채용하거나 솔루션을 도입하는 등 많은 노력을 투자했다. 그렇지만 수많은 혁신 프로젝트가 진행됐음에도 불구하고 여전히 대다수 기업들이 데이터 관리와 활용 분야에서 충분한 역량을 확보하지 못하고 있는 것이 사실이다.

이는 전통적인 DB와 DW, 데이터 레이크 기반의 물리적인 데이터 저장 및 통합 환경에서는 개선하기 어렵다. 반면 조직 내 모든 데이터 저장소를 데이터 가상화 기술을 통해 논리적으로 연결하고, 데이터 카탈로그와 포털을 통해 손쉽게 원하는 데이터를 찾을 수 있도록 한다면 대부분의 문제를 해결할 수 있다. 데이터의 검색 성능을 높이고 고품질의 데이터를 제공하기 위해서는 탄탄한 데이터 거버넌스 역시 갖춰야 하는 것은 물론이다.

김범 전무는 “빠르게 변화하는 산업 현장에서 새롭게 등장하는 데이터를 분석하고 활용하기 위해서는 데이터옵스(DataOps) 역량이 필요하다. 이는 쉽고 자동화된 프로세스를 통해 빠르게 고품질의 데이터를 얻을 수 있도록 함으로써 유동적인 데이터 수요에 대응할 수 있도록 한다”며, “DB나 DW든, 데이터 레이크든, 혹은 원천 데이터 소스든 원하는 데이터 저장소에서 일괄적으로 필요한 데이터를 검색하고 찾을 수 있는 데이터 카탈로그와 포털, 데이터 가상화 등을 통해 혁신을 담보하는 데이터 옵스 전략을 달성할 수 있다”고 설명했다.

IBM 글로벌 데이터 패브릭 전략과 고객 성공사례

트랙2 마지막 세션은 한국IBM 권경진 차장이 나섰다. 권경진 차장은 ‘IBM 글로벌 데이터 패브릭 전략과 고객 성공사례’라는 주제로, 데이터 패브릭을 통해 전사적인 데이터 통합을 실현하고 데이터 주도적인 혁신을 달성한 사례를 공유했다.

IBM은 자사의 고성능 스토리지 ‘ESS(IBM Elastic Storage System)’ 시리즈에 탑재된 분산 파일 시스템 ‘스펙트럼 스케일(IBM Spectrum Scale)’을 통해 데이터 패브릭을 구현하고 있다. 어떤 데이터 스토리지를 연결하더라도 스펙트럼 스케일을 통해 단일한 뷰를 제공하는 데이터 패브릭 생태계를 구축할 수 있다. 여기에는 하이브리드 클라우드 생태계를 위한 데이터 이동 자동화, 유니파이드 스토리지(Unified Storage) 등을 제공한다.

데이터 이동 자동화는 하이브리드 클라우드 환경에서 다양한 장소에 산재돼 있는 데이터들을 AFM(Active File Management) 기능을 통해 통합하고 자동으로 데이터를 연계한다. 또한 동일한 파일에 대해 다양한 프로토콜의 동시 접속을 지원하는 유니파이드 스토리지를 제공해, 다양한 서비스와 사용자들이 동일한 파일 시스템에서 원하는 업무를 처리할 수 있다. 이와 같은 AFM 기능과 유니파이드 스토리지를 결합해 사용자는 전사 데이터를 자동으로 통합하고 원하는 데이터를 찾아 즉시 접근할 수 있는 단일 플랫폼을 경험할 수 있다.

권경진 차장은 “AI 기반 디지털 혁신에서 가장 효과적인 데이터 매니지먼트 방식은 모든 데이터가 단 하나의 소스로 제공되는 것(SSOT, Single Source of Truth)”이라며, “IBM의 글로벌 데이터 패브릭 전략은 사용자가 서비스 개발과 운영에 집중할 수 있도록 모든 데이터에 대한 자동화된 관리와 최적화를 지원한다”고 말했다.

클라우드 엔터프라이즈 실시간 데이터 동기화 적용 전략

트랙3의 첫 번째 세션은 실크로드소프트 윤성조 팀장이 연단에 올랐다. 윤성조 팀장은 ‘클라우드 엔터프라이즈 실시간 데이터 동기화 적용 전략’이라는 주제로 발표를 진행해, 클라우드의 약진에 따라 데이터 산업계에서 일어나는 변화와 이에 대응할 수 있는 최적의 데이터 전략을 소개했다.

윤성조 팀장은 먼저 가트너가 공개한 글로벌 DBMS 시장 조사 그래프를 공개했다. 해당 그래프에서는 클라우드가 본격적인 관심을 받기 시작한 2014년부터 DBMS 시장 점유율이 크게 요동치고 있는 모습을 확인할 수 있었다. 특히 클라우드 네이티브 DBMS 비즈니스에 집중했던 기업의 제품들은 최근 5년 사이에 드라마틱한 점유율 상승을 보였다.

윤성조 팀장은 “글로벌 DBMS 시장에서 상위권을 차지하고 있는 10개 기업 중에서 8개 기업이 클라우드 DBMS에 집중하고 있다. 시장 규모 역시 클라우드 DBMS 매출이 전 세계 DBMS 매출의 절반을 차지하고 있어, 기업의 데이터 저장소가 클라우드 환경으로 빠르게 이동하고 있음을 확인할 수 있다”고 설명했다.

이처럼 오늘날 기업의 데이터 저장소는 클라우드와 온프레미스 환경을 아우르는 하이브리드 클라우드 형태로 변화하고 있다. 또한 클라우드 환경에서 MSA가 일반적인 형태로 자리잡음에 따라, 기업의 데이터 저장소 역시 마이크로 서비스 단위로 분산돼 운영되고 있다. 따라서 기업은 다양한 장소에 분산된 데이터 저장소들을 실시간으로 동기화함으로써 일관성을 유지할 수 있는 방법을 강구해야 한다.

윤성조 팀장은 “ETL이나 CDC와 같은 전통적인 데이터 동기화 방법으로는 하이브리드 클라우드 환경에서 실시간 데이터 동기화를 실현하기 어렵다”며, “실크로드소프트는 하이브리드 클라우드 환경에서 빠르고 효과적인 방식으로 데이터 동기화를 실현하며, 트랜잭션 로그 기반으로 운영DB를 중단하지 않고도 실시간으로 데이터 일관성과 정합성을 확보할 수 있다”고 말했다.

AI/연계 플랫폼 기반 데이터 패브릭 기술

트랙3의 두 번째 세션은 메타빌드 박종세 이사가 발표에 나섰다. 박종세 이사는 ‘AI/연계 플랫폼 기반 데이터 패브릭 기술’이라는 주제로, “데이터 패브릭이 아직 100% 완성된 개념은 아니지만, 메타빌드는 자사가 보유하고 있는 기술과 제품을 활용해 효과적인 데이터 패브릭 모델을 지향하고 있다”고 설명했다.

박종세 이사는 먼저 데이터 분야의 주요 이슈로 △데이터의 폭발적인 증가 △데이터 간의 연결성 강화 △선제적‧맞춤형 서비스 확대 등을 꼽았다. 이에 따라 데이터 분석 성능과 품질 관리, 데이터 처리의 편의성과 정시성, 예측모델 관리와 서비스 품질 관리 등의 역량이 요구될 것으로 예상했다. 메타빌드는 그동안 데이터 수집‧분석‧활용‧시각화 등 전통적인 라이프사이클에 맞춘 플랫폼을 지향해왔지만, 앞으로는 지속적으로 늘어나게 될 예측 서비스 요구에 대응하고 사용자 중심의 데이터 서비스를 제공하기 위한 데이터 패브릭 플랫폼을 구축하겠다는 목표다.

이어서 박종세 이사는 미래의 데이터 패브릭 플랫폼을 구축하기 위한 자사의 주요 제품들을 실제 구축사례와 함께 소개했다. 데이터 수집 분야에서는 사물인터넷 미들웨어 ‘메심 IoT(MESIM IoT)’와 연계‧통합 미들웨어 ‘메심 ESB(MESIM ESB)’가, 데이터 저장 분야에서는 ‘메심 데이터허브(MESIM DataHUB)’가. 분석 및 활용 분야에서는 ML옵스 플랫폼 ‘메이 오토(MAI Auto)’와 API 게이트웨이 솔루션 ‘메심 APIG(MESIM APIG)’ 등이 각각 소개됐다. 또한 시각화 부문에서는 자사 제품들과 솔루션 기술력을 통해 개발한 도로교통 관제, 자율주행 플랫폼 구축 사례 등을 공유했다.

끝으로 박종세 이사는 “메타빌드는 지난 25년 간 데이터 기반 비즈니스를 지속하며 기술력을 축적해왔다. 최근에는 변화하는 시장의 흐름과 IT 기술의 발전에 발맞춰 AI와 데이터, 스마트 플랫폼 기술들을 바탕으로 다양한 분야의 디지털 트랜스포메이션 지원에 집중하고 있다”고 말했다.

스마트하게 일하는 방법 - 디지털 워커와 협업하기

트랙3의 세 번째 세션은 비에스지원 이정재 상무가 맡았다. 이정재 상무는 ‘스마트하게 일하는 방법 - 디지털 워커와 협업하기’라는 주제로, RPA 기술의 트렌드와 기업 내 디지털 전환의 모범사례 중심으로 소개했다.

삼성경제연구소가 지난 2020년 발표한 바에 따르면, 퓨처 워커(Future Worker)는 △1인이 다양한 능력을 갖고 다수의 직무를 동시에 해결하고 △공간의 제약 없이 자유로운 근무 형태를 가지며 △AI 기술을 활용해 업무 생산성을 크게 증대시킬 수 있을 것으로 예상된다. 특히 AI 기술은 이미 기업의 다양한 업무 시스템에 적용돼 활용되고 있으며, 앞으로 이러한 흐름은 더욱 가속화될 것으로 보인다.

이어서 이정재 상무는 AI를 활용해 업무 생산성을 높일 수 있는 대표적인 기술로 RPA(Robotic Process Automation)을 소개했다. RPA는 대규모 정형화된 업무를 자동화하는 도입 단계, 보다 지능화된 업무 자동화가 가능한 심화 단계, 1인 1로봇 환경을 통해 맞춤형 업무 지원까지 가능한 확산 단계로 구분된다. 도입과 심화 단계에서는 전체 업무 중 약 10~20% 정도의 자동화만이 가능하지만, 1:1 맞춤형 지원이 가능한 심화 단계에 도달하면 전체 업무의 50% 이상을 AI가 대신할 수 있게 된다.

이정재 상무는 “엑셀이 처음 등장했을 때에는 고도화된 기능을 사용할 수 있는 파워유저들의 전유물처럼 여겨졌지만, 지금은 대부분의 직장인들이 편리하게 사용할 수 있는 일반적인 오피스 SW로 자리잡았다”며, “향후 RPA 역시 직장인의 일반적인 개인 비서 SW로 자리잡아 업무 생산성을 극대화하는 도구가 될 것”이라고 말했다.

이어서 이정재 상무는 자사의 RPA 솔루션 ‘디지털 워커(Digital Worker)’를 활용해 성공적인 업무 협업 프로세스를 구축한 사례를 소개했다. 유통사의 영업지원팀에서 RPA를 도입해 다양한 운영 및 관리 시스템을 자동화하거나, 대화형 챗봇과 RPA를 결합해 자연어 채팅으로 경비 정산이나 회의실 예약 시스템 등을 연동한 사례를 공유해 참가자들의 이해를 도왔다.

개발자와 함께하는 로우코드 개발 플랫폼

트랙3 마지막 세션에서는 이노리브 홍성준 LCDP 팀장이 발표에 나섰다. 홍성준 팀장은 ‘개발자(Developer)와 함께하는 로우코드 개발 플랫폼’이라는 주제로, 자사가 보유한 로우코드 개발 플랫폼을 SI 프로젝트에 실제로 적용한 사례를 공유했다.

홍성준 팀장은 먼저 전 산업계의 디지털 전환이 가속화되면서 전 세계적으로 IT 개발자가 급격히 부족해지고 있으며, 기업용 SW의 규모와 복잡도가 빠르게 증가하면서 개발자 1인당 관리해야 하는 소스코드의 양이 10년 전에 비해 약 100배 이상 늘어났다는 점을 지적했다. 이에 따라 개발자 1인이 감당해야 하는 업무 부담이 전에 없이 증가한 상황이다.

현재 많은 글로벌 기업들은 개발자 부족과 및 업무 생산성 향상을 위해 로우코드 기술에 주목하고 있다. 마켓앤마켓이 공개한 자료에 따르면, 올해 217억 달러 수준인 전 세계 로우코드‧노코드 시장 규모는 오는 2025년까지 455억 달러에 달할 전망이다. 특히 로우코드 개발 플랫폼은 전문 개발자의 생산성을 높이는 것에서 그치지 않고, IT 전문 지식이 부족한 시민 개발자(Citizen Developer)가 전문가의 도움 없이도 단순한 업무 서비스를 개발하고 사용할 수 있도록 함으로써 전사적인 IT 역량을 크게 향상시킬 수 있을 것으로 기대된다.

홍성준 팀장은 “이노리브는 전문 개발자를 위한 로우코드 솔루션 ‘데브봇(DevBot)’을 서비스하고 있다. 개발자는 프로젝트 개발 현장에서 사용하는 도구를 그대로 사용하면서 데브봇이 제공하는 가상 개발자(vitual developer)의 도움을 받아 개발 생산성을 높일 수 있다”며, “데브봇은 특정 기술이나 환경에 종속되지 않고 데이터 모델 기반의 코드 자동화를 가능케 한다. 공통 표준과 SW 구조화, 시큐어 코딩 등을 통해 개발 생산성을 높이고 프로그래밍 품질을 향상시킬 수 있다”고 설명했다.

끝으로 홍성준 팀장은 실제 SI 프로젝트에서 데브봇을 적용한 사례들을 소개했다. 데브봇은 금융‧교육‧물류 등 다양한 SI 프로젝트에서 활용되며 개발자들의 생산성을 극대화하고 프로젝트 결과물의 완성도를 높이는 데에 기여했다는 설명이다.