다양한 데이터 소스로부터 데이터 수집 저장, 신뢰성 안정성 뛰어나

[컴퓨터월드] 대부분의 기업들이 빅데이터를 활용한 후 긍정적 변화를 경험하고 있다. 이러한 현상은 제조 에너지 공공 유통 등 모든 산업 분야의 모든 업무에서 나타나고 있다.

리서치 기업인 위키본(Wikibon)에 따르면 전 세계 빅데이터 시장은 2018년 420억 달러에서 2027년 1,030억 달러로 확대될 것으로 보인다. 국내 시장 역시 향후 5년간 연평균 10.9% 성장해 2022년 2조 2천억 원 규모에 이를 것으로 한국IDC는 전망하고 있다.

이처럼 빠르게 성장하고 있는 빅데이터 시장에서 데이터흐름을 실시간으로 파악하고 분석하는 것이 화두가 되고 있다. 데이터기반 비즈니스를 효율적으로 운영하기 위해 데이터를 수집하고 모니터링하고 학습하는 것이 무엇보다 중요하다는 얘기이다.

이런 상황에서 빅데이터 기반 통합모니터링 솔루션 기업 위엠비가 어떤 환경에서도 안정적으로 데이터를 수집·저장·확장할 수 있는 유연한 구조의 ‘대용량 데이터 수집/활용 패키지’인 ‘BridgeX(가칭)’를 출시해 주목받고 있다.


TIM 업그레이드해 신제품 ‘BridgeX’ 개발
위엠비의 통합관제시스템은 기존 ICT 인프라 모니터링을 위한 시스템 운영정보 수집에서 시설/설비 운영정보, 서비스 관리정보, 비즈니스 정보, 제조 생산 정보 등 다양한 정보 형태로 확장됐다.

통합관제 시장이 스마트 데이터 센터, 스마트 팩토리, 스마트 시티 등 다양한 관제시스템으로 확장되면서 IoT기반의 센서나 장비 등 각종 데이터 소스로부터 대용량의 데이터를 안정적으로 수집/저장할 수 있는 솔루션이 필요하게 됐다. 또한 조기경보, 장애예측 등의 빅데이터 분석 및 예측 솔루션을 개발함에 따라 정제되지 않은 대용량의 원시 데이터를 수집해 저장하고 분석하는 솔루션의 개발 필요성이 증대됐다.

위엠비는 이러한 대내외의 요구사항을 반영해 기존에 보유하고 있던 통합관제 데이터 수집 솔루션인 TIM을 한단계 업그레이드해 BridgeX라는 신제품을 개발하게 됐다.

▲ BridgeX 수집 대상 정보

위엠비의 BridgeX는 다양한 데이터 소스로부터 데이터를 수집하고 저장하는 빅데이터 수집솔루션으로 연계 대상 정보로부터 주기적으로 정보 연계를 자동화함으로써 자동화의 신뢰도와 안정성을 보장한다. 추출/연계된 데이터는 통합 레포지터리(Repository)로 저장되거나 서비스 로직이 반영된 의미있는 데이터로 재해석되는 단계를 거쳐 사용자에게 실시간으로 제공된다.

직관적인 Web UI를 통해 사용자가 쉽고 빠르게 원하는 데이터를 추출해 지정한 주기에 맞춰 수집 저장하며, 자체 이벤트와 모니터링 UI를 통해 데이터 수집 현황과 이상 여부를 신속하게 파악하고 대처할 수 있도록 해준다.

▲ BridgeX 제품의 기능

BridgeX는 위엠비가 보유한 대표적 시각화 솔루션인 레노빗(RENOBIT)과 빅데이터 분석 및 예측 솔루션인 TOBIT SPA에서 필요로 하는 다양한 형태의 기초 데이터 수집을 담당하는 핵심 솔루션이다. BridgeX는 각 솔루션에서 필요로 하는 정형/비정형의 기초 데이터를 RDB 또는 도큐먼트DB(Document DB)에 수집, 저장하고 실시간성이 필요한 핵심 정보는 메모리(Memeory) DB에 저장 후 RestAPI를 통해 즉시 제공한다.

▲ 위엠비 솔루션 구성도

BridgeX Manager에 탑재된 데이터 수집 엔진은 이미 다수의 금융권 프로젝트에서 데이터 수집 성능 및 안정성을 입증받았다. 특히 S전자 프로젝트의 경우 500여 개의 데이터 연계포인트에서 일일 평균 2억 건 이상의 데이터를 유실 없이 수집하고 있다.

BridgeX Agent는 리소스 사용의 최적화로 데이터 수집으로 인해 발생되는 부하를 최소화한다. 실제 기존 200여 개의 주요 레퍼런스 사이트에서 순간 CPU 사용율을 평균 5% 이하로 유지하고 있다. 또한 BridgeX Agent를 통해 수집된 데이터는 BridgeX Manager를 통해 초당 10만 건 이상의 데이터를 Document DB에 저장할 수 있으며, 동시에 메모리 DB의 데이터 저장기능을 통해 200명 이상의 동시 접속 사용자에게 성능 저하 없이 실시간으로 데이터를 제공할 수 있다.

▲ 실시간 데이터 수집·저장 방식

BridgeX의 성능 및 기능
BridgeX는 다양한 연계 대상(Data Source)으로부터 정보를 수집하는 ‘Agent’와 정보 수집 설정·관리를 위한 ‘Manager’로 구성돼 있으며 HTML5 기반의 Web UI를 통해 원격 제어 및 관리가 가능하다.

1) 다양한 형태의 데이터소스(Data Source)로부터 데이터 수집
RDB, Log파일, XML, REST API, OS Command(Shell Script) 수행 결과로부터 사용자가 원하는 데이터만 추출하거나 그대로 저장이 가능하며, Modbus TCP, BACNet, SNMP, OPC-UA 등의 프로토콜을 이용해 다양한 센서나 장비로부터 직접 데이터 수집이 가능하다.

2) 다양한 형태의 Target으로 데이터 저장
기존의 RDB를 통한 데이터 저장뿐만 아니라, Document DB를 통해 대용량 데이터를 저장할 수 있다. 또한 Memory DB, Manager서버/Agent서버에 파일을 저장하는 등 다양한 타겟으로 데이터를 저장할 수 있다.

3) 자체 스케줄러 사용 및 리소스 사용률 최적화
시스템의 crontab이나 작업 스케줄러를 사용하지 않고 자체 스케줄러를 사용하기 때문에 시스템 계정이 불필요하다. 또한 Agent의 리소스 사용을 최적화해 대상시스템에 정보연계로 인해 발생되는 부하를 최소화한다.

4) 고가용성(HA : High Availability) 지원
정보수집의 고가용성(HA) 보장을 위해 Manager, Agent 각각의 이중화를 지원한다. 또한 시스템의 중요도에 따라 Active(1), StandBy(N) 구성이 가능하며, 데이터 수집 주기, 수집데이터 용량, 시스템 성능 및 구성에 따라 Manager 및 Agent를 유연하게 확장하거나 통합할 수 있다.

5) Web UI 기반의 관리기능 제공
수집대상설정, 수집방식, 데이터 추출방식, 수집주기, 저장방식, 사전/사후 처리 등 정보수집을 위한 다양한 설정 기능을 제공한다. Manager/Agent의 구동, 중지, 재기동 등의 원격 제어와 Manager/Agent의 패치파일 배포를 위한 원격 배포기능도 지원한다.

정보수집, 연계현황, 데이터 미수집, Manager/Agent 기동여부 등 이벤트현황을 실시간으로 제공하며, 원격지의 Manager/Agent에 대한 구동 로그를 실시간으로 조회할 수 있다.

6) 메모리DB를 활용한 실시간 정보제공
메모리DB 미사용시, 다수의 대시보드 사용자 동시접속에 따라 시스템 부하가 발생하게 돼 대시보드의 끊김현상이 발생하고 동시에 데이터 수집성능 저하에 따른 데이터 유실이 발생한다. BridgeX는 메모리DB를 이용한 대용량 트랜드(이력) 정보 처리 및 실시간 정보 전달이 가능하며 접속자 증가와 무관한 시스템 성능을 보장한다.

7) Manager-Agent간 데이터 암호화 처리 기능
사내·외 노출에 유의해야 할 중요한 정보 수집의 경우 보안이 중요하다. BridgeX는 이런 문제를 해결하기 위해 Agent와 Manager 간의 전송 단계에서 데이터 암호화(Encryption) & 복호화(Decryption) 기능을 제공한다.(적용 암호화 알고리즘 : KISA SEED-128). WEB UI 상에서 간단 설정만으로 전송 정보 암호화를 즉시 적용할 수 있다.

8) 순차적 절차에 따른 정보 연계
다수의 수집 작업을 순차적으로 수행할 수 있다. 각 단계별 수집 작업의 결과를 다음 단계의 수집 작업 파라미터로 전달·활용할 수 있다.

▲ BridgeX 제품의 특징

BridgeX의 주요 특징
BridgeX는 H/W 및 S/W가 유기적으로 연결돼 다양하고 복잡한 IT 환경에 적용할 수 있는 유연한 플랫폼 기반의 솔루션이다. 사용자의 데이터 수집 환경에 따라 자유롭게 구성 및 확장할 수 있다.

안정적인 성능 및 운영환경
BridgeX의 데이터 수집 엔진은 TTA(한국 정보통신 기술협회)로부터 V&V(Verification & Validation) 인증을 받았다. 데이터 수집성능 및 안정성을 검증 받았으며, 대용량 데이터 처리에 대한 부하를 줄이기 위해 메모리 DB를 활용한다. 또한 데이터 암호화를 통한 데이터 전송 기능, 서버 부하 최소화 및 효율적인 에이전트 관리 방법 등을 제공해 안정적인 성능을 보장한다.

운영자가 손쉽게 조작 및 관리 할 수 있는 운영환경의 편의성
중앙화된 Web UI 운영환경에서 데이터 수집/처리/재해석 기능, 통합 운영 관점의 이벤트 통합/재정의 관리 기능, 전체 데이터 통합연계 관리를 위한 대시보드 화면을 제공해 데이터 수집 방법 설정, 수집상태 및 이상여부 모니터링, Manager/Agent의 원격 로그 조회, 제품 업그레이드나 패치를 위한 원격 배포기능 등 다양한 사용자 편의 기능을 제공한다.

▲ BridgeX Web UI 화면

데이터 통합이 필요한 모든 분야에 적용가능
BridgeX는 이기종 데이터 통합이 필요한 모든 분야에 적용할 수 있다.

일반적인 IT운영 관리, 비즈니스 정보 관리 뿐만 아니라 스마트 데이터센터, 스마트 팩토리, 스마트 빌딩, 스마트 에너지관리, 스마트 시티, 스마트 교통, 스마트 물류, 스마트 안전 등 이미 구축된 다양한 IT 시스템과, IoT 기반의 센서 및 설비 데이터를 실시간으로 통합해 위엠비의 시각화 솔루션인 RENOBIT을 통해 모든 상황을 한눈에 알 수 있도록 해준다.

BridgeX 솔루션은 유연함과 확장성을 갖고 있어 지속적으로 변화하고 발전하는 IT 환경에 즉시 대처가 가능하다. 또한 축적된 대용량의 데이터를 바탕으로 위엠비의 장애예측 솔루션인 TOBIT SPA와 연계해 현재의 상태뿐만 아니라 미래에 발생 될 현상에 대한 예측도 가능하다. 보다 스마트한 통합 관리 시스템을 구축할 수 있다는 것이다.

위엠비는 향후 기존 위엠비가 보유하고 있는 시각화 솔루션인 RENOBIT과 빅데이터 분석 및 예측솔루션인 TOBIT SPA의 기술을 융합해 대용량 데이터 수집, 분석 및 예측, 시각화를 단일 솔루션에서 통합적으로 제공하도록 제품을 업그레이드 해나갈 계획이다.

또한 IoT 기반의 다양한 센서데이터를 수집하기 위해 지원 가능한 프로토콜을 추가하고 연계 가능한 데이터 소스를 지속적으로 확대해 나갈 예정이다. 이외에 사용자 친화적인 UI/UX를 개발해 사용자가 보다 쉽고 편리하게 다양한 데이터를 수집할 수 있도록 한다는 방침이다.

저작권자 © 컴퓨터월드 무단전재 및 재배포 금지