11.14
주요뉴스
뉴스홈 > 기고
[제품리뷰] 한국사이베이스 / SYBASE IQ대용량 데이터 처리에 탁월한 EDW의 최강자
이제까지 IT 기술은 데이터라는 가장 기본적이면서도 핵심적인 요소에 대한 기술의 발전을 진행해왔다. 그러나 최근에는 무엇보다도 이런 데이터라는 것이 단순히 모아서 축적하는 것이 아니라 정확하고 신뢰할 수 있는 정보로 변환되어서 경영층의 의사 결정에 기여함으로써 기업의 민첩성을 높일 수 있게 하고자 하는 기업의 욕구가 증가하고 있다. 따라서 IT의 최근 트렌드인 RTE (Real Time Enterprise)나 DI(Data Integration)를 위한 데이터 통합과 실시한 분석의 역할을 담당하게 될 데이터웨어하우스 구축을 위한 데이터베이스로서 SYBASE IQ 제품을 살펴보기로 한다.

BI에 강한 Sybse IQ
비즈니스 인텔리전스를 개발하는 근본적인 이유는 테라바이트급 데이터를 관리하고 다양한 제품에서 질의를 처리할 수 있는 개방적인 시스템을 구축하기 위해서다. 이런 시스템을 구축하기 위해서는 무엇보다도 질의에 대한 성능이 중요한데 데이터웨어하우스(Data Warehouse)는 일정 주기로 적재된 대용량의 데이터를 통계자료와 같이 수치를 그룹화 하는 질의가 일반적이어서 실제로 많은 동시 사용자수가 접속해서 질의를 수행해도 빠른 처리 속도를 보장하는지가 매우 중요하다.

기존의 RDBMS는 OLTP와 DSS가 혼재된 데이터베이스 엔진인데 반해 사이베이스 IQ는 데이터웨어하우스 전용 RDBMS로 인덱싱이나 액세스 방식에서 데이터웨어하우스에 맞는 새로운 기법으로 구현된 RDBMS이다. 따라서 대용량의 데이터에 대한 효율적 저장과 관리에 의해 경제적이며, 대량의 비정형 처리의 신속한 응답시간을 가져다주는 유연성이 뛰어나다.

버티컬 프로세싱과 독특한 인덱스 기법
기존 RDBMS는 특정 몇 개의 레코드를 빠르게 검색, 삽입, 갱신, 삭제하는데 주안점을 두고 설계되었기 때문에 데이터 액세스 방식이 레코드 레벨로 되어있다. 그러나 데이터웨어하우스는 분석정보를 산출하는 것이 주된 목적이기 때문에 일정 주기로 적재된 대용량의 데이터를 특정 몇 개의 컬럼만을 필요로 하여 그룹화 하는 질의가 일반적이다.

따라서 레코드 레벨의 데이터 액세스 방식은 불필요한 I/O를 유발시키므로 그 성능이 크게 떨어지는 현상을 나타내어서 데이터웨어하우스 구축 후 실제 사용 시 어려움에 직면한다. 그러나 사이베이스 IQ의 버티컬 프로세싱(Vertical Processing)은 질의에 필요한 컬럼만 액세스하는 기법으로 I/O 자체를 줄여 처리하기 때문에 적은 리소스를 이용하여 대용량 데이터 처리가 가능함으로써 동시 사용자 환경에서의 현저한 성능 저하를 보이지 않는다. 한국신용평가정보의 신용평가 일괄처리 시스템은 OLTP에서 3~4일 걸리던 분석업무가 사이베이스 IQ를 도입한 후 하루로 단축된 사례를 통해 잘 입증된다.

데이터 압축
Sybase IQ는 기본적인 데이터 압축, 1byte/2byte FP 인덱스 구조, Bit-wise 인덱스를 통해서 데이터를 압축하여 저장함으로써 개발 시 전체적인 디스크 비용을 절감할 수 있으며, 향후 하드웨어 증설 등 유지보수에 필요한 비용을 절감할 수 있다. 그리고 이러한 데이터 압축은 압축하지 않은 경우보다 한번의 Disk I/O를 통해 더 많은 데이터를 접근할 수 있으므로 결과적으로 질의응답 속도를 향상시킬 수 있다

비정형 질의의 성능 보장
비정형 질의의 가장 큰 문제점은 분석 시점에 나타나지 않은 정보를 요구할 때 인덱스로 설정되지 않은 컬럼을 중심으로 데이터를 보고자하는 것이 가장 큰 문제가 된다. 즉 대량의 데이터를 가지고 있는 테이블을 모두 읽어야만 하기에 I/O를 폭증시키기 때문이다. 이런 애로사항을 극복할 수 있는 사이베이스 IQ는 모든 컬럼이 인덱스화 되어 있고 필요한 컬럼만 읽어야하는 버티컬 프로세싱을 지원하므로 어떤 유형의 비정형 질의에도 일괄적인 테이블 스캔을 하지 않는다.

LG화재의 CRM 데이터웨어하우스를 구축하고 있는 실무자의 의견을 들어보면 50~60명의 파워유저들이 OLAP 툴을 이용해서 직접 비정형 쿼리를 수행하고 있으나 높은 성능을 보여주고 있으며, 건강보험심사평가원의 경우에도 한 달 분의 비정형 데이터를 분석하는 데 3~4일 걸리던 것이 지금은 30초에서 최대 3시간으로 줄어들었다.

데이터 증가시 확장 가능
Sybase IQ는 시간의 경과에 의한 데이터 폭발을 예방하기 위하여 데이터 압축 알고리즘, Vertical Partition 기능을 제공하며, 증가된 데이터, 증가된 사용자로 인한 시스템 확장의 필요성이 생기는 경우 기존 데이터베이스에 영향을 주지 않고 별도의 하드웨어를 추가하여 Multiplex를 구성하여 해결할 수 있습니다.

DW와 함께 기간계 데이터 접근 및 통합 /Avaki EII 솔루션
대용량 데이터 배치 처리로 인한 DW 에서는 배치 작업 수행에 따른 시간에 제약 때문에 속보성 데이터나 데이터를 실시간으로 표현해 주어야 하는 요구에는 아쉬움이 있었다. 이에 요즘 화두가 되고 있는 전사 데이터 정보 통합 솔루션인 Syba-se Avaki EII 솔루션으로 이런 제약사항을 극복하여 서로 다른 모든 데이터 소스로부터 데이터를 접근하여 원하는 데이터를 가져올 수 있게 한다.

1) 공통정보 공유
●모든 프로젝트를 진행 중 반드시 공유되어야 할 공통(상품코드, 자재코드,…)정보를 Avaki로 데이터를 통합하여 공유
●개발자들이 기간계 시스템 접근 방법이나 문법 등을 고려하지 않고 단순히 Avaki의 공통 정보만 참조
●기간계 시스템을 보호할 수 있으며 Avaki에 의한 다양한 인증 및 권한을 부여
따라서 GUI 환경에 의한 통합으로 통합 환경을 간단하게 이해하고 향후 유지보수를 간편하게

2) 통합된 뷰
●분산된 이기종 DB 환경에서 통합된 실시간 뷰 제공
●분산 환경에서 신속한 의사 결정을 위한 통합통계 정보를 위한 통합된 뷰 제공
●시스템 관리자들이 필요로 하는 각 시스템의 모니터링 정보, 사용량, Errorlog 등을 통합된 뷰로 제공
●모니터, 시스템 관리 Tool과 효율적인 연동을 위한 통합된 뷰 제공

3) 속보성 데이터 서비스
●이미 구축된 DW시스템에서 가장 최신의 데이터가 서비스 되어야 하는 업무
●대부분은 업무는 DW시스템에서 해결을 되지만 업무의 특성에 따라 반드시 속보성 데이터(최신 데이터)가 요구되는 시스템
●비록 DW시스템은 구축되어 있지만 DW시스템과 기존 기간계 시스템 간 조인 등 자료 공유가 필요한 업무

여백
컴퓨터월드 추천기업 솔루션
인기기사 순위
IT Daily 추천기업 솔루션
(우)08503 서울특별시 금천구 가산디지털1로 181 (가산 W CENTER) 1713~1715호
TEL: 02-2039-6160  FAX: 02-2039-6163   사업자등록번호:106-86-40304
개인정보/청소년보호책임자:김선오  등록번호:서울 아 00418  등록일자:2007.08  발행인:김용석  편집인:김선오