데이터 처리 계층에 새로운 영역 추가, 획기적인 성능 개선 주목

[컴퓨터월드] 옵테인(Optane)은 인텔이 마이크론과 함께 개발한 ‘3D 크로스포인트(3D XPoint)’라는 비휘발성 메모리 기술을 활용해 선보인 제품이다. PC 시장에서는 자리를 잡는 데 실패한 것으로 평가되는 ‘옵테인’이지만, 인텔이 지난 2019년 4월 선보인 ‘옵테인 DC 퍼시스턴트 메모리(Optane DC Persistent Memory)’는 기업 데이터센터 시장에서 비용효율적인 고성능 시스템을 구축하는 데 상당한 효과를 거둘 수 있는 것으로 알려지면서 CIO들의 관심을 끌고 있다.

인텔 측은 이미 포춘500 기업 중 200개 이상이 ‘옵테인 DC 퍼시스턴트 메모리’에 대한 개념증명(PoC)을 진행했으며, PoC를 진행한 기업의 85%가 도입할 만큼 매력적인 성능을 보여주고 있다고 주장하고 있다.


데이터 처리 계층 새롭게 그리는 ‘옵테인’

폭증하는 데이터를 더욱 효율적으로 처리할 수 있는 새로운 방안으로 ‘옵테인 DC 퍼시스턴트 메모리’가 주목받고 있다. 다소 생소하다 느껴질 수 있는 개념의 제품임에도 불구하고 만족할 만한 가격 대비 성능을 바탕으로 최근 데이터센터를 운영하는 많은 국내외 기업들로부터 관심을 받으면서 도입이 확대되고 있다.

인텔은 ‘옵테인’을 D램(DRAM)과 SSD의 중간에 위치한 개념으로 소개한다. 즉 옵테인은 ▲전원을 끄면 데이터가 사라지지만 매우 빠른 응답속도를 자랑하는 ‘메모리’와 ▲그에 비해 응답속도는 느리지만 전원이 꺼져도 대용량의 데이터를 보존할 수 있는 비휘발성 ‘저장장치’의 장점을 모두 갖고 있다는 설명이다.

인텔은 이러한 옵테인의 특성을 통해 ‘캐시-메모리-스토리지’ 3단계로 구성됐던 데이터 처리 계층(Hierarchy)을 새롭게 그리게 됐다고 이야기한다. 즉, 기존의 데이터 처리 계층으로는 매년 폭증하는 데이터를 빠르게 처리할 수 없기에, 옵테인 기술을 활용해 메모리와 스토리지 사이에 벌어진 ‘용량’과 ‘속도’의 격차(gap)를 적절히 보완해줄 수 있는 제품들을 만들어낸 것이라는 설명이다.

2008년 인텔이 그린 데이터 처리 계층 구조
2008년 인텔이 그린 데이터 처리 계층 구조
메모리와 스토리지 사이를 ‘옵테인 퍼시스턴트 메모리’와 ‘고성능 스토리지’가 담당한다.
메모리와 스토리지 사이를 ‘옵테인 퍼시스턴트 메모리’와 ‘고성능 스토리지’가 담당한다.

이에 따라 인텔은 저장장치의 속도를 끌어올릴 수 있는 캐싱 메모리 역할의 ‘옵테인 메모리’를 기본으로, D램의 속도에 가까운 ‘옵테인 DC 퍼시스턴트 메모리’, 그리고 기존 SSD보다 더욱 높은 성능을 내는 ‘옵테인 DC SSD’ 등의 제품을 선보이고 있다. 그리고 특히 이 중 ‘옵테인 DC 퍼시스턴트 메모리’를 활용한 고성능 시스템을 기업들이 채택하는 경우가 늘면서 최근 데이터센터 업계에 새로운 바람을 불러일으키고 있다.


비용효율적 장점으로 시장 공략

‘옵테인 DC 퍼시스턴트 메모리’는 기존 메모리(DIMM) 슬롯에 장착 가능한 형태로 출시됐으며, 실질적으로 크게 ‘메모리 모드’와 ‘앱 다이렉트 모드’ 두 가지 형태로 동작할 수 있다.

‘메모리 모드’로 동작하는 ‘옵테인 DC 퍼시스턴트 메모리’는 D램만큼 응답속도가 빠르지는 않지만, D램에 필적하는 속도를 내면서 같은 값에 훨씬 대용량으로 하이브리드 메모리를 구성할 수 있다. 이때 컴퓨터는 우선 D램에서 필요한 데이터를 찾고, 다음으로 캐시 역할을 하고 있는 ‘옵테인 DC 퍼시스턴트 메모리’를 탐색한다. 이 경우 ‘옵테인 DC 퍼시스턴트 메모리’는 대용량 메모리가 필요한 영역, 즉 가상머신(VM) 운영 등의 경우에 보다 비용효율적으로 메모리 자원을 활용할 수 있다는 특징을 갖는다. 반면 ‘앱 다이렉트 모드’에서는 ‘옵테인 DC 퍼시스턴트 메모리’가 일반 SSD보다 빠른 고성능 SSD의 역할을 하게 된다.

‘옵테인 DC 퍼시스턴트 메모리 200 시리즈’
‘옵테인 DC 퍼시스턴트 메모리 200 시리즈’

실제로 인텔은 ‘버추얼 인스티튜트 포 I/O(Virtual Institute for I/O)’ 성능 조사에서 ‘옵테인 DC 퍼시스턴트 메모리’를 탑재한 서버가 뛰어난 가성비를 자랑했다고 강조했다. 실제로 단 수십 대의 서버 노드만으로 수백, 수천 개 노드로 구성된 슈퍼컴퓨터보다 뛰어난 DAOS 솔루션 I/O 성능을 내면서 관련 업계의 관심을 집중시켰다.

오라클의 엑사데이터 클라우드 서비스 X8M도 D램에 옵테인 메모리를 더한 조합을 사용하면 한층 성능 개선이 가능하다고 소개됐다. RDMA(Remote Direct Memory Access)를 사용해 더욱 효과적이다. 올해 들어서는 최신 ‘오라클 데이터베이스 21c’도 옵테인 기술을 채택했다고 발표했다. 오라클은 X8M의 경우 옵테인 채택을 통해 2.5배 많은 I/O를 처리하고 지연시간은 1/10로 줄였다고 설명하고 있다. 올플래시 스토리지 기반의 관계형 데이터베이스 서비스와 비교하면 50배 이상 빠른 성능을 낸다고 한다.

인텔은 ‘옵테인 DC 퍼시스턴트 메모리’를 탑재한 수십 대의 서버만으로 슈퍼컴퓨터 이상의 DAOS 파일시스템 성능을 냈다.
인텔은 ‘옵테인 DC 퍼시스턴트 메모리’를 탑재한 수십 대의 서버만으로 슈퍼컴퓨터 이상의 DAOS 파일시스템 성능을 냈다.

국내에서 기업들이 실제로 도입해 활용하는 사례 역시 속속 등장하고 있다. NHN은 지난해 말 서비스형 데스크톱(DaaS) 시장에 뛰어들면서 인텔의 ‘옵테인 DC 퍼시스턴트 메모리’를 채택했다는 점을 강조했다.

인텔에 따르면 NHN의 가상데스크톱인프라(VDI) 환경에서 ‘옵테인 DC 퍼시스턴트 메모리’를 채택했을 때, D램만으로 시스템을 구성했을 때 비해 성능 저하 없이 같은 비용으로 최대 서비스 가능한 인원은 87% 늘리면서, 비용은 16% 줄일 수 있었다고 한다. 뿐만 아니라 SK텔레콤도 ‘옵테인 DC 퍼시스턴트 메모리’를 D램과 함께 활용해 2배 많은 VM을 운영할 수 있었다고 밝혔다. 또한 SAP HANA와 같은 워크로드도 ‘옵테인 DC 퍼시스턴트 메모리’를 활용하면 2.5배 이상 빠른 속도와 67%의 노드 절감, 60%의 비용 절감을 거둔 것으로 나타났다.

SAP HANA에서도 DDR4 램과 ‘옵테인 DC 퍼시스턴트 메모리’를 함께 사용했을 때 성능과 비용 측면에서 큰 효과를 낼 수 있는 것으로 나타났다.
SAP HANA에서도 DDR4 램과 ‘옵테인 DC 퍼시스턴트 메모리’를 함께 사용했을 때 성능과 비용 측면에서 큰 효과를 낼 수 있는 것으로 나타났다.

‘앱 다이렉트 모드’에서는 옵테인 DC 퍼시스턴트 메모리를 사용해 검색 엔진의 성능을 높이는 데 성과를 거둔 것으로 알려졌다. 중국 바이두는 대규모 동시 접속 환경에서 단일 서버 D램 사용량을 절반으로 줄이면서도 동시에 검색 결과에 대한 응답 시간을 높일 수 있었다는 결과를 발표했다. 바이두에 따르면 자사가 개발한 검색 엔진의 평균 쿼리 대기 시간을 20% 이상 줄일 수 있었다고 한다.


콤텍시스템, 옵테인 활용한 ‘베스트 데이터’ AI 전용 스토리지 국내 공급

향후 국내에도 옵테인을 활용한 솔루션이 빠르게 확산할 것으로 전망된다. 다소 생소하고 어려워 보이는 옵테인을 보다 잘 활용할 수 있도록 돕는 솔루션들이 속속 들어오고 있기 때문이다.

아이티센그룹 계열사 콤텍시스템은 지난해 9월 말 혁신 IT 기술로 글로벌 시장에서 빠르게 성장하고 있는 AI 스토리지 전문 글로벌 기업 ‘베스트 데이터(VAST Data)’의 AI 전용 스토리지를 한국 시장에 독점적으로 공급하는 계약을 체결했다고 발표하고 올해 사업을 확대해나가고 있다.

베스트 데이터는 뉴욕에 본사를 둔 AI와 빅데이터 특화 스토리지 전문 회사로, 첫 제품 출시 후 17개월 만에 유니콘 기업으로 선정됐다. 회사의 유니버셜 스토리지는 페타바이트(Petabyte)급 데이터를 초고속으로 처리할 수 있도록 디자인됐으며, 인텔의 옵테인 및 엔비디아 GPU 등 AI관련 최신 기술과 바스트 데이터의 차별화된 소프트웨어 알고리즘을 적용, AI/빅데이터 사업을 추진 중인 등 글로벌 유수의 대형 고객사에 공급 중이다.

특히 베스트 데이터의 스토리지는 인텔의 옵테인 기술을 적용, AI 분석을 위해 대량의 데이터를 적재하는 작업 시간을 획기적으로 단축시켜 AI 전체적인 작업을 효율화한다. 또한 전용 파일시스템을 통해 최대 엑사바이트(EB)급 확장은 물론, 추가 비용 없이 중복 데이터 제거/압축 기능 등을 제공해 스토리지 공간 활용성도 극대화할 수 있다.

콤텍시스템은 베스트 데이터의 스토리지를 기반으로 최근 디지털 뉴딜로 국내 대형 클라우드 사업자 및 지자체들이 추진 중인 AI 데이터센터 시장에 적극적으로 진출할 계획이다.

저작권자 © 컴퓨터월드 무단전재 및 재배포 금지