[컴퓨터월드] 굿모닝아이텍(대표 이주찬)이 지난달 18일, 4차 산업혁명의 핵심 키워드인 인공지능(AI)의 기술 트렌드를 공유하는 ‘런앤다인(Learn&Dine) IT 트렌드 세미나’를 개최했다. 굿모닝아이텍은 최근 AI 및 머신러닝을 위한 플랫폼 솔루션 공급에 나서고 있으며, AI 구현을 위한 SW·HW 인프라의 중요성을 강조하고 이를 지원하기 위한 다양한 제품들을 갖춰나가고 있다.

이날 세미나에는 엔비디아, 시스코, 퓨어스토리지, 클라우데라 등 굿모닝아이텍의 협력사들이 주요 연사로 참석해, 금융·제조·통신 등 다양한 산업군의 CIO 및 IT 책임자들을 대상으로 AI와 머신러닝, 딥러닝 등에 대한 인사이트를 공유했다.

AI에 준비된 인프라 ‘에이리’

홍준혁 시스템엔지니어는 먼저 AI에는 데이터와 로직, 알고리즘 등이 모두 중요하지만, 가장 중요한 것은 데이터가 활용될 수 있는 인프라라고 강조했다. 머신러닝, 딥러닝이라고 하면 대부분의 초점이 로직과 알고리즘에 맞춰지지만, 프로그래머나 개발자가 관여하는 영역은 HW 인프라에 비하면 지극히 적은 부분이라는 설명이다. 다만 인프라 구축에 과도하게 집중하는 것은 지양해야 하며, 인프라가 비즈니스의 도구라는 것을 인지하고 적절한 비중을 유지해야 한다.

에이리는 GPU 기반의 서버와 이를 활용할 수 있는 데이터, 이들을 연결하는 네트워크 등 AI 환경을 고려한 세 가지 스택으로 구성된 통합 인프라스트럭처다. 엔비디아의 ‘DGX’ 시스템과 퓨어스토리지의 ‘플래시블레이드(FlashBlade)’를 결합해 인프라 구축에 요구되는 불필요한 노력을 줄일 수 있다. DGX 한 대로 구성하는 것은 물론, 여러 대로 구성하는 멀티 환경도 빠르게 구축하고 활용할 수 있도록 스케일링 툴킷을 제공한다.

홍준혁 시스템엔지니어는 “AI를 위한 환경에서 모든 것이 GPU에서 돌아가는 것은 아니다. 데이터를 받아 라벨링도 해야하고, 원하는 포맷으로 변환도 해야 한다”며, “플래시플레이드는 GPU를 위한 고성능 스토리지를 제공하는 것은 물론, 데이터를 수집하고 전처리하고 GPU의 연산 결과에 따른 모델을 관리하는 등 전체 데이터 파이프라인을 지원할 수 있다”고 말했다.

머신러닝·딥러닝 등을 포함해 빅데이터를 다루는 과정에서 가장 많은 역량이 투입되는 것은 데이터를 적절한 형태로 가공하는 정제 및 변환이다. 또한 알고리즘이 적절한 지를 검증하고 학습시키는 것 역시 많은 시간과 자원을 필요로 한다. 이러한 관점에서 본다면 데이터를 수집·저장하고 분석·활용하는 시스템이 일원화돼 있다면 기업은 훨씬 유연하게 자사의 데이터 프로세스를 파악할 수 있을 것이다.

하지만 대부분의 기업은 두 개의 시스템이 분리된 채로 운영되고 있다. 이는 데이터를 수집·저장하는 시스템은 미리 갖춰져 있었지만, 일반적인 빅데이터 분석을 넘어 AI나 머신러닝을 활용한 고도화된 분석 시스템은 최근에야 도입되기 시작했기 때문이다. 최근 데이터 프로세스에 AI나 머신러닝을 도입하고자 하는 기업들은 이와 같은 문제를 고민하고 있다.

기업은 데이터 센터 안에서 일어나고 있는 일들을 통합적인 시각에서 파악함으로써 가장 효율적인 프로세스를 도출하고 새로운 연결을 통한 가치를 찾아낼 수 있다. 또한 전체 처리 프로세스 내에서 일반적이지 않은 플로우를 찾고 발빠르게 대처할 수 있다. 김형수 수석은 이에 대해 “기업은 AI·머신러닝·딥러닝 인프라를 도입하기 전에, 자사의 데이터 처리 프로세스·파이프라인을 잘 살피고 가장 적합한 모델을 도출해야 한다”고 조언했다.

AI나 머신러닝, 딥러닝 등 최근 각광받고 있는 4차 산업혁명의 화두들이 지금과 같이 성공하기 위해서는 필요한 요소들이 있었다. 빠른 네트워크, 충분한 양과 질을 갖춘 빅데이터, 이들을 품을 수 있는 클라우드 환경 등. 이러한 요소들이 폭발적인 시너지를 발휘해 IT에 혁신적인 변화를 일으킨 것을 엔비디아에서는 퍼펙트 스톰(Perfect Storm)으로 정의하고 있다. 그리고 여기서 결코 빠질 수 없는 것이 기존에 비해 훨씬 빠른 연산을 가능하게 만드는 HW의 성능이다.

CPU의 성능이 18개월마다 두 배씩 향상된다는 무어의 법칙은 이미 깨진 지 오래다. 이제 CPU의 성능 향상은 한계에 이르렀으며, 18개월에 1.1배 정도의 성능 향상만이 일어나고 있다. 하지만 GPU를 연산에 활용한다면 CPU만으로는 달성하기 어려운 획기적인 성능 향상을 경험할 수 있으며, 데이터센터에 자리잡고 있는 수많은 HW랙을 하나로 압축하는 것도 가능하다.

DGX는 GPU 활용에 최적화된 어플라이언스 환경을 갖춘 시스템이다. 이는 엔비디아가 직접 서버를 제작해 HP나 IBM과 경쟁하겠다는 것이 아니라, 시장에 새로운 가능성을 제시하고 이것이 가능하다는 것을 입증하는 컨셉 제시에 가깝다. DGX-1의 성공에 힘입어 현재 엔비디아는 DGX-2 출시를 준비중에 있으며, 이를 통해 시장에 새로운 가치를 제공하고 성장을 견인하겠다는 계획이다.

AI 트렌드가 산업계를 가리지 않고 화두가 되고 있는 이유는 데이터로부터 가치를 도출할 수 있는 효과적인 방법이기 때문이다. 즉 AI를 도입하고자 하는 기업은 유용한 데이터를 효율적으로 축적하고 정확한 인사이트를 얻어낼 수 있는 프로세스를 갖춰야 한다. 흔히 데이터 사이언스에서 가장 중요한 것은 정확도라고 하지만, 정확도 높은 결과 역시 잘 정제된 데이터에서 얻어질 수 있다는 점을 고려한다면 가장 기본은 데이터를 어떻게 수집하고 관리하는지가 될 것이다.

클라우데라는 하나의 플랫폼 내에서 데이터를 수집, 정제, 저장하고 분석까지 할 수 있는 환경을 제공한다. 또한 CDSW(Cloudera Data Science Workbench)는 기업의 머신러닝 라이프사이클 전체를 통합적으로 관리할 수 있도록 지원하며, 사용자는 각자의 격리된 프로젝트 공간에서 하둡 인프라를 효과적으로 활용해 데이터 사이언스를 수행할 수 있다.

노동식 이사는 “데이터가 만들어지는 곳도 많고, 이를 활용할 수 있는 오픈소스도 다양하다. 하지만 이러한 데이터 소스와 도구에 접근하는 것은 쉽지 않다”며, “데이터 사이언티스트와 IT가 바라보는 관점이 다르기에 수많은 이슈들이 발생하며, 기업은 이들의 밸런스를 적절히 조율하고 효과적인 프로세스를 갖추기 위해 노력해야 한다”고 강조했다.