미래 컴퓨팅에 관한 썬의 비전 ‘레드 시프트’ 이론에 대한 해법으로 재 등장해 주목

썬 마이크로시스템즈에서 10년 가까이 최고기술책임자(CTO)로 재직하고 있는 그렉 파파도풀로스는 고성능 컴퓨터를 구축하고 판매하는 최상의 방법에 대해 고심해왔으며 최근에는 회사의 '슬럼프'를 타개할 방안 마련에 몰두하고 있다.

올해 초, 썬 고객 및 다른 회사의 CIO들과 많은 대화를 나눈 뒤에 파파도풀로스는 기업들의 엘리트 그룹이 IT 인프라의 상당 부분을 소비하고 있으며 이들의 요구 사항은 폭발적으로 증가할 것이라는 '통찰력'을 갖게 되었다고 밝혔다.

파파도풀로스가 주장하고 있는 이러한 추세는 IT에서 가장 '탐욕스러운' 소비자들 뿐만 아니라 컴퓨팅 업계 자체의 구조를 지칭한 것이다. 물론 썬에게도 마찬가지이다.

파파도풀로스는 이러한 이론을 '레드 시프트(Red Shift)'라 부르고 있다. 우리 말로는 적색이동 또는 적색편이(赤色偏移)라고 해석되는 레드 시프트는 천문학에서 사용되는 용어로, 빛의 파장이 길수록 적색에 가까워진다는 것으로, 관측자에게서 멀어지는 물체에게서 특징적으로 나타나는 현상이다. 도플러 효과에 의해 빛의 파장이 길어지는 현상을 지칭하며 우주가 팽창하고 있다는 사실을 증명하기 위해 에드윈 허블이 이 이론을 활용했다.

컴퓨팅 수요가 무어의 법칙을 능가할 정도로 급격히 확장하는 것
IT에서는 파파도풀로스가 이 용어를 사용해 구글과 유튜브(YouTube), 마이스페이스(MySpace), 세일즈포스닷컴 등과 같은 웹 기업들뿐만 아니라 제약과 금융, 전력 등 전통적인 기업들의 데이터 프로세싱 요구 사항에 대한 컴퓨팅 수요가 무어의 법칙을 능가할 정도로 급격히 확장되고 있다는 주장의 근거로 활용하고 있다.

기업들이 사용하는 CPU의 주기가 어느 정도인지에만 국한된 것이 아니다. 파파도풀로스는 레드 시프트 기업들이 향후 엄청난 비즈니스의 성장을 이룰 수 있을 것이라 주장하고 있다. 그는 프로세스가 폭발적이지 않은 블루 시프트 기업의 경우 GDP와 동일한 수준의 성장률을 기록할 것이라고 언급했다.

레드 시프트의 재정립

• 레드 시프트는 컴퓨팅 파워의 수요가 급격히 늘어나고 있는 기업에 대한 용어이다.
• 레드 시프트 기업의 경우 유튜브나 마이스페이스 등 웹 2.0 업체를 비롯해 금융, 에너지, 제약 업체 등에 적용될 수 있다.
• 썬의 그렉 파파도풀로스 CTO는 이러한 기업들이 사용자와 매출 면에서 높은 수준의 성장률을 기록할 것이지만 블루 시프트 업체는 GDP 성장률에 따라 좌우될 것으로 주장한다.
• 기업이 보유하고 있는 데이터 센터의 전력 및 냉방 비용과 더불어, 레드 시프트가 유틸리티 컴퓨팅 및 관련 소프트웨어의 성장을 주도할 것이다.





이 이론에 반대의 목소리도 많다. 또한 모순도 있다. 레드 시프트 기업들의 경우 자사의 인프라를 대폭 확장해야만 성장률을 달성할 수 있는데 이는 결코 쉬운 문제가 아니다. 이에 대해 파파도풀로스는 당연히 썬 중심적으로 답하고 있다. 저렴하고 위험이 낮은 유틸리티 컴퓨팅 즉, 대부분 빅 아이언(big iron; 메인프레임을 지칭) 서버로의 이동이 무어의 법칙이 가진 고유의 한계를 극복할 수 있다는 것이다.

레드 시프트 이론은 확실히 기술 경제적인 관점이며 다소 과장되어 있다. MIT 교수 출신인 그와 대화를 나누다 보면 자신의 논제에 대해 장황하고 스스로 만족하면서 설명하는 현학자 기질을 엿볼 수 있다.

물론 그의 주장을 뒷받침할 만한 명백한 근거도 있다. 아마존 S3라는 온 디맨드 스토리지 서비스를 보유하고 있는 아마존닷컴과 유틸리티 컴퓨팅 서비스에서 분기별 매출 성장이 100%에 달하는 3tera 등 클라우드-컴퓨팅(cloud-computing) 플랫폼 제공 업체의 높은 성장률이 그 증거에 해당한다. RBC Capital Markets의 최근 보고서에 따르면, 가입 형태의 서비스로서의 소프트웨어(SaaS)를 판매하는 비즈니스 역시 폭발적으로 성장해 연평균 43%를 기록할 것으로 예상된다.

이와 동시에, 전통적인 데이터 센터에서의 서버 랙에 대한 전력 요금과 냉방비, 유지 보수 비용이 증가하고 있는 기업들은 IT 리소스를 분석해 대안을 찾고 있다. 파파도풀로스는 이러한 이동을 설명하기 위해 "차라리 에너지 배관에 직접 연결하도록 자체 발전기를 구축하는 것이 어떤가?"라는 에너지-유틸리티 은유법을 사용하고 있다.

유튜브 지향하는 기업들이 전형적인 사례
레드 시프트의 대표적인 사례는 트위터(Twitter)이다. 트위터는 사용자들이 짧은 메시지를 휴대폰이나 PC에서 웹으로 즉시 포스팅할 수 있게 해주는 사회적인 네트워킹 서비스이다. 트위터의 사용자 수는 현재 5만 명 이상으로 하루에 3만 건의 텔레그래픽 업데이트가 이루어지며 매 2~3주마다 두 배로 증가하고 있다는 것이 이 서비스를 2006년 7월에 출범한 Obvious Corp.측의 설명이다.

이러한 업체의 성장에 힘입어 동반 성장을 노리는 대표적인 기업은 기가복스 미디어(GigaVox Media)로, 포드캐스터(podcaster)와 비디오 블로거를 위한 인터넷 기반의 생산 및 배포 플랫폼을 제공하는 기업이다. 설립자인 덕 케이는 "모든 신생 업체들과 마찬가지로, 기가복스 미디어도 차기 유튜브가 되고 싶어 한다"면서 웃으며 말했다. 그렇다면 프로세스 요구 사항과는 어떤 관계가 있을까? 케이는 "잘 모르겠다"면서, "하지만 확장성은 높아야 한다는 것은 사실"이라고 말했다.

기가복스는 기업 운영을 위해 애플리케이션과 스토리지, 컴퓨팅 인프라를 취사 선택할 수 있는 아마존 웹 서비스를 선택했다. 레드 시프트 기업의 경우 아마존이나 구글처럼 슈퍼사이즈의 IT 인프라를 구축하는가 하면 기가복스처럼 주문형으로 도입하는 부류가 있다.

자체 구축과 주문형 서비스 이용 방식으로 해결
레드 시프트는 대기업들에게 훨씬 복잡한 상황에 휘말리게 한다. 파파도풀로스는 18개월 동안에 걸친 대화를 나눈 뒤에 이러한 현상을 이해하기 시작했다고 밝혔다.

그는 "이러한 갈등은 고객들로부터 직접 들은 것으로, 당시 처음에는 '데이터 센터 용량의 10~15%밖에 사용하지 않고 있어 불만'이라고 말했다"면서, "그 이후에는 '데이터 센터의 공간과 전력이 소진되고 있다. 성장 추세에 어떻게 대응해야 할지 난감하다'라는 말을 들었다. 인프라의 활용도는 낮지만 공간과 전력은 부족한 '풍요 속의 빈곤' 현상을 겪고 있는 것"이라고 말했다.

이에 대한 해답을 얻게 된 시기는 파파도풀로스가 컴퓨팅 수요를 진작시키는 애플리케이션이 두 가지 형태가 있음을 알게 되었을 때였다. 하나는 사용자의 요구 사항과 컴퓨팅 요구 사항에서 폭발적인 성장을 이끄는 새로운 웹 기반의 애플리케이션이며 다른 하나는 일반적으로 과거의 성장 추세가 적용되고 있는 백 엔드 시스템이다.

그는 "무어의 법칙과의 상관 관계를 볼 때, 애플리케이션이 무어의 법칙보다 빠르게 성장할 경우 확장성과 전력 소비량을 근본부터 다시 생각해야 한다. 무어의 법칙보다 느리게 성장할 경우 통합을 통해 기회를 엿보아야 한다"고 밝혔다.

인터넷 붐의 초창기에서조차 볼 수 없었던 성장 추세를 보이는 분야에 대해 특히 집중해볼 필요가 있다. 예를 들면, 거의 알려지지 않은 Yoomba라는 업체의 경우 사용자들이 VoIP 콜을 배치하고 인스턴트 메시지를 이메일 주소로 자동 발송할 수 있도록 해주는 P2P(peer-to-peer) 애플리케이션을 제공하는 업체로, 지난 8월에 한 달도 채 안되어 50만 명의 가입자를 확보했다고 발표했다.

"폭발적인 트랜잭션 증가율에 대처할 대안있어야"
웹 2.0 업체들의 IT 인프라를 팽창시키는 것은 사용자의 수만이 아니다. 시장 조사 업체인 ComScore는 5월 한달간 온라인으로 비디오 스트리밍을 시청한 미국인이 83억 명(누적)에 달해 미국에 사는 모든 남자와 여자, 아이들을 막론하고 하루에 한 편 이상 본 것으로 추정했다. 최대 공급 업체는 물론 유튜브였으며 한달에 17억 편의 비디오를 공급했다. 이러한 컨텐츠는 아무리 거대한 용량을 확보하고 있다 해도 스토리지와 네트워킹 시스템에 당연히 무리를 줄 수밖에 없다.

주류 업체들 역시 이러한 과부하에 어려움을 겪고 있다. 244,000명의 소비자와 소기업의 직원들을 대상으로 서비스를 제공하는 금융 기관인 AFCU(Arizona Federal Credit Union)은 일년에 약 25%의 부하가 증가하고 있다.

이 자체로는 무어의 법칙보다 높은 수치는 아니다(무어의 법칙에 따르면 칩의 트랜지스터 수는 매 2년마다 두 배씩 증가하며, 연평균으로는 약 42%에 해당된다). 하지만 신용 카드 사업부서의 경우 데이터 프로세스가 집중되어 카드당 트랜잭션 차원에서 '폭발적인 증가율'을 기록하고 있다고 CIO인 제임스 필립스가 밝혔다. 이러한 형태의 성장률에 대응해 전략을 마련하는 것이 필립스의 주요 업무이다.

필립스는 가상화 소프트웨어를 사용해 서버를 줄여 지난해 데이터 센터를 87개에서 61개로 축소했지만 이러한 통합도 향후 성장 추세를 감안하면 효과가 크지 않을 것이라 판단하고 있다. 필립스는 "데이터 센터를 계속해서 늘려나가겠지만 장기적으로 보면 다른 대안이 절실히 필요하다"고 밝혔다.

그리드 컴퓨팅으로 대안 찾기도
트랜잭션이 훨씬 많은 경우는 어떻게 될까? 세계 최대 규모의 트랜잭션을 처리하는 비자(Visa)의 경우라면?

비자의 전체 트랜잭션은 매년 20% 증가하고 있어 레드 시프트 성장률에는 못 미치는 것처럼 보이지만 휴가 시즌에는 초당 6,800건의 트랜잭션이 발생하며 트랜잭션 자체도 복잡하다. 비자는 Visa Integrated Payments라는 트랜잭션 시스템의 근대화 및 업그레이드를 위해 연간 수백만 달러를 투자해왔다. 지난해 비자는 미국 중부에 데이터 센터를 개소했으며 올해 약 1조건의 트랜잭션을 처리할 것으로 예상된다.

컴퓨팅 수요에서의 이러한 급격한 증가는 비자의 실시간 트랜잭션 인증 시스템에서만 발생하는 것이 아니라 오픈 시스템에서도 기인한다고 비자의 IT 부서인 Inovant 부사장인 피터 시우리아가 밝혔다. 여기에는 비자 고객을 위해 웹 서비스의 형태로 매월 발행하는 트랜잭션 분석 보고서가 포함되어 있다.

시우리아는 이러한 시스템의 경우 다양한 프로세싱 모델로 데이터베이스 집약적인 워크로드가 투입된다고 설명했다. 또한 미국의 주요 데이터 베이스 두 곳을 서버 가상화로 전환하고 있으며 내부에서 개발한 그리드 컴퓨팅 아키텍처도 도입하고 있다.

시우리아는 "스토리지 비용이 실제 프로세싱 비용보다 훨씬 빠르게 증가하고 있다"면서, "프로세싱 파워에 대한 투자를 높일 수밖에 없으며 이에 대응하기 위해 그리드 모델로의 전환을 추진하고 있다"고 밝혔다.

세일즈포스의 플랫폼 사업부 총괄 부사장인 스티브 피셔는 "트랜잭션의 경우 3년전 분기당 약 5억 건이었지만 올해에는 분기당 54억 건으로 증가했다"고 언급했다.

처방전: 유틸리티 컴퓨팅으로 돌아가 '공유하기'
레드 시프트 자체는 현상을 진단한 것일 뿐이다. 파파도풀로스가 내놓은 '처방전'은 유틸리티 컴퓨팅으로 돌아가 인프라를 공유하는 것이다.

유틸리티 컴퓨팅은 IBM 메임프레임 이후 제기되어왔던 것이다. 급증하는 데이터를 처리해야 하는 기업들의 요구 사항의 증가뿐만 아니라 고속 네트워크의 보편화 추세와 고밀도, 고성능, 고도로 확장 가능한 서버와 스토리지 시스템의 확산, 유틸리티 컴퓨팅의 활용도를 높여주는 소프트웨어 등 기술적인 진보에 힘입어 유틸리티 컴퓨팅이 또 다시 주목을 받고 있는 것이다.

현재 기업이 보유한 대규모 컴퓨팅 로드를 인터넷으로 전환하고 있는 곳은 썬만이 아니다.

IBM과 HP 등 거대 컴퓨터 업체들도 유틸리티 컴퓨팅의 형태를 제공하고 있다. 기업들에게 서비스 형태의 컴퓨팅 환경을 제공하기 위해 대규모 데이터 센터를 건립하고 있는 구글과 아마존 웹 서비스 사업의 일부로 Elastic Compute Cloud(EC2)를 선보인 아마존 역시 비슷한 노선을 채택하고 있다.

아마존의 범용 컴퓨팅을 위한 온디맨드 모델은 한 시간에 CPU당 10센트에 불과해 일반적으로 기업 내부에서 운용하는 서버 비용을 크게 절감할 수 있다. 썬은 한 시간에 CPU당 1달러를 부과하고 있는데, 썬측은 고객이 클라우드 인프라에 가입하는 총 시간이 아닌 실제 프로세스 시간만을 측정하기 때문에 저렴한 편이라고 밝혔다.

한편 유틸리티 컴퓨팅에 대한 회의적인 시각도 존재한다. 델의 노로드는 "유틸리티 컴퓨팅에 대한 개념이 높아지고 있음은 부인할 수 없는 사실"이라고 전제하면서, "하지만 일부에서는 1950년대로 돌아가 전세계에 7대의 컴퓨터만 남겨두고 모든 것을 아웃소싱한다는 우려의 목소리도 높아지고 있다"고 전했다.

AFCU의 필립스는 "유틸리티 컴퓨팅의 경제학과 기업의 요구 사항 제어 사이의 밸런스가 존재한다"면서, "CIO들은 관리 및 변경해야 할 것들을 신속히 통제하길 바라고 있지만 쉽지 않다"고 밝혔다. 그럼에도 불구하고, 필립스는 유틸리티 컴퓨팅에 대해 "미래의 파도임에는 분명하며 유틸리티 컴퓨팅을 구현하기 위한 애플리케이션도 지속적으로 늘어나게 될 것"이라고 밝혔다.

여기에 두 가지 의문이 제기된다. 하나는 유틸리티 컴퓨팅이 어느 정도나 전통적인 데이터 센터를 대체할 것인가이며, 나머지 하나는 썬 마이크로시스템즈의 미래 전략과 관계가 높은 것으로, 거대한 서비스 지향적인 데이터 센터가 어떤 모습으로 변화해나갈 것인가이다.

블랙박스 컴퓨팅
올해 여름에, 스탠포드 대학(Stanford University)에 위치한 스탠포드 선형 가속기센터(Stanford Linear Accelerator Center)의 Building 50에 한 트럭이 멈춰 서더니 새까만 컨테이너를 내려놓았다. 조립식이며, 냉방 시스템이 탑재된 252대의 썬 서버로 채워진 이 장비는 썬의 소위 '블랙박스(Blackbox)'였다.

이 장비는 빛과 가까운 속도로 충돌하는 아원자입자의 효과를 분석하는 물리학자들을 위한 데이터 정제에 사용될 예정이다. 컨테이너 형태의 데이터 센터는 이 연구소에게 새로운 데이터 센터를 건립하지 않고도 컴퓨팅 파워를 3분의 1이상 높여줄 수 있을 것으로 기대된다.

대용량의 컴퓨팅 요구 사항에 직면해 있지만 인터넷으로 모든 인프라를 이동시킬 준비가 되어 있지는 않은 고객들을 위해 개발된 블랙박스는 레드 시프트 전략의 전형에 해당된다.

파파도풀로스는 향후에는 수많은 로우 엔드 기기를 구동하는 대형 서버 팜 형태인 '구글 모델' 형태가 블랙박스나 썬 블레이드 6000 서버를 연결한 고효율의 저전력 시스템인 썬의 Constellation과 같은 하이 엔드의 고밀도 장비에 그 자리를 넘겨주게 될 것이라고 전망했다. 기후 예측과 같은 복잡한 애플리케이션을 구동하도록 개발된 Constellation은 텍사스 대학(University of Texas)의 TACC(Texas Advanced Computing Center)에 도입될 예정이다.

썬이 시장의 주도권을 잡을 지의 여부는 아직 확실치 않다. Strategic News Service 뉴스레터 저자인 마크 앤더슨은 "썬이 지배하게 될 가능성에 대해 예단하기엔 아직 이르다"면서, "하지만 오픈 시스템으로 가는 것은 확실하다"고 밝혔다.

본지는 미CMP의 InformationWeek와 라이선스 계약을 체결하고 있습니다.


저작권자 © 컴퓨터월드 무단전재 및 재배포 금지