모자이크, 웹 발전의 견인차 역할, 단순함의 매력 ‘핫메일’....

역사상 가장 위대한 웹 소프트웨어를 선정하는 문제는 웹의 역사 자체가 일천하기 때문에 쉽지 않다. 또한 논란의 여지가 많을 수 있다. 1993년 모자이크(Mosaic) 브라우저가 월드 와이드 웹(World Wide Web)에 처음 등장하면서 근대의 인터넷 시대가 개화되었기 때문에 통틀어 15년도 채 안 되는 걸음마 단계에 불과하다. 이러한 웹의 역사에서 최고를 가려내는 것은 아직 철모르는 아이들 속에서 누가 위대한 시인이 되고 누가 위대한 과학자가 되며 누가 최고의 음악가가 될 것인지를 판단해내는 것과 같다.

모자이크, 웹 발전의 견인차 역할

따라서 웹 자체에서 시작하는 것이 가장 안전할 것으로 판단된다. 1990년에 스위스에 위치한 유럽입자물리학 연구소(CERN)의 입자 가속기 사이트에 최초로 도입된 웹은 서버에 탑재된 소프트웨어 프로그램이었다. 당시 CERN에 근무하던 팀 버너스-리(Tim Berners-Lee)는 모든 인터넷 서버에 자신의 소프트웨어를 탑재하면서 웹의 전세계 보급을 촉발시켰다. 이후 스펙과 상호 운용성의 확립으로 현재의 웹이 탄생하게 된 것이다.

버너스-리는 서버와 클라이언트의 관계를 극도로 단순화해 광범위한 정보 공유를 가능하게 하는 간단한 표준을 제안했다. 하지만 웹이 1991년에 등장했을 때에는 클라이언트와 서버의 관계가 '평등'해지지 못했으며 IBM 메인프레임 구조에서 크게 벗어나지 못하는 양상을 보였다. 사용자와 인터넷 서버간의 상호 작용이 원활하게 이루어지지 못한 것이다.

따라서, 인터넷 컴퓨팅 시대로 나아가기 전에 잠시 숨을 고르는 시기를 거쳐야만 했다. 어떤 사용자 환경도 서버의 요구에 반영되지 않았으며 여러 제약 요인으로 인해 정교한 컴퓨팅 환경을 구축하는데 장애 요인이 되었다. 하지만 웹의 한계를 뛰어넘어 간단하고 저렴하며 먼 거리까지 도달할 수 있는 고유한 장점을 갖춘 소프트웨어가 등장하게 되었다. 이러한 소프트웨어의 등장으로 웹이 본격적인 성장 토대를 마련하게 되었으며 웹의 활용도가 급격히 늘어날 수 있는 밑거름이 되었다.

위대한 웹 소프트웨어를 꼽는데 있어 모자이크를 빼놓고서는 논의할 수 없을 것이다. 모자이크는 1993년 웹 사용자를 수백만 명으로 늘릴 만큼의 새로운 유틸리티를 제공하면서 시장을 강타했다.

단순함의 매력 '핫메일'

다음에 논의할 대상은 핫메일이다. 펄(Perl)과 C를 조합해 개발된 핫메일은 정교한 소프트웨어는 아니었다. 사실 웹에 처음 모습을 드러낸 이메일은 다소 조잡한 수준이었다. 센드메일(Sendmail Inc.)의 CSO(Chief Science Officer)이자 오픈 소스 코드 센드메일의 저자이기도 한 에릭 올맨은 "핫메일에 대해 처음 들었을 때에는 매우 가치가 없는 아이디어라고 생각했다"고 말했다.

당시 핫메일은 스팸 필터링 기능이나 이메일 계정의 이름 변경 기능 등이 전혀 없어 회사에서 사용하고 있는 이메일 시스템과는 거리가 멀었다. 하지만 핫메일 창업자인 사비어 바티아는 브라우저 윈도우를 사용해 무료로 이메일을 제공함으로써 웹 이메일 시스템의 토대를 마련했다.

핫메일은 위대한 웹 소프트웨어로 선정되는데 있어 한가지 확실한 특징을 갖고 있다. 올맨은 "사용자 인터페이스가 극도로 간단했다"고 말했다. 핫메일은 유도라(Eudora) 이메일 클라이언트와 달리, POP 서버의 TCP/IP 주소를 입력하거나 다른 후프(hoop)를 거칠 필요가 없었다. 핫메일은 단숨에 수백만 명의 가입자를 확보하게 되었다. 핫메일이 개발된 지 7개월 만에, 바티아는 마이크로소프트에게 4억 달러가 넘는 금액에 팔아 넘겼다.

같은 맥락에서, 아메리카 온라인(AOL)은 새로운 커뮤니케이션 방법인 인스턴트 메신저(Instant Messenger)라는 무료 서비스를 출범시켰다. 그 전에, 인스턴트 메시징은 네트워크로 연결된 유닉스 서버의 프로그래머들이 프로젝트의 진행 상황을 알리기 위한 방법으로 사용되던 것으로, 이후 코모도어(Commodore) 64와 128 PC용 온라인 서비스인 퀀텀 링크(Quantum Link)가 온라인 메시지(Online Messages)라 불린 네트워크 서비스를 제공했다. 퀀텀 링크는 AOL이 되었고 OLM은 IM이 되어 웹의 역사에 기록되었다.

사용자들이 컨텐츠 업로드한 최초의 사이트

단순함은 위대한 웹 소프트웨어의 '순증 마크'이다. 온라인 광고 시스템인 크레익스리스트(Craigslist; 온라인 벼룩시장)를 구축하는데 있어 펄(Perl) 코드는 10만 줄 내외의 낮은 수준의 코드로 이루어져있다.

필자가 1989년식 도요타 캠리(Camry) 자동차를 판매하려 했을 때 그레익스리스트에 대해서 아는 바가 거의 없었지만 누구의 승인을 받지 않고도 메모를 쉽게 삽입할 수 있도록 구성되어 있다는 것을 발견할 수 있었다. 상당수 판매자들이 자신들이 팔고자 하는 차량에 대한 사진에다가 광고를 덧붙일 수 있는 형태였다. 필자는 이웃에 사는 알폰소가 자신의 페라리 승용차를 차고에서 갖고 나오기를 기다렸다가 나의 낡은 캠리를 옆에다 세워두고 사진을 찍은 다음 그날 밤 늦게 사이트에 올렸다. 페라리는 물론 훌륭한 '조연' 역할을 했다. 그날 밤 컴퓨터를 닫기도 전에 전화가 울린 것이다.

크레익스리스트는 간단한 텍스트 헤드만으로 표현되기 때문에 신문 섹션 광고보다 명료성이 떨어진다. 하지만 항목별로 분류되어 있어 웹에 대해 알지 못하는 사람들도 사용이 가능하다. 크레익스리스트는 수천명의 사용자들이 자신의 컨텐츠를 업로드한 최초의 사이트 중의 하나이다.

이 사이트는 사람들을 모이게 하는 '끈끈함'이 있다. 아마존닷컴이 소유하고 있는 트래픽 측정 업체인 알렉사 웹 인포메이션 서비스(Alexa Web Information Service)에 따르면, 크레익스사이트의 방문객들은 평균 20페이지를 검색하는 것으로 나타났다. 크레익스사이트는 매달 2천만 건의 신규 광고를 유치하고 있으며 6천만 개에 이르는 토론 포럼이 포스팅되고 있다. 알렉사는 웹에서 가장 인기가 높은 사이트로 www.craigslist.org를 40위에 선정했다. 설립자인 크레이그 뉴마크는 크레익스리스트 디자인에 대해 "단순함에 초점을 맞춰 최대한 간단한 형태로 설계했다"고 밝혔다.

구인 광고의 경우 트래픽의 양이 급증하기 때문에 로스앤젤레스와 샌프란시스코의 고용주 및 고용 관계자들과 스팸을 차단하기 위한 명목으로 수수료를 부과하는 것을 골자로 한 협상에 들어간 크레이그는 샌프란시스코의 고용이나 구인을 원하는 고용주들에게 75달러를 부과했으며 LA 및 기타 지역에는 25달러를 부과했다. 동일한 이유를 근거로, 크레익스리스트는 뉴욕의 부동산 중개 업체에게는 10달러를 부과하고 있다.

일련의 착오와 크레이그의 의지와는 반대로, 이베이(eBay)가 크레익스리스트의 주식 25%를 소유하고 있다. 많은 거대 인터넷 업체들이 크레익스리스트에 '추파'를 던지고 있으며 인수 물망에 올려놓고 있다. 크리익스리스트는 450여 도시에서 광고를 게재하고 있으며 이 중 7군데에만 과금하고 있다. 대표적인 웹 업체인 이베이, 구글, 마이크로소프트와 야후 등도 항목별 광고 시스템을 시작했다. 하지만 여전히 크레익스리스트의 실적은 양호한 편이다. 연매출도 2,200만 달러에서 2,300만 달러를 올리고 있는 것으로 추산된다. 이는 직원 1인당 매출이 100만 달러에 이르는 것이다. 크레익스리스트의 비즈니스 모델은 경쟁 업체들이 제거하기엔 거의 불가능하다.

검색 엔진에서는 알타비스타가 최고

위대한 웹 소프트웨어가 트래픽 생성량에만 국한되는 것은 아니다. 위대한 웹 소프트웨어라면 혁신적이어야 하며 새로운 기능을 제공하고 새로운 서비스를 수백만 사용자들에게 구현해주어야 한다.

이러한 기준으로 볼 때 검색 분야에서 구글이 대표적인 혁신 업체로 간주되고 있다. 하지만 구글이 창조하지 않은 검색의 핵심적인 요인이 있는데, 전체 웹에서의 색인 수집과 병렬적인 형태에서의 액세스, 빠르게 반응하면서 결과를 보여주는 것 등이 이에 해당된다. 이러한 모든 요인들이 구글과 관련이 있지만 디지털 이큅먼트(Digital Equipment)의 알타비스타(AltaVista)가 그 시초라 할 수 있다. 물론 1995년 12월에 알타비스타가 등장했을 당시에도 익사이트(Excite), 인포시크(Infoseek), 라이코스 등 여러 검색 엔진이 있었다고 디지털의 팔로 앨토 연구소의 검색 선구자였던 루이스 모니어(현재는 구글의 연구원으로 재직중)가 회고했다. 초기 검색 시장에서 모든 검색 엔진들은 웹의 가장 큰 장벽인 크기(누구도 웹이 어느 정도 규모인지 알지 못했다)와 싸워야 했으며 색인이 완료될 때까지 그와 상응하는 웹 컨텐츠를 관련시키는 작업에 고군분투해야만 했다.

초기 검색 엔진들은 웹 크롤러(Web crawler)를 사용해 URL을 찾아가 헤더와 페이지의 헤드라인을 수집하고 중앙 서버에 정보를 조직화했다. 모니어는 크롤러가 사이트 쿼리를 완료한 뒤 반응하는데 몇 초간 기다려야 했다고 지적했다. 기껏해야 검색 엔진은 하루에 수천 개의 사이트에 있는 정보를 수집할 수 있었으며 12~14일이 지나면 수집된 정보는 '한물간' 정보가 되고 말았다. 페이지들은 하루가 다르게 바뀌었으며 크롤러들이 새로운 페이지들을 놓치는 경우가 많았다. 모니어는 "수많은 페이지로 인해 한계에 직면했다"고 말했다. 1995년 12월에 이르자, 디지털 이큅먼트의 연구원들은 웹이 수백만 페이지를 넘어서서 끝없이 확장하고 있다는 것을 알게 되었다.

모니어와 알타비스타 팀은 멀티스레드의(multithreaded) 웹 크롤러인 스쿠터(Scooter)로 해결해나갔다. 스쿠터는 64비트 운영체제가 보편화되기 전에 진보된 64비트 유닉스 서버에서 구동했으며 응답을 기다릴 필요 없이 사이트를 핑(ping)할 수 있어 보다 많은 사이트를 연결해 별도의 스레드로 콜 및 응답을 추적하는 방식이다. 다른 크롤러들의 경우 한번에 하나의 사이트만을 탐색하는데 비해 스쿠터는 수천개의 사이트를 한꺼번에 검색해 결과를 수집할 수 있었다. 또한 수쿠터는 상위 페이지만이 아니라 풀 페이지를 수집했다. 모니어는 알타비스타의 웹 사이트 페이지의 색인이 전체 웹을 커버한 최초의 검색 엔진이었다고 말했다.

스쿠터의 첫 탐색 결과 총 1,600만 페이지를 검색했는데, 이는 매우 놀라운 수치였다. 두 달 뒤 두 번째 시행에서는 2,500만 페이지가 검색되었다. 웹이 급격히 성장하고 있다는 것을 알타비스타가 입증한 것이다. 넷크래프트(Netcraft)의 4월 통계에 따르면 현재 웹에는 1억1,400만 사이트가 활동하고 있으며 각각 수십에서 수천 개의 페이지를 보유하고 있는 것으로 조사되었다.

1996년, 알타비스타의 대형 웹 색인은 디지털의 최신 알파(Alpha) 서버 20군데에 배포되었으며 클러스터에서 색인을 분류해 병렬적으로 검색을 진행했다. 하드웨어 업체인 디지털 이큅먼트는 알타비스타를 알파 하드웨어의 성능을 입증하는데 '나팔수'로 사용했다고 알파비스타 프로젝트를 진행한 디지털 리서치 그룹의 수장이었던 폴 코미어가 밝혔다. 코미어는 현재 레드 햇의 엔지니어링 총괄 부사장으로 재직하고 있다.

모니어는 크롤링과 색인을 가능한 한 최신으로 유지하는데 힘썼다고 말했다. 그는 "응답 시간을 1초 이하로 유지하도록 했다"고 회고하면서 1초가 넘어설 경우 서비스가 불충분하다고 여겨 사용자들이 엔진 사용을 중단하는 결과를 초래하기 때문이라는 판단에서였다고 전했다.

디지털 이큅먼트는 자사 소프트웨어의 '천재성'을 자각하지 못하는 과오를 저지르고 말았다. 알타비스타를 자회사로 분리하고 위상을 격하시켜 버린 것이다. 컴팩이 디지털을 인수하면서 컴팩에 인수된 알타비스타는 소프트웨어 자산의 활용 가치를 모르는 사람들로 인해 더욱 그 입지가 축소되었다.

알타비스타는 3년 동안 웹 발전 시기에서 '유성'과 같이 화려하게 등장했다가 사라져버렸다. 일상적인 사용자와 과학적인 사용자들에게 검색 툴로서 확고한 자리를 잡았으며 인터넷에 새로운 수백만 사용자들을 불러들인 알타비스타는 www.altavista.com라는 사이트로 명맥만을 유지하고 있을 뿐이다.

필자가 구글을 무시하는 것은 아니다. 구글은 페이지 순위를 매기는 시스템을 추가하고 광고 기반의 비즈니스 모델을 도입함으로써 알타비스타보다 우위에 서게 되었다. 페이지 순위는 확실히 혁신적인 웹 소프트웨어지만 구글의 페이지 순위 시스템은 지난해 선정한 위대한 소프트웨어 순위에서는 11위에 머물렀다.

XMLHttpRequest 객체, 웹 기능 향상에 기여

알타비스타만큼 잘 알려지진 않았지만 웹의 기능에 또 다른 향상 요인이 있다. 바로 XMLHttpRequest 객체이다.

XMLHttpRequest 객체는 마이크로소프트의 인터넷 익스플로러 5.0 브라우저의 하나로 1999년 3월에 처음 등장했다. XMLHttpRequest 이전의 브라우저 윈도우는 단순 단말기(dumb terminal) 윈도우와 같이 정적인 디스플레이였다. 서버가 HTML 페이지로 보내는 것처럼 보일 뿐이다. 수백만명의 사용자들이 인터넷 서버와 상호 작용할 경우 현재처럼 개별 사용자 요청에 맞춤화되어 있지 않고 동일한 여러 개의 페이지를 보여주는 방식이었다.

XMLHttpRequest는 이를 바꾸어놓았다. 액티브 X 컨트롤 형태로 데이터가 이동하는 브라우저와 서버 사이의 오픈 백그라운드 커뮤니케이션 채널을 제공했다. XMLHttpRequest 이전에는 사용자들이 서로 다른 데이터를 얻는 방법은 각각 다른 페이지를 요청하는 방법이 유일했다.

2001년 8월에 등장한 인터넷 익스플로러 6.0에서 XMLHttpRequest는 액티브 X 컨트롤 대신에 범용 API를 보다 쉽게 이용할 수 있게 되었다. 웹 표준을 따른 것으로, 브라우저 윈도우 내부의 프로그래밍을 위해 자바스크립트만을 사용했으며 HTTP 프로토콜을 통한 다이내믹 HTML이나 XML을 서버와 클라이언트 사이의 데이터 이동 수단으로 삼았다.

API를 활용하는 이러한 패턴은 개별 사용자들의 지도 데이터 요청에 응답할 수 있는 구글 맵스(Maps)의 토대가 되었다. 이러한 맞춤화는 마이야후(MyYahoo) 계정에도 활용되었다. 인터넷 익스플로러의 제품 매니저인 피트 르파주는 "이것이 웹 2.0의 비밀 소스"라고 밝혔다. 구글과 짐브라(Zimbra) 및 수많은 소규모 업체들은 마이크로소프트와 경쟁하기 위한 온라인 애플리케이션 구축을 위해 Request 객체를 앞다퉈 도입하고 있는데, 이것이 바로 에이잭스(Ajax)라고 알려진 인터넷 방식이다. 짐브라의 스콧 디젠은 "마이크로소프트가 XMLHttpRequest를 개발했다는 평가를 받지는 못할 것 같다"고 언급했다. 현재 월드 와이드 웹 컨소시엄이 표준화 승인을 위한 작업을 진행하고 있다.

이베이∙아마존, 전자상거래 확산

웹은 복잡한 것을 싫어하며 단순한 것을 좋아한다. 하지만 단순한 소프트웨어만이 채택되는 것은 아니며 복잡한 소프트웨어 프로그램으로 포장되어 있어도 개념이 단순하면 호응을 받을 수 있다.

한 예를 들어보자. 1995년 9월 3일, 컴퓨터 프로그래머인 피에르 오미디야르는 중고품의 온라인 매매 가능성을 알아보기 위해 옥션웹(AuctionWeb) 사이트를 구축했다. 이베이(eBay)의 모태가 된 이 사이트는 판매자와 구매자에게 엄청난 호응을 얻으며 일약 세계적인 인터넷 업체로 급부상했다. 이베이는 상품을 온라인으로 사고 팔 수 있게 해주는 위대한 소프트웨어일 뿐만 아니라 재고 관리나 디자인 툴 등 온라인 상품 관리용 툴 개발을 위한 써드 파티 소프트웨어 제조 업체들에게 확장된 API도 제공하게 되었다. 다른 써드 파티들도 구매자들이 이베이 리스트에 올라 있는 상품을 검색하도록 툴을 제공했다.

누구나 이베이의 경매에 참여할 수 있도록 한 것이 웹 커머스 성장에 강력한 추진력이 되었으며 이베이를 통해 일년에 20억 개의 아이템들이 유통되고 있으며 올해 72억 달러의 매출이 예상된다. 또 다른 사례는 아마존닷컴을 들 수 있다. 1995년에 출범한 아마존닷컴은 대규모 온라인 서점을 구축하고 쇼핑 카트와 결제 시스템을 도입해 e-커머스의 기능을 확장했다. 그런 다음에는 다른 유통 업체에게 e-커머스 시스템을 확대함으로써 전자 상거래의 활성화에 기여했다. 보더스(Borders)와 CDNow, 버진 메가(Virgin Mega) 등이 아마존의 e-커머스 시스템을 도입했으며 수많은 유통 업체들이 아마존의 e-커머스 API를 통해 링크를 걸어 놓았다. 아마존은 쇼핑을 웹 행위의 하나로 정립시켰다는 평가를 받고 있다.

친한 사람들을 중심으로 마케팅을 전개하는 동호 마케팅(affinity marketing)으로 알려진 아마존의 전략은 컴퓨터의 파워를 활용, 데이터베이스에 저장된 구매자의 정보를 통해 해당 상품을 구매하려는 사람들의 구매 의견을 공유할 수 있도록 함으로써 쇼핑하기 전에 선택의 폭을 넓혀준다. 이러한 마케팅 기법은 넷플릭스(Netflix)와 같은 다른 혁신적인 온라인 사업에도 영향을 미쳤다.

한 가지 주의할 점은, 이베이와 아마존 모두가 각각의 비즈니스 모델과 관련해 특허권 침해 소송에 연루되어 있다는 것이다. 다른 위대한 웹 소프트웨어의 경우 누가 개발했는지 명확하지 않은 경우가 많다.

가상 커뮤니티, '세컨드 라이프'로 진화 중

1993년, 모자이크가 월드 와이드 웹의 사용자 기반을 수백만 명으로 증가시키는 성과를 거두자, 하워드 라인골드는 스튜어트 브랜드와 함께 설립한 웰(Well; Whole Earth Lectronic Link)에서의 경험을 토대로 가상 커뮤니티(Virtual Community)라는 책을 발간했다. 1985년에 출범한 웰은 브랜드의 대항문화 잡지인 Whole Earth Catalog에서 따온 것이다.

웰은 캘리포니아주에 위치한 서버에서 호스팅되는 다이얼업 가상 커뮤니티 형태로 존재했다. 초기에는 게시판 형태로 운영되었으며 차츰 웹의 특성을 살려서 커뮤니티를 확대해 나갔다. 게시판과 토론 포럼 및 새로운 그룹을 온라인 커뮤니티에 합류시키는 방법 등 혁신적인 기능을 구현한 웰은 웹의 확장과 더불어 커뮤니티의 가시성도 확대되어 다양한 사회적인 소프트웨어 시스템을 사용해 새로운 환경으로 진화해나갔다.

마이크로소프트의 저명한 연구원인 짐 그레이가 지난 1월 샌프란시스코 해안에서 요트를 타고 가다 실종된 사건이 발생하자 위성 데이터를 제공 받아 추적하는 자발적인 커뮤니티가 전세계에서 마련되었다. 이 시도는 실패로 돌아갔지만 이러한 검색은 가상 커뮤니티인 웰이 없었다면 불가능했을 것이다.

가상 커뮤니티는 세컨드 라이프(Second Life)로 알려진 3차원 가상 세계로 진화하고 있다. 3D 가상 환경은 멀티플레이어 온라인 게임에서도 그 빛을 발하고 있다. 대표적인 사례는 블리자드 엔터테인먼트(Blizzard Entertainment)의 월드 오브 워크래프트(World Of Warcraft)이다. 2004년에 선보인 월드 오브 워크래프트는 850만 명의 가입자를 확보하고 있다.

필자가 꼽은 지금까지 가장 위대한 12개의 웹 소프트웨어를 알파벳 순서로 보면 다음과 같다: 알타비스타 검색 엔진, 아마존, AOL 인스턴트 메신저, 크레익스리스타, 이베이, 핫메일, XMLHttpRequest, 웰, 월드 오브 워크래프트. 나쁘진 않다. 하지만 아홉 개에 불과하다. 아직 3개가 더 남아있다.

'대중의 지혜'를 보여 준 위키피디아

네트워킹의 파워를 활용하며 많은 군중들이 자유롭게 이용할 수 있는 협업 지식 구축의 또 다른 형태는 위키(wiki)이다. 가장 잘 알려져 있으며 폭넓게 활용되고 있는 대표적인 위키는 위키피디아(Wikipedia)이다.

2001년 1월 15일에 출범한 위키피디아는 MySQL 오픈 소스 데이터베이스 시스템이 상단에 위치하며 URL의 재발송을 처리하고 수백만 명의 사용자들에게 확장될 수 있다. 위키피디아는 PHP로 작성되었으며 위키피디아를 위해 맞춤화된 미디어위키(MediaWiki)라는 오픈 소스 위키 구축 시스템에 포함되어 있는 컨텐츠 관리 기능을 사용한다. 알렉사에 따르면 위키피디아는 웹에서 37번째로 가장 인기가 높은 사이트이다.

위키피디아는 책임 논란에 휩싸여있다. USA Today의 존 시겐탤러는 존 F 케네디의 암살범 용의자로 지목되었다는 기사가 2005년에 사이트에 떴다. 사실이 아닌 것으로 판명되었으며 누군가가 장난으로 사이트에 띄운 것으로 드러났다. 나중에 수정되었지만 그러한 사이트 변경이 익명에 의해 이루어질 수 있다는 것이 논란이 되고 있다.

위키피디아는 기부자들에게 간단한 이력 사항을 제출하라고 요청하거나 필자에게 독자가 피드백을 쉽게 제공할 수 있도록 함으로써 이러한 문제를 해결해야 한다. 감시하는 눈이 많으면 즉, 대중의 눈을 통해 사이트의 투명성이 보장될 수 있다는 의견이다.

이러한 '대중의 지혜'는 뉴요커지 논술 위원인 제임스 서로위키가 2004년 펴낸 동명 서적이 베스트셀러에 오르면서 유명해졌다. 그는 소수의 전문가보다도 일반 대중의 지혜가 시장을 움직이는 원동력임을 주장한다. 대중의 지혜가 CEO나 비즈니스 리더와 같이 아주 뛰어난 사람들의 개별적인 능력을 항상 능가한다. 거대한 집단이 개인보다 항상 더 나은 결정을 하고, 더 나은 발상의 전환을 가져오며, 어려운 문제를 해결하고 미래를 예측하는 데도 뛰어나다는 주장이다. 이러한 측면에서 웹의 진화 즉, 웹 2.0으로의 이동이 당연한 결과라는 것이다.

디그(Digg)는 군중의 지혜를 자동으로 구현하는 방법이다. 회원들이 웹 서핑 중 추천할 만한 컨텐츠를 발견하면 해당 글을 Digg.com이라는 공개된 공간에 등록한다(Digg it 버튼을 클릭한다). 이 공개된 공간에 방문하는 사람들이 Digg it된 컨텐츠를 보고 그 중 자신의 맘에 드는 것을 또 다시 Digg it하면 Digg it 행위의 수에 따라 가장 인기가 높은 컨텐츠가 해당 페이지의 최상단에 배치된다.

케빈 로즈는 뉴스 지향적인 디그 사이트를 2006년 1월에 오픈했으며 두 달이 지난 뒤에 웹에서 가장 방문자가 많은 사이트 24위에 올랐다(현재는 92위). 투표 프로세스의 성공과 디그 사용자에게 투표권을 제공하는 서비스를 제공한 디그 사이트의 상위에 오른 컨텐츠는 무료가 대부분이었으며 유료의 경우 인기도가 하락해 군중의 지혜를 다시 한번 입증하고 있다.

위대한 12대 웹 소프트웨어
이제 11개가 선택되었다. 역순으로 정리해보면 다음과 같다.

12. AOL 인스턴트 메신저
11. 디그(Digg)
10. 핫메일
9. 월드 오브 워크래프트
8. 위키피디아(Wikipedia)
7. XMLHttpRequest 객체
6. 아마존닷컴
5. 이베이
4. 웰(Well)
3. 크레익스리스트(Craigslist)
2. 알타비스타







이제 마지막으로 No. 1 웹 소프트웨어를 선택하는 것만이 남아 있다.

버너스-리의 보다 간단한 플랫폼 도입에 대한 개념은 새로운 기회를 제공해왔다. 이 플랫폼은 동시적인 커뮤니케이션을 토대로 한 것이다. 플랫폼 위의 사용자 세션은 무국적(stateless)이었고 HTTP를 사용하는 서버는 정보 페이지를 신속하게 제공할 수 있었다.

크레익스 리스트와 핫메일, 또는 기타 사용자가 집중되는 사이트가 개발되기 전에는 소프트웨어가 신속하게 수백만 개의 HTML 페이지를 제공해야 하며 백그라운드 데이터베이스와 리소스를 불러와야만 했다. 이에 따라 웹 운영을 위한 백 엔드 시스템과 새로운 HTTP 프로토콜을 연결해줄 '가교'가 필요하게 되었다.

아파치 웹서버, 위대한 웹 소프트웨어 1위 등극

아파치 웹 서버의 등장이 주목을 받은 이유이다. 로이 필딩과 함께 아파치 그룹을 공동으로 설립한 브라이언 벨렌도르프는 "당시에는 이렇다 할 웹 서버가 없었다"고 전했다. 대부분의 초창기 웹 사이트 관리자들은 모자이크 브라이저의 원천지인 NCSA(National Center for Supercomputing Applications)의 로버트 맥쿨이 개발한 웹 서버인 NCSA HTTPd를 사용했다. 하지만 HTTPd 서버는 트래픽의 증가에 효과적으로 대응하지 못했으며 여러 웹 사이트 관리에도 문제점을 노출했다. 또한 백 엔드 시스템과의 인터페이스를 위해 API도 많이 요구했다. 벨렌도르프는 "최초의 웹 사이트는 트래픽 대응에 어려움을 겪었다는 공통적인 문제점을 안고 있었다"고 밝혔다.

원래의 NCSA HTTPd는 아파치 그룹으로 알려지게 된 웹 매니저의 가상 커뮤니티에 의해 개선되었다. 이 두 번째 버전에서 아파치 그룹은 서버를 분리한 다음에 여러 모듈로 재구성했는데, 이것이 아파치 웹 서버 2.0이 되었다(최신 버전은 아파치 2.2.4). 이 새로운 디자인을 통해 기부자들의 작업이 빛을 발하기 시작했으며 신속하게 진보할 수 있게 되었다.

1998년에 IBM은 자체 웹 서버 개발을 중단하고 아파치 그룹에 대한 후원으로 전환한다고 발표했다. IBM은 웹스피어 미들웨어에 아파치를 포함시킬 것이라고 밝혔다. 이러한 전환은 기업 분야에서의 오픈 소스 코드가 성공을 거둔 것으로 인식되었으며 마이크로소프트의 인터넷 인포메이션 서버(IIS)와도 경쟁할 수 있는 토대를 마련해주었다.

아파치 그룹은 상용 코드와 성공적으로 경쟁할 수 있는 제품 개발에 있어 오픈 소스 프로젝트의 첫 번째 사례로 꼽힌다. 아파치의 시장 점유율은 웹 사이트에서 70%의 최고치를 기록한 뒤 하락세에 접어들었지만 넷크래프트의 4월 통계에 따르면 마이크로소프트의 IIS가 3,530만 웹 사이트에 적용되어 있는데 반해 아파치는 6,690만 사이트에 구축되어 있어 여전히 시장을 주도하고 있는 것으로 나타났다.

아파치는 숙련된 개발자들이 아이디어를 교환하고 버그를 제거하며 중앙 코드 관리 시스템에 최종 코드를 입력하는 자발적인 프로젝트였다. 아파치는 사용자 확장성 문제를 해결했으며 PHP와의 긴밀한 링크도 개발했다. PHP는 스크립트 언어로, 사이트의 여러 개별적인 요인들을 통합하며 웹 페이지와 데이터베이스를 연결하는 소형 애플리케이션을 공급해 웹에서 독보적인 위치를 확보하게 되었다.

데이터에 대한 신속한 접근이 의미하는 것은 최신 정보나 맞춤화된 정보를 즉시 얻을 수 있다는 것이다. 아파치는 초기 오픈 소스 데이터베이스인 MySQL과도 긴밀하게 연결되었다. 시의 적절함과 혁신적인 기술, 자발적으로 참여한 개발, 상용 제품과의 경쟁 등을 통해 아파치 웹 서버는 웹의 표준으로 자리를 잡아나갔다.
버너스 리의 과감한 '후진' 전략은 월드 와이드 웹을 통해 컴퓨팅을 보다 단순한 플랫폼으로 돌아가게 했으며 더 큰 진보를 위한 발판을 마련했다. 아파치 웹 서버는 새로운 시대를 개척할 수 있는 선구자 역할을 충실히 해냈다. InformationWeek<cbabcock@cmp.com> 컴퓨터월드 2007년 7월호 게재

웹 소프트웨어의 역사
1969년 10월
인터넷의 선조인 알파넷(Arpanet) 멀티컴퓨터 등장
1983년 11월
도메인 네임 시스템(DNS) 출범, URL을 TCP/IP 주소로 경로 설정
1985년 3월
웹(Well) 가상 커뮤니티 출범
1988
아이오와 전자시장(Iowa Electronic Markets), 아이오와 경영대학에서 개발되어 미래 시장 예측에 사용. 미국 대통령 선거 결과 예측 위해 설계되었으며 '대중의 지혜'를 실증함.
1990
팀 버너스-리, CERN에서 월드 와이드 웹에 관한 논문 발표
1991
고퍼(Gopher), 인터넷의 FTP 사이트에서 이용 가능한 공개 문서 수집
1993년 4월
NCSA(National Center for Supercomputing Applications), 모자이크 브라우저 개발
1994년 7월
라이코스 검색 엔진, 카네기 멜론 대학에서 출범
1995년 3월
크레익스리스트(Craigslist.org) 토론 그룹 및 섹션별 광고 출범
1995년 4월
아파치 웹 서버 출범
1995년 7월
아마존닷컴 출범
1995년 9월
경매 사이트 이베이 설립
1995년 12월
알타비스타 검색 출범
1996년 7월
핫메일, 무료 이메일 서비스 개시
1997년 9월
슬래시닷(Slashdot) 출범
1998
IBM, 아파치 웹 서버 채택
1999년 3월
XMLHttpRequest, 인터넷 익스플로러 5에서 액티브 X 컨트롤로 등장
1999년 9월
구글 검색 엔진 버전 1.0 공개
2001년 1월
위키피디아(Wikipedia) 영문판 출범
2001년 8월
XMLHttpRequest, 인터넷 익스플로러 6에서 범용 API가 됨
2003년 4월
세컨드 라이프(Second Life) 베타 공개
2004년 11월
월드 오브 워크래프트(World Of Warcraft) 발표
2005년 2월
제시 제임스 가렛, 에이잭스(Ajax) 용어 제안
2006년 6월
디그(Digg) 뉴스 사이트 출범







구글과 유사했던 알타비스타

디지털 이큅먼트(Digital Equipment)에 근무했던 폴 코미어는 "우리는 구글이 될 수 있었으며 구글이 되었어야 했다"고 말했다. 알타비스타가 잘만 되었다면 부와 명예를 한꺼번에 거머쥘 수 있었을 것이라는 자조 섞인 말이다. 알타비스타는 최고의 기술이라고 해도 적절한 비즈니스 엔진과 연결되지 않을 경우 사장되고 만다는 것을 실증하는 사례라 할 수 있다.

90년대 중반 검색 엔진이 본격적으로 등장하면서 눈에 띄게 증가하는 트래픽을 매출로 연계시키려는 시도가 잇달았다. 매출의 잠재력은 검색 결과와 함께 제공되는 광고에 있었다. 하지만 당시 인터넷이 비영리 상태를 유지하려는 심리가 만연해있어 광고로 수익을 거두기란 쉽지 않았다.

디지털에서 알타비스타 검색 엔진 리서치 프로젝트를 총괄한 루이스 모니어는 "유료 광고의 허용 여부에 대해서 논란이 많았다"면서, "당시 유료에 반대하는 목소리가 높았다"고 밝혔다. 결국, 구글은 검색 결과에 유료로 광고를 배치하는 방법을 찾아내었으며 확실한 수익원이 되었다. 검색 결과에다 애드워즈(AdWords) 광고 사업을 결합함으로써 빠른 속도와 검색 결과 내용, 여러 다양한 결합 서비스 등을 통해 경쟁사들보다 한발 앞서 나갈 수 있게 되었다.

하지만 1초 이내에 검색 결과를 풀 페이지로 보여주는 것은 알타비스타가 시초였다. 현재 레드 햇에서 리눅스 마케팅 부사장으로 근무하고 있는 코미어는 알타비스타가 구글의 표준을 마련해주었다고 주장하면서, "당시 비즈니스 감각과 비즈니스 모델을 결합했더라면 현재 알타비스타의 위상이 이처럼 격하되지는 않았을 것"이라고 안타까움을 표시했다.

저작권자 © 컴퓨터월드 무단전재 및 재배포 금지