공개SW 기반 인메모리 시스템 구축
본 공개SW 활용 성공사례는 컴퓨터월드와 정보통신산업진흥원<삽입 - 역량프라자 로고>가 공동으로 발굴한 기사입니다. |
[컴퓨터월드] 메조미디어는 국내 디지털 마케팅 미디어렙으로 소셜네트워크 상의 빅데이터의 분석 및 가공과 인사이트에 대한 필요성에 대해 한 발 빠르게 준비한 결과 SNS의 영향력자 및 감정 분석 등의 특허를 기반으로 한 소셜 분석 솔루션 티버즈(TIBUZZ)를 개발해 서비스하고 있다.
메조미디어는 SNS 상 수집 데이터 양 증가로 분석되는 데이터가 늘어나 솔루션의 고도화를 요구하게 됐다. 이에 기본 공개SW 기반으로 만들어진 티버즈 솔루션에 메모리 DBMS인 레디스와 래빗엠큐와 분산처리를 위한 주키퍼를 추가로 도입했다. 메조미디어의 공개SW 도입 사례를 공개한다.
메조미디어는 국내 디지털 마케팅 미디어렙으로 삼성, LG, 현대자동차를 비롯한 국내 외 250여 개 이상의 클라이언트들의 디지털 마케팅을 담당하고 있다. 100여 개 이상의 국내 주요 온라인 매체와의 협력을 통해, 클라이언트의 캠페인에 가장 적합한 매체들로 구성한 가장 효율적인 매체안을 통해 최고의 결과를 창출한다.
메조미디어는 디스플레이 광고뿐만 아니라 VOD/IPTV, SEO/SEM 등과 같은 다양한 디지털 마케팅 분야의 전문성을 자랑한다. 특히 방송통신위원회 인증 1호 모바일 광고 플랫폼이자 3만여개 이상의 국내외 모바일 웹과 앱으로 구성된 자체 모바일 광고 네트워크 맨(MAN:MezzoMedia Mobile Ad Network)을 포함한 모바일 광고 분야에 특화된 서비스를 제공하고 있다. 또한, 지난 2012년 CJ E&M과의 인수합병을 통해 CJ의 디지털 마케팅 및 CJ E&M의 다양한 방송광고 상품을 결합해 통합광고 상품을 선보이고 있다.
특히 소셜네트워크 상의 빅데이터의 분석 및 가공과 인사이트에 대한 필요성에 대해 한 발 빠르게 준비한 결과 SNS의 영향력자 및 감정 분석 등의 특허를 기반으로 한 소셜 분석 솔루션 티버즈(TIBUZZ)를 개발해 서비스하고 있다.
최상의 결과물을 얻기 위해 솔루션 고도화 추진
메조미디어의 소셜 분석 솔루션 티버즈는 트위터를 비롯해 페이스북, 블로그 등에서 데이터를 수집해 유의미한 분석 결과를 낸다.
티버즈의 초기 솔루션은 몽고DB와 아파치 솔라를 바탕으로 파일럿 형태로 구성됐다. 그동안 검색 결과나 통계 수치 등을 데이터베이스 단에서 작업을 해서 가져오는 방식이었으나 데이터 수집량이 늘어나 디스크 IO에 부하가 걸리게 되면서 분석 시간이 늘어나게 됐다. 이에 메조미디어는 티버즈 고도화를 검토하게 된 것이다.
메조미디어 측은 우선 인메모리 상에 데이터를 직접 올려 실시간으로 분석 작업을 할 수 있도록 검토했다. 이에 공개SW 중 레디스와 맴캐시드(Memcached)가 상용SW 중 오라클의 타임스텐과 알티베이스의 알티베이스 HDB가 고려 대상 명단에 올랐다. 그러나 비용문제를 이유로 타임스텐과 알티베이스는 1차 제외됐으며, 레디스와 맴캐시드를 비교한 결과 티버즈 솔루션에 사용하기 가장 적합한 데이터베이스로 레디스가 낙점됐다.
또한 메조미디어는 레디스의 특징인 1번에 1개의 명령어를 실행할 수 있는 싱글 쓰레드라는 점을 상쇄시켜주기 위해 메시지 쿼리 시스템으로 래빗엠큐을 비롯한 제로엠큐(ZeroMQ) 액티브엠큐(ActiveMQ), Qpid 등을 검토했지만 결국 래빗엠큐를 도입했다.
아파치 주키퍼는 티버즈 내 분산처리된 시스템의 모니터링 역할을 하고 있다. 그동안 티버즈는 각 서버마다 데이터베이스 테이블 상태값을 만들어 주기적으로 확인했다면 주키퍼를 도입해 데이터 공유는 물론 모니터링 역할까지 하고 있다.
또한 메조미디어는 실시간으로 감정분석이나 연관어 분석을 30분 이내로 보장하려고 한다. 이를 위해 레디스와 래빗엠큐를 통해 분산처리를 하면서 속도 개선을 하고 있으며, 시스템 증설도 이뤄지고 있다. 현재 메조미디어는 레디스 서버 100여대를 보유하고 있으며 각 서버당 48코어, 128~192GB를 사용하고 있다.
내부학습을 통한 역량 강화
메조미디어가 티버즈 솔루션 고도화를 위해 처음부터 도입할 공개SW를 정해놓진 않았다.
티버즈에 맞는 소프트웨어를 찾기 위해 구글을 통해 검색을 했을 때 사용자들이 올린 사용기를 많이 참조했다. 주로 쉽게 찾을 수 있는 소프트웨어가 공개SW 위주였다.
사용자들의 평가가 좋은 공개SW 위주로 내부 직원들이 학습하면서 티버즈와 최적화 방안에 대해 연구하기 시작했다. 상용SW에 비해 매뉴얼이 구체적이진 않았지만 검색을 통해서 쉽게 정보를 습득할 수 있어서 문제가 되진 않았다.
실시간 분석을 위해 하둡 전향 고려
메조미디어는 이처럼 티버즈를 고도화하긴 했지만 기하급수적으로 데이터가 늘어남에 따라 이에 맞춰서 물리적인 서버를 증설하고 있다. 이에 대안을 찾기 위해 하둡을 검토하고 있다. 현재 메조미디어 측에서 수집하고 있는 데이터 수집량은 11억 건에 육박하는데 시스템 증설만으로는 현실적으로 한계가 있다. 또한 실시간 분석이라는 관점에서도 현재 시스템 구성에서 벗어나 하둡으로 전향을 검토했으며, 이를 위해 내부 학습에 들어갔다.
<인터뷰> 상용SW 도입으로 무리한 투자 할 필요 없어 상용SW가 아닌 공개SW를 도입하게 된 계기는? 공개SW 도입 후 어려운 점은? 공개SW 도입 시 주의해야 할 점은? |
관련기사
- [공개SW 활용사례] LG CNS, 공개SW 기반 데이터 분석 솔루션 ‘SRA’
- [공개SW 활용사례] 버즈니, 공개SW 기반 모바일 홈쇼핑 포털 서비스
- [공개SW 활용사례] KBS, 오픈스택 기반 클라우드 시스템 구축
- [공개SW 활용사례] 제니퍼소프트, 공개SW 유저에서 컨트리뷰터로
- [공개SW 활용사례] 컴투스, 모바일게임 서비스 위한 공개SW 기반 인프라 구축
- [공개SW 활용사례] LG전자, 가전제품에 스며든 공개SW
- [공개SW 활용사례] SKT, 오픈소스 기반 빅데이터 인프라 구축
- [공개SW 활용사례] GS샵, 공개SW로 저비용 고효율 IT아키텍처 구현
- [공개SW 활용사례] LG유플러스
- [공개SW 활용사례] 멜론 ‘10년 축적 데이터’, 공개SW 만나 ‘빅데이터’ 되다
- [공개SW 활용사례] OSS랩, 클라우드APM 오픈소스로 공개
- [공개SW 활용사례] 유에프오팩토리, 공개SW로 ‘소셜 임팩트’를
- [공개SW 활용사례] 스마디, 함께 만들어가는 IoT 생태계
- [공개SW 활용사례] 위메프, 공개SW로 제공되는 ‘핫딜’
- [공개SW 활용사례] 네이버 ‘엔트리’, 공개SW 기반 SW교육 플랫폼