[컴퓨터월드] 버즈니 AI Lab은 올 초부터 자사 서비스 모바일 홈쇼핑포털 앱 ‘홈쇼핑모아’에 적용된 커머스 영역 특화 AI 기술들을 여러 편의 기고문을 통해 소개했다. 그 기술들은 ▲대용량 상품 카테고리 자동 분류 기술 ▲상품 이미지 분석 기술 ▲카탈로그 자동화 기술 ▲리타기팅 시스템 ▲AI 인프라 및 서비스 적용 ▲개인화 추천 기술 등이다. 이들 기술들은 홈쇼핑모아 처럼 다양한 쇼핑 채널의 상품을 모아서 가치를 만들어내는 이커머스 서비스에 필요하다.

기존 이커머스에서 해결해야 했던 많은 문제들이 딥러닝 기반의 이미지, 음성, NLP 기술 발전과 더불어 정확도와 서비스 품질의 향상을 이룩했다. 딥러닝 기반의 이미지 분석 기술을 활용해 기존 모델의 성능을 질적으로 향상시킨 기술이 있는가하면, 기존 통계기반의 NLP 모델을 딥러닝 모델로 업그레이드하거나 결합하는 하이브리드 형태의 기술도 존재한다.

버즈니 AI Lab은 상품 데이터를 중심으로 최신 AI기술들을 접목해 새로운 가치를 만들어내려고 한다.

상품 데이터에는 상품 이미지, 상품 제목, 이미지 형태의 상품 상세페이지, 상품에 대한 사용자 리뷰 데이터, 사용자가 직접 찍은 상품이미지, 상품에 대한 비디오클립, 상품 탐색 시 발생한 사용자 질의어 등등이 망라된다. 방대하고 다양한 상품 데이터에서 어떻게 필요한 정보를 잘 분석하고 체계화 하느냐가 핵심이라고 생각한다.

위에 나열한 상품 데이터 중 상당수의 데이터는 비정형 데이터로서, 문제를 바라보는 새로운 시각이 필요할 수 있다. 예를 들면 많은 상품 상세 페이지는 이미지 형태로 되어있다. 사용자가 개별로 상품을 클릭하여 정보를 확인할 수 있지만, 이미지의 한계로 검색 기능을 사용할 수 없다. 딥러닝 기반의 OCR 기술을 활용하면 쉽게 이미지를 텍스트로 전환할 수 있고, 정확도 측면에서도 일차적으로 검색 기능에 활용할 수 있는 정도로 기술이 발전했다.

이미지로 된 상세페이지는 카테고리별, 만드는 제작자 별로 정형화된 포맷이 없고 아주 다양한 형태로 존재한다. 따라서 기존 제작자의 포맷을 동일하게 텍스트로 전환한다는 것은 딥러닝 기술이 아무리 발전한다 해도 거의 불가능하다. 하지만 전환된 비정형 텍스트 데이터에서 딥러닝 기반의 NLP 기술을 활용해 원하는 정보를 마이닝하는 방향으로 문제의 정의를 바꾼다면 서비스 활용처는 무궁무진하다고 본다. 이처럼 동일한 데이터와 동일한 기술을 가지고도 문제를 바라보는 시각의 차이에 따라서 전혀 다른 결과가 나올 수 있을 것 같다.

이러한 다양한 AI 기술을 어떻게 하면 비즈니스에 잘 활용할 수 있을까? 이제 해당 주제와 관련해 고민했던 몇 가지 포인트들에 대해 공유를 하려고 한다.

경계해야할 두가지 태도는 ‘맹신’과 ‘과소평가’

이커머스를 포함해 모든 도메인에서 AI 기술 활용해 비즈니스적 성과를 내려고 할 때 가장 경계해야 할 두 가지 태도는 AI 기술에 대한 ‘맹신’과 ‘과소평가’라고 생각한다. AI기술에 대한 고찰과 충분한 이해가 부족한 상태에서 요술램프처럼 기존의 비즈니스를 몇 배 향상 시켜줄 마법으로 접근하거나, 혹은 시중에 나와 있는 AI 기술을 적용하고자 하는 도메인에 대한 충분한 내재화가 없는 상태에서 겉핥기식으로 적용하는 사례일 것이다.

이 두 경우 모두 결과적으로는 비즈니스적 성과 없이 기술에 대한 불신으로 끝날 가능성이 크다. 그 이유는 첫째로 AI 기술로 어떤 문제들을 해결할 수 있는지에 대한 충분한 이해가 부족해서이다. 비즈니스에서 풀고자 하는 문제가 기존 모델의 효율을 10% 향상시키는 최적화 문제인지, 아니면 전혀 새로운 카테고리의 서비스를 기술로 만들어가려고 하는지, 즉 풀고자 하는 문제에 대한 정확한 정의가 최우선이다. 문제가 정확하게 정의됐다면 어떤 AI 기술을 활용할 수 있을지, 기대효과는 어떻게 될지, 필요한 시간과 투입해야 할 리소스는 어떻게 될지에 대한 전략을 상대적으로 쉽게 세울 수 있다.

둘째로는 데이터에 대한 이해 부족이 AI 기술에 대한 불신으로 이어질 수 있다. AI 알고리즘이 제대로 작동하려면 풀고자 하는 실제 문제를 가장 잘 표현하는 데이터를 기반으로 학습이 되어야 한다. 알고리즘이 아무리 최신이어도 모델을 학습할 때 사용한 데이터와 실제 서비스에 적용할 때 사용자가 입력하는 데이터의 분포가 다르다면 비즈니스 성장은 기대할 수 없을 것이다. 오히려 기존의 방식보다 더 효과가 더 떨어질 수도 있다.

버즈니 AI Lab의 이미지 분석 연구개발 사례를 들면, 딥러닝 기반의 이미지분류 대회인 이미지넷(IMAGENET) 챌린지에서 가장 좋은 성능을 내는 알고리즘을 활용해 상품 이미지 분류를 시도한 적이 있다. 해당 챌린지에서는 사람을 초월할 정도의 분류 정확도를 가졌지만, 3천여 개의 상품이미지를 분류하는 태스크에 적용하면 서비스가 불가능할 정도의 초라한 정확도를 보여줬다. 그 이유는 해당 분류 모델은 우리가 풀고자 하는 문제와 전혀 다른 패턴의 데이터를 학습한 모델이기 때문이다. 결과적으로는 상품 도메인의 학습셋 백만여 장을 수동으로 직접 구축하고 이를 기반으로 학습한 모델을 활용해 원하는 서비스 품질을 이룩할 수 있었다.

비슷한 예로, 대형 클라우드 업체에서 제공하는 추천 API를 쉽게 적용해 볼 수 있다. 하지만 이 경우에도 도메인 데이터에 대한 이해와 모델의 최적화 없이는 원하는 비즈니스 효과를 거둘 수 없다고 본다. 이렇게 본질에 대한 이해 없이 AI기술을 적용해 실패한 사례가 나쁜 경험으로 각인되면 미래에 AI 기술이 가져다 줄 진정한 가치 실현을 가로막는 독이 될 수도 있을 것이다.

AI 기술 도입을 위한 5단계 전략

코세라의 창시자이면서 구글과 바이두에서 인공지능 연구를 이끌었던 앤드류 응 교수는 기업에서 AI 기술을 성공적으로 도입하기 위한 5단계 전략을 제시했다. 그 중 1단계가 AI 기반의 초기 소규모 파일럿 프로젝트를 실행하고 성공시켜 AI기술 기반의 비즈니스 모멘텀을 확보하라는 것이다.

좀 더 구체적으로 설명하면 6~12개월의 단기 프로젝트를 실행하되, 비즈니스 가치를 주는 명확한 문제이면서 기술적으로 쉬운 문제부터 풀라고 조언했다. 새로운 아이디어로 무장한 AI기술 기반의 스타트업이면 상당히 주도적이고 공격적으로 기술 드라이브를 걸 수 있지만, 기존 비즈니스에 AI기술을 접목하려는 입장에서는 앤드류 응 교수의 제안이 유효하다. 작은 프로젝트 성공을 통한 자신감이 더 큰 AI프로젝트의 시작으로 연결될 수 있으면 AI 기술조직과 비즈니스 조직 간의 신뢰를 쌓을 수 있다고 본다.

버즈니 AI Lab도 초기 이미지 분석 프로젝트의 성공적인 경험을 바탕으로 다양한 문제에 대한 본질을 파악하고 그에 따른 적절한 기술 스택과 데이터를 적용하여 어떻게든 문제를 풀어낼 수 있다는 확신을 가질 수 있었다.

제4차 산업혁명의 저자인 클라우스 슈밥은 “큰 조직이 작은 조직을 먹는 시대에서 빠른 조직이 느린 조직을 먹는 시대로 변화할 것이다”라고 말했다. 앞으로 다가올 AI시대는 기술에 대한 정확한 이해를 바탕으로 각자 비즈니스 영역에서 끊임없이 고민하고 발빠르게 혁신하는 조직만이 살아남는 시대일 것이다.

앞으로 버즈니 AI Lab은 ‘기술로 사람과 세상을 연결하다’라는 미션으로 커머스 영역에서 사용자에게 새로운 가치를 주기 위해 끊임없이 고민하고 혁신하는 조직이 되고자 한다.