‘컴퓨터 비전(Computer Vision)’, ‘음성 인식(Speech Recognition)’, ‘디지털 미(Digital Me)’는 스마트폰에서 AI를 구동하게 하는 기본 기능·기술이다.

컴퓨터 비전
컴퓨터 비전은 디지털 이미지와 영상을 인식 처리하는 스마트폰 기능을 의미한다. 컴퓨터 비전의 활용 목적은 인간의 시각 능력을 복제하는 것이다. 의사결정 기반 결과를 도출하기 위해 스마트폰을 통해 입력되는 디지털 이미지, 영상 등 각종 시각 데이터를 분석한다. 자동 사진첩 분류, 실시간 비디오 렌더링 등을 예시로 들 수 있다.

음성 인식
음성 인식 기능은 인간의 의사소통을 인식하고 이를 텍스트로 변환하는 스마트폰 기능이다. 일부 음성 인식 기능은 사용자의 특정 음성과 패턴을 분석하는 과정을 거쳐 성능을 향상시킨다. 음성 인식을 통해 스마트폰 음성을 분석할 수 있다. 가상개인비서(VPA) 성능 개선, 실시간 번역과 장면 기반 소음 제거 등이 사용 사례다.

디지털 미
스마트폰에서 구현되는 온디바이스 컴퓨팅 기능은 계속 발전할 것이며, 더욱 지능적인 디지털 페르소나(Digital Persona)가 디바이스 상에 자리 잡을 것이다. 예컨대, 머신 러닝과 생체 인식, 사용자 행동을 복합적으로 결합한 보안 기술은 편의성, 셀프 서비스, 인증 방식을 개선해 신용카드, 여권, 신분증, 열쇠 등 기존 수단보다 스마트폰을 더 신뢰할 수 있도록 돕는다.

자연어 처리, 기계 인식 등 미래 AI 기능은 스마트폰이 사용자의 문제를 학습, 설계, 해결할 수 있도록 한다. 이는 단순히 스마트폰을 더욱 스마트하게 하는 것에 그치지 않으며 사용자의 인지 부하를 줄이고 디바이스 상 ‘디지털 미(Digital Me)’를 가능하게 한다.

그러나 우리는 여전히 스마트폰에서 온디바이스 컴퓨팅 AI 기능을 탐색하는 초기 단계에 머물러 있다. 가트너는 다양한 업체를 포함하는 전 산업이 ‘디지털 미’를 실현하기 위해 노력 중이라고 밝혔다.

AI 기반 스마트폰의 10가지 활용 사례
스마트폰 관련 AI 활용 사례는 2022년까지 증가할 것으로 예상된다. 기업의 제품 차별화는 물론 상품 가치를 높일 수 있는 유의미한 사례가 소개될 것이다.

향후 2년간 하기 사례들 가운데 대부분은 단일 AI 기술과 기능을 활용하는 수준에 머물 것이다. 이후에는 두 가지 이상의 AI 기능 및 기술이 결합된 사례들이 생겨나 한층 더 진화한 사용자 경험과 사용자 환경(UI)에 기여할 것으로 예측된다.

가트너는 10가지 활용 사례를 ‘가시성’과 ‘AI 성능’을 기준으로 분류했다. <그림 1>은 AI 기반 스마트폰 활용 사례를 사분면으로 묘사한 것이다.

A사분면의 사례는 고성능 AI를 요구하며, 사용자와의 직접적 상호작용 없이 구동되는 앱을 포함한다. B사분면의 사례는 고성능 AI가 필요하지만, 사용자와 직접적 상호작용을 해야만 한다. C사분면의 사례는 저성능 AI와 함께 백그라운드에서 사용되는 앱이 있는 경우이다. 마지막으로 D사분면의 사례는 부족한 AI 성능에서 사용자가 앱과 직접 상호작용하는 경우다.

■ A사분면 / 절대적 지성(Ultimate Intelligence): 고성능 AI, 백그라운드에서 운영됨
■ B사분면 / 높은 사용자 가치(High User Value): 고성능 AI, 사용자와 직접 상호작용함
■ C사분면 / 초급 스마트함(Elementary Smartness): 저성능 AI, 백그라운드에서 운영됨
■ D사분면 / 기본 지원(Basic Assistance): 저성능 AI, 사용자와 직접 상호작용함

사용자 인증
비밀번호 기반 단순 인증은 너무 복잡해 오히려 효과가 저하되고 있다. 사용자는 복잡한 비밀번호를 잘 기억하지 못하고, 또 주기적으로 비밀번호를 바꿔야 하는 상황에 처해 있다. 이는 보안 취약, 열악한 사용자 경험, 소유 비용 증가 등 다양한 문제를 초래한다. 머신 러닝과 생체 인식, 사용자 행동과 결합된 보안 기술은 사용 가능성과 셀프서비스 기능을 향상시키며, 비접촉 방식 인증을 가능하게 한다. 이 활용 사례는 다음 상황에 적용될 수 있다.

■ 로그인뿐 아니라 디바이스에서 사용자를 지속적으로 확인할 수 있다. 기업과 금융 기관은 사용자의 스마트폰 보안을 향상할 수 있다.
■ 스마트폰이 사용자에게 메시지 미리보기를 제공하면서, 사용자가 친구에게 사진을 보여주려고 스마트폰을 건네주면 보여주려는 사진 외에 다른 사진은 볼 수 없는 기능이 설정된다.
■ 스마트폰은 사용자가 걸을 때, 화면을 넘길 때, 기기에 압력을 가할 때, 스크롤을 내리거나 타이핑을 할 때 등 행동을 포착하고 학습할 수 있으며, 비밀번호를 입력하거나 인증할 필요가 없어진다.

감정 인식
디바이스 내 감정 감지 시스템과 감성 컴퓨팅(Affective computing)은 스마트폰이 인간의 감정 상태와 기분을 감지, 분석, 처리하고 이에 대응할 수 있는 지능형 시스템 개발을 포함한다.

감정 인식은 대화형 시스템에 내장된다. 가상개인비서(VPA)와 기타 대화형 시스템용 AI 기반 기술의 확산이 맥락 이해도 개선과 서비스 경험 개선을 위해 감정 지능을 더하는 방향으로 개발을 주도하고 있다. 이 활용 사례는 다음 상황에 적용될 수 있다.

■ 온라인 쇼핑이 표정, 눈동자 움직임과 기대 정도를 파악해 사용자의 관심 수준을 감지할 수 있다.
■ 모바일 게임 난이도는 사용자가 순간에 경험하고 있는 긴장도에 따라 제어할 수 있다.
■ 자동차 제조사나 보험사는 스마트폰 전방 카메라를 활용해 운전자의 몸 상태(예: 스트레스, 피로도 등)를 파악하고 측정해 안전을 강화할 수 있다.

■ B사분면: 높은 사용자 가치
자연어 이해
스마트폰에 대한 지속적 교육과 학습으로 음성 인식의 정확성을 향상시키고 사용자의 구체적 의도를 더욱 잘 이해할 수 있다. 예를 들어 사용자가 “날씨가 추워”라고 말한다면 이 말은 맥락에 따라 ‘온라인으로 재킷을 주문해 줘’가 될 수도 있고 ‘히터를 켜줘’가 될 수도 있다. 이 활용 사례는 다음 상황에 적용될 수 있다.

■ 해외여행 시 스마트폰으로 실시간에 가까운 음성 번역 기능을 사용할 수 있다.
■ 사용자는 보안 번역 기능을 인터넷 연결 없이 콘퍼런스 콜로 활용해 기밀 대화를 나눌 수 있다.
■ 법원이나 기업에서는 스마트폰에서 음성으로 문자를 입력해 회의록을 작성할 수 있다.
■ 스마트폰이 비즈니스 토론이나 회의, 고객과의 통화를 듣고 신속히 맥락을 파악해 대응할 수 있다.

AR·AI 비전
애플은 ‘iOS 11’을 출시하며 개발자들이 앱에 증강현실(AR)을 쉽게 추가 가능하도록 새로운 도구를 제공하는 증강현실 개발툴(ARKit) 기능을 출시했다. 구글 또한 안드로이드용 AR코어(ARCore) 증강현실 개발자 도구를 발표했다. 구글은 올해 말까지 안드로이드 기기 1억 개에 AR을 구현할 것이라는 계획을 밝혔다. 내년까지 구글은 신규 출시되는 모든 안드로이드 폰에서 AR을 즉시 활용할 수 있게 될 것이다. 이 활용 사례는 다음 상황에 적용될 수 있다.

■ 유통 업체들은 스마트폰에서 AR을 실행해 제품 위치, 양, 통로 상황을 촬영하고 모니터링할 수 있다. AR은 제품 배치, 재고 관리 개선에 활용될 수 있다.
■ 가구 업체들은 AR 앱을 활용해 고객이 스마트폰 카메라로 가상 가구 배치를 할 수 있도록 한다.
■ 뷰티 앱은 개인 뷰티 컨설턴트 역할을 하며, 고객들은 앱에서 가상 제품 테스트, 피부 상태 분석은 물론 온 디맨드 뷰티 서비스 예약 등을 할 수 있다.
■ 앱은 사용자 데이터를 수집해 피부암이나 췌장암 등 질병 발견에 활용될 수 있다.

■ C사분면: 초급 스마트함
디바이스 관리
머신 러닝은 디바이스 성능과 대기 시간 문제를 개선한다. 예를 들어 스마트폰은 수많은 센서를 사용해 언제 어떤 앱을 사용할지 등의 사용자 행동을 더 잘 파악하고 학습할 수 있다. 또한, 스마트폰은 자주 사용하는 앱을 빠르게 실행할 수 있도록 재배치하거나 사용하지 않는 앱을 삭제해 메모리와 배터리를 절감할 수 있다. 이 활용 사례는 다음 상황에 적용될 수 있다.

■ 디바이스 업체들은 대기 시간을 연장하고 이를 핵심적 차별화 요소로 활용할 수 있다.
■ 익명의 사용자 행동 데이터 집계를 수익창출원으로 활용할 수 있다.
■ 스마트폰은 자가 치유, 자가 최적화, 자체 구성될 수 있다.
■ 사용자 행동은 터치, 음성 명령을 함께 활용해 사용자들의 일상 작업 수행과 디바이스 기능을 더욱 효과적으로 활용할 수 있는 지능형 디바이스 상호작용을 생성하는 데 활용될 수 있다.

개인 프로파일링
스마트폰은 개인이나 행동 프로파일링 데이터를 수집할 수 있다. 보험사와 같은 서비스 업체는 자산이 아닌 사용자에 집중할 수 있다. 사용자는 실행되는 활동이나 집, 차량, 사무실, 레저 활동 등 속한 환경에 따라 보호와 지원을 받을 수 있다. 이 활용 사례는 다음 상황에 적용될 수 있다.

■ 스마트폰은 직원이 사용하는 언어나 메시지 방식을 감지해 사무실 안전을 향상시킬 수 있다.
■ 보험사는 운전 행태에 기반해 자동차 보험료를 조정할 수 있다.
■ 기업용 IT는 더 이상 수천 개 로그인 정책을 유지하지 않아도 되며, 직원들은 각자의 프로파일을 가질 수 있다.

콘텐츠 검열 감지
제한된 콘텐츠를 자동 감지하는 것도 가능하다. 불쾌한 이미지와 비디오, 텍스트를 표시하고 다양한 공지 알림을 활성화할 수 있다. 컴퓨터 인지 소프트웨어는 법이나 정책에 저촉되는 콘텐츠를 감지할 수 있다. 이 활용 사례는 다음 상황에 적용될 수 있다.

■ 비디오, 이미지는 소셜 네트워크에 게시되기 전에 검증될 수 있다.
■ 저속한 언어가 메시징 앱으로 전송되기 전에, 친지 또는 친구에게 보낼 메시지 내용을 확정할 수 있다.
■ 보안 강도가 높은 시설을 사진에 담거나 법인 스마트폰에 기밀 데이터를 저장하는 경우 IT에 신고가 전달될 것이다.

■ D사분면: 기본 지원
개인 사진 촬영
이 활용 사례에는 사용자의 미적 취향에 따라 사진을 자동 보정할 수 있는 스마트폰이 포함된다. 예를 들어 동양인과 서양인의 미적 취향이 다른데, 중국은 흰 피부를 선호하는 반면, 서양은 어둡고 태닝 된 피부를 선호한다. 이 활용 사례는 다음 상황에 적용할 수 있다.

■ 라이브 스트리밍에서 실시간 렌더링을 활용해 흥미로운 콘텐츠를 제작할 수 있다.
■ 조명이나 각기 다른 물체 등 요소에 의존하는 장면 기반 사진 설정 조정을 사용한다.
■ 타사 카메라 앱은 더욱 지능적인 맞춤형 사진 촬영 경험을 제공할 수 있다.

오디오 분석
스마트폰 마이크는 실제 상황의 소리를 청취할 수 있다. 디바이스상 AI 기능은 이러한 소리를 구분해 사용자에게 지시하고 특정 상황을 활성화할 수 있다. 이 활용 사례는 다음 상황에 적용될 수 있다.

■ 스마트폰은 사용자의 코고는 소리를 듣고 사용자가 착용하고 있는 손목 밴드를 활성화함으로써, 수면 자세를 바꾸도록 유도한다.
■ 호텔 등 생소한 환경에 있을 때 스마트폰은 창문이 깨지거나 화재경보기 소리를 듣고 사용자에게 강력한 알람을 전달할 수 있다.
■ 사용자가 카페에 있다는 것을 인지해 전화가 오면 스피커 음량을 조절한 후 배경 소음을 제거한다.

배경과 맥락
스마트폰 시장은 포화 상태에 이르고 있으며, 제품 역시 성숙 단계로 진입하고 있다. 실제 스마트폰 출하량은 2017년 15억 대에 이르는 등 꾸준히 증가하고 있지만, 스마트폰 연평균 성장률(CAGR)은 지난 5년간 25.9%에서 2021년까지 4.3%로 급격히 하락할 것으로 예상된다.

스마트폰이 점점 상용 디바이스화 돼 가면서 업체들은 치열한 경쟁 환경 속에서 현재 고객을 유지하며 신규 고객을 유치하고 있다. AI 기반 기능은 발전을 모색하는 업체들에게 중대한 차별화 요소가 될 것이다. AI에 대한 높은 수준의 이해도와 AI 적용 능력이 향후 스마트폰 업체들의 향방을 좌우할 것이다.

일부 업체들은 스마트폰 내 AI 기반 기술 탑재를 우선순위로 선정한 바 있다. 최근 이뤄진 몇 가지 개발 사례를 소개한다.

■ 2017년 9월 화웨이는 AI 기술이 포함된 스마트폰용 ‘기린 970’ 프로세서 칩셋을 발표했다. 새롭게 발표된 이 칩셋에는 신경 처리 장치가 포함된다. 화웨이는 고객에게 더 나은 사용자 경험을 제공하기 위해 스마트폰에 AI 기능을 추가했다. 새로운 칩은 사진 인식 소프트웨어, 휴대폰 카메라, 디바이스 보안에 영향을 줄 것이다.

■ 애플은 2017년 9월 새로운 ‘A11’ 바이오닉 프로세서의 일환이 될 신경 엔진 기능을 도입했다. 신규 개발된 이 기능은 최신 ‘아이폰’ 제품의 이미지와 음성 처리 기능을 개선한다. 이에 신경 엔진은 스마트폰 잠금 해제 시 사용되는 얼굴 인식 소프트웨어 기반 알고리즘을 지원한다. 이에 사용자 스마트폰 상 데이터를 분석하는 데 소요되는 시간이나 기술을 구동하기 위해 소요되는 배터리 양은 줄어들 것이다.

■ 퀄컴은 ‘스냅드래곤 신경 처리 엔진(Snapdragon Neural Processing Engine)’ 소프트웨어 개발 키트(SDK)를 개발했다. 개발자들은 이 SDK를 활용해 AI와 머신러닝을 더 쉽게 개발할 수 있다. 또한, 자신의 모델이 실행되는 코어(CPU, GPU, DSP)를 선택할 수 있다. 이에 2017년 12월 퀄컴은 3세대 모바일 AI 플랫폼인 ‘스냅드래곤 845(Snapdragon 845)’를 발표했다.

또한 AI 기술 제공 업체들은 스마트폰 업체와 파트너십을 형성하기 위해 활용 사례를 구축하는 데 관심을 갖고 있다.

■ 구글은 영국 업체 딥마인드(DeppMind)의 AI 기술을 사용 중이며, 이 기술로 자사 데이터 센터 일부의 전력 사용을 관리한다. 구글은 딥마인드 기술로 데이터를 분석해 데이터센터에 가장 적합한 냉각 방식을 적용함으로써 전력 사용량을 감소시켰다.

구글은 ‘AI 퍼스트(AI First)’ 비전의 일환으로 자사 ‘텐서플로 라이트(TensorFlow Lite)’ AI 기반 이미지 인식 및 ‘텐서플로’ 프레임워크를 안드로이드 디바이스에 제공한다. 또한, 구글은 ‘픽셀(Pixel)’ 스마트폰을 위한 자체 칩 수준 솔루션을 통합하기 위해 애플, 화웨이와 협력 중이다. ‘픽셀2’ 스마트폰에는 구글 고유의 ‘픽셀 비쥬얼 코어(Pixel Visual Core)’가 탑재돼 있으며, 머지않아 AI를 내장할 것으로 보인다. 구글은 최근 컴퓨터 비전 및 머신 러닝에 기반한 AI 도구인 ‘구글 렌즈(Google Lens)’를 픽셀 스마트폰 내 ‘구글 어시스턴트(Google Assistant)’에 출시했다.

영향
스마트폰의 시장 가치는 단순한 기술 제품을 판매하는 것에서 강력한 맞춤형 스마트폰 경험을 제공하는 것에 중점을 두고 있다. 스마트폰 업체들이 경쟁력을 유지하려면 디바이스의 차별화 및 맞춤화를 이끌어내는 데 더욱 집중할 필요가 있다.

우리는 스마트폰 시장의 주요 업체들이 이미 자사 하드웨어 및 소프트웨어 제어와 통합을 더욱 강화하며 높은 품질의 스마트폰을 만들어 내기 위해 움직이는 모습을 확인할 수 있다. 스마트폰과 디바이스에서 구동되는 AI 솔루션은 향후 2년의 스마트폰 로드맵을 형성하는 주요소로 자리매김할 것이다. 스마트폰용 AI 로드맵에는 클라우드 AI를 넘어서는 디바이스 수준의 내장형 AI가 포함돼야 한다. AI 기능을 지원하는 새로운 칩 아키텍처를 활용 및 통합하는 데 더욱 집중하고, 동시에 새롭게 등장하는 디바이스 AI 프레임워크를 활용해야 할 것이다.

스마트폰 내장 AI는 ▲보안 강화 ▲실시간 반응 수요 증가에 대한 낮은 지연 시간 ▲디바이스 성능 개선 ▲사용자 인지 부하 감소를 통한 사용자 경험 개선 등 다양한 이점을 제공할 것이다. 이를 통해 업체들은 스마트폰에 새로운 사용자 가치를 부여하거나 가치 있는 AI 기반 앱 및 서비스를 개발할 기회를 얻을 수 있을 것이다.

결론
기술 제품 경영 책임자는 다음과 같이 AI 기반 활용 사례를 발전시켜 차별화된 제품 경쟁력을 보여줘야 한다.

■ 장·단기간에 걸친 전략과 가치 제안(Value Proposition)에 부합하는 AI 활용 사례를 판단한다. ‘컴퓨터 비전’, ‘음성 인식’과 ‘디지털 미’ 등 기본 AI 기술을 공유해 AI 개발 시너지를 극대화할 수 있다.
■ 스마트폰 활용 사례를 기반으로 온디바이스 컴퓨팅 AI 기능과 앱 준비성(App Readiness)을 구축한다.
■ DSP+CPU+GPU와 해당 이점에 기반한 전용 신경망처리장치(NPU) 제품군을 보유한 칩셋 업체와 협력하고, 더 많은 AI 활용 사례를 탐구할 수 있도록 제3의 개발업체 및 서비스 제공 업체들과 개방형 협업 모델을 채택한다.
■ 특정 기업 사용 분야의 전문가가 되는 것과 현재 역량에 기반해 방대한 AI 서비스를 제공하는 것 사이의 균형을 유지한다.