[컴퓨터월드] 2023년 가트너 최고 데이터 및 분석 책임자(CDAO, Chief Data & Analytics Officers) 설문조사에 따르면, D&A팀 3개 중 1개만이 조직에 가치를 제공하고 주요 비즈니스 이해관계자의 목표에 기여하며 예산 수립에 영향을 주는 등의 실질적인 효과를 가져오는 것으로 밝혀졌다. 이처럼 CDAO와 팀은 성공을 위해 극복해야 할 여러 과제에 직면해 있다. 이에 관련한 가트너 조사에 따르면, 상위 6개 과제가 모두 인적 요소와 관련돼 있으며, 그중 기술 및 인력 부족이 가장 큰 장애물로 꼽혔다.

해당 조사에서 60% 이상의 CDAO가 데이터에 대한 신뢰 구축을 위해 데이터 관리 및 거버넌스에 투자를, 그리고 데이터 기반 인사이트 지원을 위해 고급 분석/데이터 사이언스와 인공지능(AI)과 같은 분야에 대한 투자를 늘리고 있다고 답했다. D&A 리더는 인재 유치 및 유지를 위해 관련 기술 리스킬(reskill) 및 업스킬(upskill)을 포함해 데이터, 분석 및 AI 팀 구축에도 투자해야 한다.

그렇다면 D&A 팀에는 어떤 규모의 인력이 필요할까? 여기에 정답은 없다. 산업, 회사 규모, 복잡성, 성숙도, 업무 범위 등 여러 요소에 따라 달라지기 때문이다. D&A 리더들은 업무를 식별하고 우선순위를 정하는 것을 시작으로 예상 가치, 실현 가능성, 긴급성에 기반한 활동 포트폴리오를 개발해야 하며, 이어서 누가 작업을 수행할지 파악해 3~5명의 필수 역할로 이루어진 소규모 팀을 우선 구성한 후 점차 팀을 확장해 나가야 한다.

데이터, 분석 및 AI 역할의 스펙트럼은 아래 그림을 통해 확인할 수 있다. 효과적이고 성공적인 팀을 구축하고자 하는 D&A 리더는 다음 질문에 대한 답을 고민해야 한다.

● 현재 집중해야 할 데이터, 분석 및 AI 역할은 무엇인가?
● 어떤 역할과 기술이 부상하고 있으며, 이들은 기존 역할에 어떤 영향을 미치는가?

지금 집중해야 할 역할

D&A 성공의 기반이 되는 역할들은 ‘필수 역할’로 간주된다. 대부분의 필수 역할은 D&A 허브, 즉 중앙 D&A 팀에서 찾을 수 있으며 이는 ‘CDAO 오피스(Office of the CDAO)’ 또는 ‘전문가 조직(CoE, Center of Excellence)’으로 불린다.

필수 역할들의 종류는 다음과 같다.

● CDAO: D&A 이니셔티브가 기업의 전반적인 전략적 비즈니스 목표에 부합하도록 한다. 전문 리더가 없으면 데이터가 제대로 관리되지 못하고, 실행 가능한 인사이트가 부족하며, 데이터로부터 가치 창출 시 비효율과 무능이 발생할 위험이 있다.
● D&A 아키텍트: D&A 기술 환경이 일관성을 유지하도록 한다. 아키텍트가 없으면 팀이 비즈니스 요구사항을 충족하지 못하고 도구 및 기술 과잉으로 추가 비용이 발생할 수 있다.
● 데이터 엔지니어: 데이터 엔지니어가 없는 D&A 이니셔티브는 추가 비용, 배포 지연, 데이터 통합, 품질 및 가용성 문제가 발생할 가능성이 높다.
● 데이터 스튜어드: 데이터의 정확성, 품질 및 규정 준수를 보장하여 부정확하거나 잘못 처리된 데이터와 관련된 잠재적 위험을 방지한다.
● D&A 번역가: 기술적 및 비기술적 이해관계자 간의 격차를 줄이고 D&A 채택을 촉진해 D&A 이니셔티브의 가치를 극대화한다. D&A의 변화 관리 요소 해결에 매우 중요하다.
● 데이터 사이언티스트: 복잡한 데이터셋에서 인사이트를 발견하고 고급 분석 기술, 머신러닝 및 통계 모델링을 사용해 비즈니스 문제 해결을 지원한다. 데이터 중심적인 조직에 필수적이다.

이 외에 다른 역할들은 기업 전반에 분산적으로 존재한다. 예를 들면 비즈니스 부문에 마케팅 애널리틱스나 공급망 애널리틱스가 존재하는 것과 같은 형식이다.

이러한 필수 역할들은 세 그룹, 즉 지원, 데이터, 분석 카테고리로 분류될 수 있다.

1. 지원 역할(Supporting Roles)

-최고 데이터 및 분석 책임자(CDAO, Chief Data and Analytics Officer)

CDAO는 D&A 자산과 에코시스템을 통한 가치 창출에 대해 기업이 갖는 주요 책임을 맡는 비즈니스 리더십 역할이다. 이에 상응하는 직책으로는 최고 데이터 책임자, 최고 분석 책임자, 데이터 및 분석 책임자/수석 및 기타 변형된 직책이 있다. 이 역할에는 AI 분야의 책임도 포함된다.

-D&A 아키텍트(D&A Architect)

D&A 아키텍트는 정보 자산을 가장 효과적으로 활용해 비즈니스 성과를 달성할 방법을 기업 관점에서 바라보는 역할로, 정보 자산의 기여도를 식별, 분석하고 선제적으로 권장함으로써 전사적으로 일관된 데이터를 공유한다. 또한 비즈니스 요구사항을 충족하는 데 필요한 기술적 복잡성을 파악할 최적의 방법을 해석하는데, 예를 들면 데이터 사이언스와 머신러닝 기능의 상호 보완 방법에 대한 시나리오를 개발한다.

D&A 아키텍트는 명확한 데이터 모델에 대한 합의를 도출해야 하며 솔루션 아키텍트, 개발자 등과 협력해 D&A 전략을 운영해야 한다.

-D&A 번역가(D&A Translator)

데이터 코치 또는 퍼실리테이터(Facilitator)로도 불리는 D&A 번역가는 D&A 개발자와 비즈니스 사용자 간의 기술 격차를 해소할 뿐만 아니라 조직 전체에서 데이터 리터러시(Data Literacy) 수준을 높이는 데 기여한다. 이 역할은 비즈니스 프로세스 및 이와 관련된 D&A 특성을 잘 이해하며, 이를 D&A 제품 및 서비스로 전환하는 데 도움을 준다. 기술적 이해와 도메인 지식을 결합해야 하며 다양한 혁신 관련자와 협력할 수 있는 감각을 갖춰야 한다.

-기타

이 외에도 데이터 분석가, D&A 관련 위험을 관리하는 D&A 테스터 등이 ‘지원 역할’에 해당한다.

2. 데이터 역할(Data Roles)

-데이터 엔지니어(Data Engineer)

데이터 엔지니어링은 소비자의 요구를 충족시키기 위해 적시에 사용 가능한 형태로 데이터를 변환하는 작업이다. 프로세스 초기에는 모든 데이터 자산의 카탈로그화, 재사용 가능성, 거버넌스, 규정 준수 및 운영 준비 상태를 고려해 데이터 부채를 관리한다.

데이터 엔지니어는 주로 데이터 파이프라인을 구축, 관리 및 운영하는 역할로 프로덕션 수준의 배포를 위해 자동화를 포함해 데이터 딜리버리를 운영한다. 또한 데이터 사이언티스트와 같은 비기술적 사용자가 생성한 데이터셋과 파이프라인을 큐레이션하며, 분석 및 데이터 사이언스 결과물을 기존 비즈니스 프로세스와 애플리케이션에 배포하는 데 핵심적인 작업을 지원한다.

데이터 엔지니어는 데이터와 관련해 어떤 것부터 시작해야 할지, 어떤 파이프라인이 비즈니스 중심적인지 등을 파악하고 있는 사람으로서 미션 크리티컬한 역할을 하며, 그에 따라 비즈니스 부서와의 협력 및 조직의 데이터 엔지니어링 교육도 담당한다.

-리드 데이터 스튜어드(Lead Data Steward)

데이터 스튜어드는 부서/기능별 라인 또는 비즈니스 프로세스 라인에 따라 조직 전체에 광범위하게 분산돼 있다. 그중 리드 데이터 스튜어드는 정책 집행 활동, 동료에게 활동 공유, 정보 거버넌스 이사회에 문제 및 제안 보고로 이어지는 프로세스를 수립해 타 도메인의 데이터 스튜어드를 관리한다. 이를 통해 조직은 일관성 및 활용도를 높인다.

-기타

D&A 및 AI 분야의 여러 역할 중 분석 엔지니어, AI 엔지니어, 도메인 데이터 스튜어드, MDM 프로그램 리드, 데이터 모델러 또한 ‘데이터 역할’로 분류된다. 분석 엔지니어는 데이터 엔지니어와 달리 로컬 데이터 소스 탐색, 이를 지원하는 분산된 분석 등에 집중하고, AI 엔지니어는 AI 기반 애플리케이션을 구동하는 모델의 개발 및 운영을 담당한다. 도메인 데이터 스튜어드는 리드 데이터 스튜어드 역할과 유사한 면이 있으나, D&A 파이프라인의 다른 영역에서 이루어지며 중점적으로 다루는 부분도 다르다. 주로 분석, BI, 데이터 사이언스 팀의 하위 부서에서 D&A 정책 시행을 돕는다.

3. 분석 역할(Analytics Roles)

-리드 데이터 사이언티스트(Lead Data Scientist)

데이터 사이언티스트는 일반적으로 조직의 데이터 사이언스 모델 구축 및 개발에 기여하며 조직의 의사결정 프로세스를 위해 인사이트 및 분석을 지원한다. 보통 컴퓨터 공학, 통계학, 경제학 또는 연관 분야의 학위를 보유한 이들은 각각 상황 분석과 규범 분석을 통해 상황을 예측하고 차선책 모델을 개발하기도 한다. 또한 생성형 AI 솔루션을 개발, 적용 및 테스트하는 데 중추적인 역할을 담당하기 시작했다.

그중에서도 리드 데이터 사이언티스트는 통계, 알고리즘, 마이닝과 같은 정량적 방법 및 시각화 기술을 사용해 복잡한 비즈니스 문제를 해결하고 비즈니스 인사이트를 발견하는 일을 담당한다. 데이터 사이언티스트는 다양한 모습으로 존재할 수 있으며 데이터 사이언티스트라는 용어 또한 종종 광범위하게 적용돼 실제 활동과 항상 일치하지는 않는다. 데이터 사이언티스트는 여러 도메인에서 일할 수 있고 공급망과 같은 단일 도메인에 특화되어 일할 수도 있다.

-최고 데이터 사이언티스트(Chief Data Scientist)

최고 데이터 사이언티스트는 떠오르는 리더십 역할로, 분석 및 AI 전략을 최신 D&A 제품 및 효과적인 서비스 구현으로 전환하는 일을 담당한다. 조직 내 최고위급 데이터 사이언스 직책으로, 응용 데이터 사이언스 접근방식에 특히 중점을 둔다. 이들은 CDAO와 협력하면서도 서로의 역할을 대체하지 못한다. 이러한 현상에서 알 수 있듯, IT의 복잡성 및 확산에 대처하는 조직에서 데이터 사이언스에 특화된 별도의 역할은 거의 필수적인 요소가 됐다.

-기타

이 외에 분석 개발자와 AI 개발자, 도메인 데이터 사이언티스트가 ‘분석 역할’ 카테고리에 포함된다. 분석 개발자는 대시보드, 대화형 데이터 시각화 등을 개발하고 비즈니스 결정을 지원하는 역할로 기존에는 중앙화된 역할이었으나 점점 분산되고 있으며, 데이터 보편화 현상에 따라 비즈니스 사용자가 스스로 데이터를 분석하도록 돕기도 한다. AI 개발자는 자연어 처리, 이미지 인식 및 최적화 등의 머신러닝과 AI 기능으로 여러 애플리케이션을 강화한다. 마케팅 또는 공급망과 같은 단일 도메인에서 활동하는 도메인 데이터 사이언티스트는 데이터 사이언티스트로 훈련된 비즈니스 사용자이다.

미래 D&A 역할에 영향을 미치는 요인

D&A 리더는 조직의 데이터 기반 혁신을 주도한다. 생성형 AI의 급속한 성장은 D&A 리더와 그 팀에 패러다임의 전환을 가져왔으며, 이는 도전과 기회를 동시에 제공하고 있다.

이처럼 D&A의 중요성과 전략적 가치가 커지면서 조직과 D&A 리더는 새로운 과제에 직면했는데, 비(非)기술적 비즈니스 사용자가 수행하는 ‘시민’ 역할로 인해 일부 전통적인 IT 역할이 겪는 혼란이 그 예시다. 생성형 AI의 성숙에 따라 많은 조직에서 생성형 증강을 구축해 필수 역할의 생산성을 높이거나 기술 격차를 해소해 더 많은 인력을 확보하려 하고 있고 기능과 부서를 넘나들며 IT와 비즈니스 기술을 혼합하는 새로운 하이브리드 역할도 등장하고 있다.

다음과 같은 요인들이 이러한 역할의 등장에 영향을 미치고 있다.

● D&A 프로그램의 전략적 중요성 향상에 따라 가치 및 수익 창출을 추구하는 임원급 D&A 리더의 필요성 대두
● 비즈니스 영역에서 주도하는 분석이 증가함에 따라 부서와 사업부 전반에 걸쳐 계약직 및 하이브리드 역할 등장
● AI의 발전으로 D&A 관리자에게 새로운 책임과 역할이 부여되며, 보다 다양하고 복잡한 기술이 요구됨
● 스트리밍 데이터를 사용하는 실시간 분석에 대한 의존도 증가로 다른 기술과 사고방식의 필요성 대두
● 클라우드로 이동하는 데이터 증가 및 확장성, 민첩성, 비용 최적화를 지원하는 인프라 탐색
● 데이터 관리 활동에서 보다 큰 자율성을 요구하는 새로운 사용자의 등장이 기존 데이터 관리 역할에 영향

새로 떠오르는 D&A 역할

D&A 리더는 새로 등장하는 역할을 파악해야 하고 부상하는 기술을 토대로 역할을 개발하기도 해야 한다. 역할에는 프롬프트 엔지니어, 지식 엔지니어, 모델 관리자, 데이터 제품 관리자, 데이터 윤리학자, 데이터 리터러시 프로그램 책임자, 의사결정 엔지니어가 있는데, 이들 중 꼭 필요한 역할로 꼽히는 것인 프롬프트 엔지니어와 데이터 윤리학자이다.

● 프롬프트 엔지니어: 프롬프트 엔지니어링은 생성형 AI 모델에 텍스트 또는 이미지 형태로 입력해 모델이 생성할 수 있는 응답 세트를 내는 활동이다. 이 과정에는 모델에 추가적인 가이드를 줄 수 있도록 예시가 제공되는 인컨텍스트 러닝(In-context learning)이 포함된다. 또한 코드 대신에 다수의 거대언어모델(LLM)이 잠재적으로 작동하는 일련의 프롬프트와 응답을 통해 시스템을 구축하는 데 활용된다. 현재는 데이터 사이언티스트와 소프트웨어 엔지니어가 이 작업을 수행하고 있다.
● 데이터 윤리학자: 기술 혁신이 가능성을 상상력의 임계점까지 확장하고 규제가 혁신의 속도를 따라가지 못하는 상황이 발생하면서 다음 질문이 생겨난다. 데이터로 무엇을 해야 하는가? 이것이 데이터 윤리의 영역이다. 데이터 윤리학자는 데이터 사용으로 의도하지 않았던 결과를 생각하고 그 위험과 기회를 판단한다. ‘새로운 활용으로 어떤 가치가 창출되며 그것이 조직의 가치와 일치하는가’를 질문하며, 데이터가 의도하지 않았던 바람직하지 않은 인사이트나 불균형적인 기술 사용 등의 결과를 모니터링한다. 모든 이해관계자가 윤리적 인식을 갖도록 할 책임 역시 데이터 윤리학자에게 있다.

D&A 리더는 데이터 기반 인사이트를 제공하고 기업의 전략적 의사 결정을 지원하기 위해 현재와 미래의 전문가 역할을 수행할 데이터, 분석 및 AI 팀 구축에 대한 책임을 갖는다. 데이터 기반 기업으로의 전환이 지속되며 새로운 D&A 및 AI 역할이 등장하고 있는 현재, 집중해야 할 D&A 및 AI 역할을 면밀히 살펴 효율적이고 효과적인 팀을 구성하고 이를 통해 우수한 비즈니스 성과를 달성할 수 있기를 바란다.