[컴퓨터월드] 2023년 생성형 AI(Generative AI) 기술은 보안 업계에서도 화두였다. 보안 업체들은 솔루션에 생성형 AI를 접목해 보안 업무의 효용성을 높이고자 했고, 반대로 공격자들은 생성형 AI로 공격의 규모와 횟수, 정교함을 크게 높이고 있다. 2024년에도 생성형 AI의 중요성은 여전할 것으로 보이는 가운데, 보안 업계에서 생성형 AI가 어떻게 쓰이고 있는지를 정리했다.

생성형 AI, 보안 분야에서도 유용

챗GPT(ChatGPT)로 인해 촉발된 생성형 AI 바람이 IT업계 전체를 강타하고 있다. 공개된 생성형 AI 기술을 기존에 보유한 솔루션과 접목해 사용성 및 편의성 측면에서 한 단계 진화를 이뤄내려는 시도를 포함, 전 산업에서 어떻게 하면 생성형 AI를 활용해 사업을 혁신할 수 있을지를 고민하고 있다.

보안 분야에서도 생성형 AI 기술은 많은 이점을 제공해줄 것으로 기대된다. 일반적인 AI 기술은 대규모 데이터를 빠르게 식별하고 분류함으로써 사람의 업무 공수를 크게 줄일 수 있다는 것이 최대 장점이다. 여기에 생성형 AI 기술은 대화를 기반으로 AI 기술을 보다 쉽게 활용할 수 있도록 함으로써 효용성을 극대화하고 있다. 이에 보안 업계는 생성형 AI를 빠르게 솔루션에 접목시키며 보안 팀이 마치 중급 수준의 사이버 보안 전문가를 고용한 듯한 효과를 낼 수 있도록 하고 있다.

대표적으로 마이크로소프트(MS)는 생성형 AI를 접목한 ‘마이크로소프트 시큐리티 코파일럿(Microsoft Security Copilot)’을 발 빠르게 선보이며 보안 조직의 업무를 효과적으로 보완할 수 있음을 강조한 바 있다. 쉬운 예로 MS의 시큐리티 코파일럿은 “현재 회사 내 모든 보안 사건(incident)을 요약해 보여줘”라고 자연어로 입력하면 정제된 관련 정보를 제공해준다고 소개됐다.

MS에 따르면 시큐리티 코파일럿은 보안 팀이 공격자의 전술, 테크닉, 절차 등에 대한 최신 정보를 유지할 수 있도록 지속적으로 학습하고 개선된다. 위협에 대한 시큐리티 코파일럿의 가시성은 고객 조직의 보안 데이터와 마이크로소프트의 방대한 위협 분석 결과를 통해 확보된다.

또한 시큐리티 코파일럿은 팀 전반의 지식 격차를 해소하고 워크플로와 위협 행위자 프로필, 인시던트 보고 기능을 개선해 사이버 보안의 스킬 부족 문제를 해결할 수 있도록 지원한다. 이러한 AI 기반의 시큐리티 코파일럿을 통해 모든 규모의 보안 팀이 기존에 더 큰 조직에서나 갖출 수 있던 보안 기술과 능력을 확보할 수 있게 된다는 게 MS 측 설명이다.

보안 AI 어시스턴트 접목 활발

MS를 시작으로 2023년 한 해 동안 상당수의 주요 보안 업체들이 생성형 AI를 ‘어시스턴트(Assistant; 비서)’로 채택, 보안 업무의 편의성을 높이는 방향으로 보유한 솔루션을 강화했다.

트렌드마이크로는 지난해 6월 자사의 통합 XDR(확장된 탐지 및 대응) 플랫폼 ‘트렌드 비전 원(Trend Vision One)’에 생성형 AI 기반 사이버 보안 어시스턴트 ‘컴패니언(Companion)’을 접목함으로써 보안 운영을 강화하고 생산성과 효율성을 높였다고 발표했다. 컴패니언은 애널리스트의 숙련도에 따라 AI가 적절한 지원을 맞춤형으로 제공함으로써 팀 내 기술 격차를 해소하고, 위협 탐지 및 대응과 사이버 위험 관리를 한층 편리하고 효율적으로 할 수 있도록 돕는다고 소개됐다. 특히 컴패니언은 제로데이 취약점을 포함하는 주요 위험과 취약점을 정확하게 파악해 안내하고, 우선 순위를 매겨 보안 피로도를 감소시키는 것이 특징이라고 소개됐다.

그리고 트렌드마이크로는 지난해 11월 말 ‘트렌드 컴패니언(Trend Companion)’이라는 이름으로 차세대 AI 도구를 정식 출시했다고 발표했다. 트렌드 컴패니언은 일반적인 자연어 인터페이스를 사용해 보안 분석가가 수동으로 위험 평가 및 위협 조사를 시행하는 시간을 50% 이상 단축시키는 효과를 제공한다. 경고에 대한 맥락 파악 및 설명, 맞춤형 대응 방안 분류 및 권장, 복잡한 스크립트와 명령줄 디코딩 및 설명 기능 등을 통해 분석가가 정교한 위협 헌팅 쿼리를 개발하고 실행할 수 있게 지원한다.

또 다른 XDR 플랫폼 제공 업체인 크라우드스트라이크도 지난해 10월경 자사의 ‘팔콘(Falcon)’ 플랫폼에 생성형 AI 기능을 제공하는 ‘랩터(Raptor)’라는 이름의 신규 XDR 서비스를 선보였다. 특히 랩터는 ‘샬롯 AI 조사관(Charlotte AI Investigator)’이라는 기능을 통해 사고 생성과 조사를 자동화, 보안 업무의 속도와 효율을 크게 높일 수 있다고 소개했다.

지난 12월 말에는 포티넷도 생성형 AI 어시스턴트인 ‘포티넷 어드바이저(Fotinet Advisor)’를 출시했다는 소식을 발표했다. 포티넷 어드바이저는 포티넷의 보안 정보 및 이벤트 관리(SIEM) 솔루션인 ‘포티SIEM(FortiSIEM)’과 SOAR(보안 오케스트레이션, 자동화 및 대응) 솔루션인 ‘포티SOAR(FortiSOAR)’에서 사용할 수 있다. 포티넷 어드바이저는 상황에 맞는(contextually aware) 사고 분석, 교정 지침, 플레이북(playbook) 템플릿을 제공함으로써 중요 정보를 단 몇 초 안에 자연어로 전달해 탐지 및 대응에 드는 평균 시간을 단축하고, 조직의 전반적인 보안 태세를 향상시킨다고 소개됐다.

CISO들도 생성형 AI 관심 높아

생성형 AI의 보안 분야 활용에 대해서는 보안 업체뿐만 아니라 기업과 기관의 CISO(최고정보보호책임자)들도 높은 관심을 갖고 있는 것으로 나타났다. 스플렁크의 2023 CISO 연구 보고서에 따르면, CISO의 35%가 멀웨어 분석, 워크플로 자동화, 위험 평가와 같은 사이버 방어 업무를 위해 이미 AI를 실험하고 있다고 응답했다.

또한 생성형 AI 활용에 대한 기대 역시 대다수가 긍정적인 것으로 파악됐다. 스플렁크 조사에서 CISO의 86%는 “생성형 AI가 보안팀에서 겪고 있는 기술 격차와 인재 부족 문제를 완화할 것이라고 믿는다”고 응답했다. 이는 노동 집약적이고 시간이 많이 소요되는 보안 업무를 AI가 대신 빠르고 효율적으로 수행함으로써, 보안 전문가가 보다 전략적인 업무에 집중할 수 있게끔 도울 수 있다는 것에 대다수가 동의한다는 것으로 해석된다.

이와 함께 응답자의 35%는 보안 애플리케이션을 위해 생성형 AI를 사용하고 있다고 답했으며, 61%는 향후 12개월 내에 생성형 AI를 사용할 가능성이 높다고 답한 것으로 나타났다.

방패 뿐 아니라 창도 강화 가능

하지만 문제는 생성형 AI로 강화할 수 있는 것이 보안에 국한되지 않는다는 점이다. 당연하게도 공격자 역시 생성형 AI를 충분히 활용할 수 있다는 점에서 전문가들은 많은 우려를 하고 있다.

실제로 공격자들은 생성형 AI를 활용해 맞춤형 피싱 메일을 수십 초 만에 제작하는 등 작업의 효율성 측면에서 큰 효과를 보고 있다. AI를 활용해 더욱 정교하고 한층 규모가 큰 피싱 공격을 보다 쉽게 수행할 수 있는 것이다.

딥러닝 기술 기반 사이버 보안 업체인 딥 인스팅트는 지난해 8월 자체 발간한 보고서(Voice of SecOps)를 소개하면서 기업 사이버 보안 전문가의 75%가 지난 12개월 동안 사이버 공격이 증가하는 것을 목격했다고 답했으며, 이들 중 85%는 생성형 AI가 이러한 증가의 원인이라고 지목했다는 조사 결과를 공유했다.

또한 응답자의 46%는 생성형 AI가 기업의 취약성을 증가시킨다는 데 동의했으며, 구체적으로 △개인정보보호 관련 문제 증가(39%) △탐지 불가능한 피싱 공격(37%) △공격의 규모와 속도 증가(33%) 등을 3가지 상위 위협으로 지적했다. 그 밖에 딥페이크 증가(33%), 내부자 공격(31%) 등도 우려할 만한 공격으로 꼽았다.

보안업계 한 관계자는 “생성형 AI가 처음 등장했을 때 가장 인상깊었던 것은 아마도 텍스트 콘텐츠를 너무나도 그럴 듯하게 생산한다는 점이었을 것이다. 그런데 공격자들은 이제 생성형 AI가 만들어낸 자연스러운 텍스트를 피싱 공격에 활용하고 있다. 피싱 이메일은 물론 AI 보이스피싱까지, 너무나도 자연스럽고 정교한 공격들이 생성형 AI 기술을 활용해 이뤄지고 있다”고 설명했다.

SK쉴더스 이큐스트(EQST) 이호석 담당도 지난달 열린 간담회에서 “실제 국내를 주로 노렸던 랜섬웨어 그룹인 ‘귀신(GWISIN)’의 경우 해외에서 공격을 하면 말투가 굉장히 어눌하고, 문맥이 맞지 않는 경우가 많았다. 하지만 지금은 생성형 AI를 활용해 상당히 자연스러운 텍스트로 공격을 시도한다”고 말한 바 있다.

사이버 공격 전용 GPT 모델도 등장

생성형 AI를 활용한 악성 코드 작성도 문제가 되고 있다. 이는 챗GPT가 등장한 지 얼마 지나지 않아 확인된 문제다. 물론 현재는 악성 코드의 제작과 같은 불법적 행위는 챗GPT 등 공개된 일반 서비스에서 수행할 수 없도록 조치가 돼 있다.

그러나 최근 공격자들은 사이버 공격에 특화된 생성형 AI를 제작해 판매하고 있다. 이른바 ‘웜GPT(WormGPT)’, ‘프러드GPT(FraudGPT)’ 등의 이름으로 불리는 전용 생성형 AI 프로그램들이 다크웹을 중심으로 거래되고 있는 것이다. 이러한 악성 툴들은 심지어 월 구독 형태로 제공되고 있어 접근성이 매우 높다는 점에서 우려를 더하고 있다.

AI로 작성된 멀웨어가 기존보다 탐지하기 한층 어렵다는 보고도 있다. 아크로니스(Acronis)에 따르면 최근 사이버 범죄자들은 AI와 기존 랜섬웨어 코드를 사용해 피해자의 시스템에 더 깊이 침투하고 민감한 정보를 추출하는 등 더욱 정교한 공격을 펼치고 있다. 아크로니스 측은 “AI로 제작된 멀웨어는 기존 안티바이러스 모델의 탐지를 능숙하게 피할 수 있다. 최근 일부 공격이 더욱 지능적이고 정교해졌으며, 탐지하기 어려워진 것을 인식하고 있다”고 밝힌 바 있다.

다양한 보안 위협 지적…관련 논의 강화돼야

공격자들의 생성형 AI 악용뿐만 아니라 안전한 활용에 대한 문제도 지적된다. 챗GPT와 같은 서비스에 개인정보나 회사 기밀 등과 같은 민감한 정보를 입력하는 경우가 문제로 지적되면서, 실제 몇몇 국내외 기업들이 업무에 챗GPT 사용을 금지하거나 관련 지침을 내리는 등의 조치를 취하기도 했다.

챗GPT와 같은 대규모언어모델(LLM) 기반의 생성형 AI 서비스는 학습된 데이터를 기반으로 사용자의 질문에 답변하며, 특히 질문과 함께 답변에 대한 사용자의 평가를 학습함으로써 답변의 수준을 지속적으로 높이는 것이 특징이다. 하지만 사용자의 질문을 학습한다는 점에서 개인정보나 기밀 정보가 학습돼 불특정 다수에게 공개될 수 있다는 우려가 제기된다. 즉 입력된 정보가 폐기되지 않고 AI의 학습에 사용될 수 있는 만큼, 향후 다른 사용자의 질문에 답변하는 과정에서 입력했던 민감 정보가 유출될 수도 있다는 것이다.

이에 기업들은 유료로 전용 챗GPT 서비스를 이용하거나 자체 프라이빗 LLM(Private LLM)을 도입하는 등 대응책을 마련하고 있다. 또한 국내 보안 기업인 지란지교데이터는 챗GPT에 입력하는 내용을 모니터링하는 ‘AI 필터(AI FILTER)’ 라는 솔루션을 선보이기도 했다. AI 필터는 챗GPT 프롬프트에 입력되는 질의와 응답 내용을 모니터링하면서 지정된 키워드나 문장 패턴 등이 탐지될 때 차단하는 기능을 제공한다. 또 다른 국내 보안 기업인 파수도 최근 ‘AI-R DLP(AI Radar Data Loss Prevention)’라는 이름의 생성형 AI 보안 솔루션을 출시했다.

사용자에 따라 결과물 달라지는 도구일 뿐

생성형 AI는 불가침의 영역으로 여겨졌던 인간의 창의력과 지능을 소프트웨어가 기대 이상으로 구현하면서 혁신의 대명사로 자리잡았다. 하지만 지금까지 살펴본 사이버 보안 부문에서의 활용사례에서도 알 수 있듯, 악의적인 이용이 확대되면서 많은 우려를 낳고 있는 것도 사실이다. 하지만 생성형 AI 자체에는 죄가 없다. 생성형 AI는 활용할 수 있는 도구일 뿐이며, 사용하는 사람의 판단에 따라 결과물이 달라지는 것이라는 점을 명심해야 한다.