프런티어 AI 모델이 드러낸 소프트웨어 보안의 균열

소개

최근 프런티어 AI 모델을 직접 테스트본 Unit 42는 초기 조사 결과에서 AI 모델이 소프트웨어 취약점을 식별하는 속도와 규모, 역량에 중대한 변화가 일어나고 있음을 확인했습니다. 이제 단순한 코딩 보조 도구를 넘어, 전방위적인 보안 연구자처럼 기능하는 데 필요한 자율적 추론 능력을 보여주는 첫 프런티어 모델들이 등장하고 있습니다. 이러한 현상은 다음과 같은 점에서 우려를 낳고 있습니다.

• 자율적 제로데이 발견
• N-day 취약점 대응을 위한 패치 적용 기간 축소
• 복잡한 익스플로잇 경로의 고도화된 체이닝
• 강화된 환경의 제어를 우회하기 위한 실시간 적응

프런티어 AI 모델이 위협 환경에 미치는 영향은 단순한 취약점 발견과 익스플로잇에 그치지 않습니다. 가까운 미래에 이러한 모델이 널리 보급되면, 공격 주기 전반에서 AI 기반 공격의 속도와 규모가 급격히 증가할 가능성이 큽니다.

소프트웨어 에코시스템의 취약점을 드러내는 프런티어 모델

Anthropic의 동료들이 상세히 논의한 바와 같이, 프런티어 AI 모델은 AI 모델 역량에 있어 중대한 진전을 보여줍니다. 이들 모델은 인간의 전문성이 최소한으로만 개입되어도 시스템과 소프트웨어의 취약점을 식별할 수 있습니다. 또한 복잡한 익스플로잇 체인 식별을 비롯한 공격 경로를 분석할 수 있습니다.

초기 위협 평가 결과, 프런티어 AI 모델은 소프트웨어의 제로데이 및 N-day 취약점 리스크를 크게 높일 것으로 나타났습니다. 이러한 모델을 활용하면 숙련도가 낮은 공격자도 복잡한 익스플로잇 체인을 찾아낼 수 있을 만큼 진입 장벽이 낮아지는 동시에 취약점 발견부터 익스플로잇까지의 주기가 대폭 줄어듭니다.

오픈 소스 소프트웨어와 공급망 리스크

특히 오픈 소스 소프트웨어(OSS)는 적어도 단기적으로는 프런티어 AI 모델로 인해 상당한 리스크에 노출될 수 있습니다. 지금까지는 "많은 사람이 들여다볼수록 버그는 금방 발견된다"라는 인식이 널리 퍼져 있었습니다. 하지만 소스 코드 공개가 가져오는 투명성은 프런티어 AI 모델 테스트에서 몇 가지 눈에 띄는 결과로 이어졌습니다.

소스 코드를 대상으로 실행했을 때, 프런티어 AI 모델은 취약점과 복잡한 익스플로잇 체인을 식별함에 있어 뛰어난 역량을 보였습니다. 반면 컴파일된 코드(실행 가능한 형태의 코드)를 대상으로 테스트했을 때는 공개된 AI 모델과 비교해 개선 정도가 미미했습니다. 결과적으로 오픈 소스 소프트웨어는 당장 더 큰 리스크에 직면해 있습니다.

거의 모든 상용 소프트웨어가 컴파일된 코드 안에 오픈 소스 구성 요소를 포함하고 있다는 점도 반드시 염두에 두어야 합니다.

분명히 말씀드리자면, Unit 42는 오픈 소스 소프트웨어(OSS)가 상용 소프트웨어보다 본질적으로 더 취약하다고 생각하지 않습니다. OSS가 침해될 위험이 더 높다고 판단된 이유는 소프트웨어 개발 에코시스템의 개방적인 특성 때문인 것으로 보입니다. 여기에는 위협 행위자가 오픈 소스 코드를 활용해 방어자의 가시 범위를 벗어난 취약점을 철저히 테스트할 수 있다는 점과 많은 OSS 프로젝트에서 유지 관리자의 수와 투입 가능한 시간이 제한적이라는 점도 포함됩니다.

Unit 42는 OSS 프로젝트를 대상으로 한 대규모 공급망 침해가 증가할 것으로 예측하며, 이는 최근 발생한 TeamPCP 공급망 공격 및 Axios JavaScript 라이브러리를 겨냥한 북한의 공격과 비슷한 양상을 보일 것입니다.

AI 기반 공격 경로의 새로운 최전선

과장된 기대와 관심에도 불구하고, AI 기반 위협이 위협 환경에 미치는 영향은 아직 초기 단계에 있습니다. 물론 여러 사례와 보안 연구자들의 테스트를 통해 AI를 활용한 공격의 속도와 규모가 크게 향상된 것은 확인된 바 있습니다. 다만 현재까지 이러한 인시던트가 차지하는 비중은 Unit 42가 추적하는 전체 위협 활동 중 매우 작은 수준에 불과합니다.

그럼에도 불구하고 위협 행위자들은 AI 연구와 테스트 역량에 계속해서 투자하고 있습니다. 몇 가지 AI 관련 멀웨어 샘플에 대한 위협 연구에서 언급했듯이, 위협 행위자들은 다음과 같은 목적으로 AI를 테스트하고 있음을 확인했습니다.

• 멀웨어 작성
• 원격 의사 결정(예: C2 운영자 강화 또는 대체)
• 로컬 의사 결정(예: 로컬에서 실행되는 에이전틱 공격 흐름)

Anthropic이 GTG-1002에서 보고한 약 30개 조직을 대상으로 한 AI 기반 공격 사례, Amazon이 보고한 엣지 장치를 노린 대규모 공격 사례와 같이 몇 가지 주목할 만한 예외를 제외하면 전 세계적으로 대규모 캠페인에서 AI가 광범위하게 도입되는 사례는 아직 나타나지 않았습니다.

프런티어 AI 모델이 발전하고 공개 출시되면서, Unit 42는 그동안 경고한 바와 같이 사이버 공격의 속도와 규모, 정교함이 급격히 증가할 것으로 보고 있습니다. 가장 중요한 것은 우리가 프런티어 AI 모델에 해킹 방법을 가르칠 필요가 없다는 점입니다. 이러한 모델은 이미 그 방법을 알고 있으며, 자율적으로 실행할 수 있습니다.

AI가 고도화된 방식으로 활용될 것으로 예상되는 몇 가지 영역을 일반적인 공격 경로를 예로 들어 설명해 드리겠습니다. 여기서는 데이터 유출과 갈취로 이어지는 스피어 피싱을 가정해 보겠습니다.

• 정찰: 공격자는 프런티어 모델을 활용해 인터넷에서 표적 정보를 빠르게 수집합니다. 예를 들면 다음과 같습니다.
  • 보도 자료, LinkedIn, 기업 웹사이트를 통해 주요 리더와 관련 연락처 정보 파악
  • 채용 공고와 파트너십 계약 관련 보도 자료를 통해 해당 환경에서 사용되는 소프트웨어 파악
  • 대규모 언어 모델(LLM)에 이용할 수 있는 기타 정보를 수집하여 소셜 엔지니어링 공격에 사용할 정교한 스피어 피싱 이메일, 문자 메시지 또는 오디오 스크립트 작성
• 최초 액세스: 인간 담당자가 정찰 데이터와 피싱 이메일 초안을 검토한 뒤, 멀웨어를 첨부해 표적에게 전송합니다. 명령 및 제어(C2) 서버의 AI 에이전트가 초기 전송 후 멀웨어가 유입될 때까지 기다립니다.
• 측면 이동 및 탐색: 모델 컨텍스트 프로토콜(MCP) 서버는 설치된 멀웨어에 자율적으로 다음과 같은 작업을 지시합니다.
  • 네트워크 내부 스캔
  • 확인 가능한 영역 매핑
  • 실행 중인 소프트웨어 버전 식별
  • 엔드포인트 및 데이터베이스에서 노출된 자격 증명 수집
  • 장치 간 측면 이동을 수행하며 민감한 데이터 수집

에이전트는 자격 증명 세트가 발견될 때마다 이를 자동으로 테스트하고, 권한을 열거하며, 성공/실패 통계를 자동으로 추적합니다.

• 익스플로잇: 측면 이동과 탐색이 진행되는 동안 AI 에이전트는 데이터를 수집해 MCP C2 서버로 전송합니다. 에이전트는 실행 중인 서비스와 애플리케이션을 분석하고 취약점을 파악한 후에 맞춤형 익스플로잇 코드를 작성하여 온사이트 멀웨어로 전달합니다. 멀웨어가 자율적으로 실행되어 권한 에스컬레이션, 방어 회피, 네트워크 세그먼트 간 측면 이동을 계속 이어갑니다.
• 데이터 유출 및 문서화: 수집된 데이터는 MCP 서버로 반환되어 데이터스토어에 저장됩니다. LLM이 이를 분석해 자동으로 주요 결과를 요약하여 인간 운영자에게 전달합니다. 이러한 요약에는 운영자가 해당 데이터를 사용하려는 목적을 기준으로 탈취된 데이터 세트의 가치를 평가한 내용도 포함됩니다.

그림 1은 전체 공격 경로를 보여줍니다.

분명히 말씀드리자면, 현재 AI가 완전히 새로운 공격 기법을 만들어낼 것으로 보이지는 않습니다. 오히려 AI가 공격을 더 빠르게, 더 자율적으로, 그리고 동시에 여러 표적을 공격할 수 있도록 지원하고 있습니다.

방어자로서 우리가 대비해야 하는 것은 전혀 알려지지 않은 기법이 아니라, AI 기반 공격의 속도와 규모입니다.

우리는 사이버 공격의 방식을 알고 있습니다. 그러한 공격이 남기는 포렌식 증거도 알고 있습니다. 이제 예방과 신속한 대응을 고려하여 설계된, 더욱 강화된 환경으로 전환해야 합니다.

지금 보안 팀이 해야 할 일

Unit 42는 공격적인 예방 및 대응 방식을 도입할 수 있도록 기존 보안 정책을 철저히 검토할 것을 권장합니다. 격리 전에 능동적 모니터링과 대응에 의존하는 완화 조치는 AI 지원 공격자의 속도를 따라잡지 못할 것입니다.

• 침해 발생을 전제로 한 운영: 모든 환경으로 엔드포인트 보호 기능을 확장하고, 기본적으로 침해를 차단하며, 최소한의 모니터링을 수행합니다.
• 코드 가시성 및 거버넌스 확립: OSS의 원본 소스를 엄격하게 관리하고 추적하며, 패키지 레지스트리가 더 이상 안전하지 않다고 가정합니다. 통합된 코드 라이브러리를 신속하게 식별하고 패치할 수 있도록 모든 소프트웨어에 대한 소프트웨어 자재 명세서(SBOM)를 작성합니다. 업데이트에 대해 버전 고정, 해시 검증, 유예 기간을 적용합니다.
• 개발 및 빌드 에코시스템 강화: 빌드 시스템이 인터넷에 접근하지 못하도록 제한합니다. 개발자 시크릿 정보에 보안 볼트를 도입합니다. 빌드 환경과 프로덕션 네트워크에서 노출된 시크릿 정보를 적극적으로 스캔합니다.
• 패치 적용 기간 단축: 정기적 유지 관리에서 벗어나 긴급한 “배포 시간” 관리 체계로 전환합니다. 자동 업데이트와 정기 일정 외 릴리스를 활용해 AI로 가속화되는 N-day 위협에 대응합니다.
• 인시던트 대응 파이프라인 자동화: AI 모델을 배포해 알림을 분류하고, 기술 이벤트를 요약하며, 선제적으로 위협을 탐지합니다. 수동 분류 방식으로는 프런티어 AI 모델이 찾아낼 수 있는 버그의 규모를 감당할 수 없습니다.
• 취약점 공개 정책(VDP) 정비: 전례 없는 규모의 버그 보고에 대비해야 합니다. 조직은 취약점을 수집하고 검증하여 우선순위를 지정할 수 있는 자동 워크플로를 갖춰야 합니다.
• 강력한 아키텍처 장벽 중시: 메모리 안전 언어와 하드웨어 수준 격리로 전환합니다.

결론

우리는 사이버 보안 환경이 크게 요동치는 시기에 들어서고 있습니다. 단기적으로는 프런티어 AI 모델 기능이 확산되면서 공격자들이 전례 없는 규모로 제로데이와 N-day 취약점을 악용할 위험이 커지고 있습니다. 이제 공격은 며칠이 아니라 몇 시간 단위로 이루어질 것입니다. 또한 공격자들이 그 어느 때보다 더 큰 규모와 정교함, 속도로 움직이게 될 가능성도 큽니다. 하지만 이는 방어자들이 AI 기반 위협의 새로운 속도와 규모에 적응해 가는 전환기일 뿐입니다.

이 전환기의 궁극적인 목표는 방어 역량이 우위를 점하고, AI 모델이 위협 행위자보다 더 빠르게, 더 일찍 버그를 찾아 수정하는 미래를 실현하는 것입니다. Unit 42는 방어자가 위협 행위자보다 한발 앞서 대응할 수 있도록 최선을 다하고 있습니다. 앞으로도 계속해서 위협 인텔리전스를 적극적으로 헌팅하고, 분석하고, 보고하며 방어자를 지원할 것입니다.

4월 16일 목요일 진행된 라이브 위협 브리핑을 시청하십시오. Unit 42의 컨설팅 및 위협 인텔리전스 부문 SVP를 맡고 있는 Sam Rubin과 Palo Alto Networks의 CISO인 Marc Benoit가 프런티어 AI 모델이 머신 규모와 속도로 이전에 탐지되지 않았던 노출 영역을 찾아내어 악용하는 방식을 논의하고, 비즈니스 중단을 방지하기 위해 보안 리더가 지금 당장 취할 수 있는 실질적인 방어 조치를 공유합니다. 지금 시청하세요.

추가 자료

• 무기화된 인텔리전스 – Nikesh Arora, Palo Alto Networks 
• 사이버 보안에 미치는 프론티어 AI의 영향에 대한 방어자 가이드 – Lee Klarich, Palo Alto Networks  
• Unit 42 프론티어 AI 방어 솔루션 소개 – Sam Rubin, Palo Alto Networks  
• AI의 우위를 되찾기 – Unit 42, Palo Alto Networks 
• Unit 42 최신 인사이트: 프론티어 AI 모델로 인한 위험 대응 – On Demand Threat Briefing, Unit 42
• Claude Mythos Preview의 사이버 보안 기능 평가 – Frontier Team Red, Anthropic 
• 프로젝트 글래스윙: AI 시대를 위한 핵심 소프트웨어 보안 – Anthropic