국방에 기여하는 국방기술품질원의 이야기

기술로 품질로

[기고]

국방 분야 데이터 및 AI 활용을 위한
美 CDAO Defense Data & AI 심포지움 2024 참관기

AI·사이버팀 이영민 선임연구원 / 기술기획실 최우석 선임연구원

미국 CDAO(최고 디지털 AI 사무국)는 미 국방부(DoD)의 국방 데이터와 AI 분석을 총괄하는 기구로, 책임 있는 AI(RAI) 실현을 위한 거버넌스를 구축하고 있다. CDAO는 AI의 설계·개발·배포에 대한 5가지 윤리원칙을 채택하고, 윤리원칙에 부합하는 역량을 구축하기 위해 ‘책임 있는 AI 전략 구현경로’를 배포하는 등 AI 신뢰성을 매우 중요한 가치로 여긴다.
본 기고자는 CDAO가 주관하는 심포지움에 참석해 AI 신뢰성 확보를 위한 정책·제도의 방향성과 RAI 구현을 위한 실질적인 수행 방법·도구·사례를 살펴보았으며, 국방기술품질원이 수행 중인 전순기 품질관리에 AI를 적용하는 데 많은 시사점을 도출할 수 있었다.

미 국방부 CDAO

2018년 7월 미국 국방부(Department of Defense, DoD)는 합동 인공지능 센터(Joint Artificial Intelligence Center, 이하 JAIC)를 창설하여 인공지능(이하 AI)의 국방 분야 적용을 위한 연구를 수행해 왔다. JAIC를 주도로 하여 AI 지원 기능의 설계, 개발, 배포에 대한 5가지 윤리원칙을 조정하고 이행하도록 지시하였다.

그림 1. DoD AI 윤리원칙

2022년에는 이러한 JAIC의 기능을 흡수하여 최고 디지털인공지능국(Chief Digital and Artificial Intelligence Office, 이하 CDAO)을 신설하였다. CDAO는 국방부 전체의 AI와 데이터 분석, 디지털 서비스 등을 총괄하는 조직으로 책임 있는 AI(Responsible Artificial Intelligence, 이하 RAI) 전략 수립과 생태계 구현, 그리고 RAI 전략 및 구현경로(Responsible Artificial Intelligence Strategy&Implementation Path)를 발표하였다.

그림 2. CDAO 조직 구성도
[출처] 국방기술학회(해외 주요국의 국방 AI 현황 연구)

이처럼 미국 국방부는 CDAO를 필두로 국방 AI 데이터와 모델 등 AI 적용 체계의 책임 있는 설계, 개발, 전력화, 운용을 위한 노력을 지속해오고 있다.

ECDAO 데이터&AI 심포지움

그림 3. Advantage DoD 2024 Defense Data&AI 심포지움

CDAO가 주관하는 데이터&AI 심포지움은 미국 정부와 업계·학계의 주요 데이터 리더와 개발자를 초청하여 최첨단 데이터 분석과 AI 미래를 논의한다. 2024년에는 2월 20일부터 3일간 워싱턴 D.C.에서 행사를 개최하였으며, 인공지능·데이터·RAI·초거대언어모델 등으로 세션을 구분하여 미 국방부의 데이터·AI 추진현황을 공유하고 국제협력을 추진하였다.

CDAO의 총괄책임자(Dr. Craig Martell)는 환영사에서 “심포지움은 데이터·AI에 대한 분석, 질문, 논의뿐 아니라 가능한 많은 조직에 있는 사람들 간의 연결이 목적”이라며, “미국이 국가 안보를 보장할 수 있도록 혁신적인 아이디어를 공유하고 관계를 형성하기를 기대한다”고 말했다.

세션 발표

심포지움은 8개의 세션(획득, 인공지능, 데이터, 책임&신뢰있는 AI, TF Lima/LLMs, 데이터 분석, 디지털 전투, 재능&문화)에서 총 44개의 발표 및 토론이 이루어졌다.
특히 "책임&신뢰 있는 AI 세션"에서 국방 AI 위험 가이드, SHIELD 기획 프로세스, RAI 툴킷을 발표하였다. RAI와 RAI 툴킷은 국방기술품질원의 고유 업무인 전순기(개발-양산-운용유지) 품질관리와 시험평가, 규격화, 추적관리 측면에서 연관성이 높아 뒤에서 별도로 소개한다.

전시 부스

‘연결을 만드는 것’이라는 행사 목적에 부응하듯 다양한 기업이 심포지움 전시부스에 참여하여 자사의 기술능력과 제품을 선보였다.

가장 먼저 눈에 띈 전시품은 Techolution社의 로봇팔(Arm-Robot)이다. 'Alice‘는 로봇팔을 이용하여 물건을 잡고 옮기거나 작업을 지시한다. 이러한 로봇 기술은 제조업 현장에서 활발하게 적용되고 있으며, 특히 위험한 현장에서 사람을 대체할 수 있어 안전사고를 예방해 준다.

그림 4. Techolution社 로봇 'Alice' 시연

AI·데이터 심포지움이다보니 모니터 기반의 프로그램 소개가 다수였는데, 그중 객체 탐지 모델을 시연하고 있는 CoVar社를 방문했다. CoVar社는 물체를 감지·추적·경고하는 기능 외에도 업체의 요구사항과 목표 달성을 위해 맞춤형 서비스를 제공하는 컴퓨터 비전 알고리즘 개발 업체이다.

그림 5. CoVar社 객체 탐지 시연

다수의 전시부스가 영상 이미지를 기반으로 한 객체 탐지 모델을 소개하고 있었는데, 국내뿐만 아니라 국외에서도 AI 관련 객체 탐지 모델이 활발하게 연구되고 있음을 확인할 수 있었다. 또한, AI 객체 탐지 모델이 적용된 무기체계가 국내 도입될 경우를 대비해 AI의 성능 평가와 품질 확보에 대한 선제적인 준비가 필요함을 다시 한번 실감하였다.

그림 6. 전시부스 사진

책임 있는 AI(RAI) 및 RAI 툴킷

RAI

“RAI”는 단순히 공학적으로 안전하고 신뢰할 수 있는 AI 시스템을 확보하는 것뿐만 아니라 동맹국과의 상호운용성 보증, 위험식별 감소 방안, 획득 및 배포 절차 등 공유 가치를 고려한 넓은 개념이다.

RAI는 AI의 윤리적 모호성과 위험성에 대한 우려에서 파생된 개념으로, 편향성에 의한 차별과 AI의 의사결정에 따른 책임성이 대표적인 우려라고 할 수 있다. 이러한 이유로 미 국방부(DoD)는 정부·산업계·학계 등 각계 주요 AI 전문가들과 15개월간의 협의를 거쳐 2020년에 5대 AI 윤리 원칙(책임 있는, 공정한, 추적 가능한, 믿을 수 있는, 관리 가능한)을 채택하고 공표하였다.

또한, 2022년에는 AI 윤리원칙에 부합하는 역량 구축을 위해 ‘RAI 전략 및 구현경로(RAI Strategy and Implementation Pathway)’를 미 국방부차관(Kathleen H. Hicks) 서명을 거쳐 배포하였다.

그림 7. RAI 전략 및 구현경로(2022)

RAI 툴킷

“RAI 툴킷”이란 'RAI 전략 및 구현경로'에 따라 구축되는 기능을 구현하기 위한 프레임워크이다. AI 기능을 책임 있게 개발·배포·사용하는 데 도움이 되는 다양한 고려 사항을 제공한다. 또한, AI 시스템의 전체 수명주기(설계, 개발, 배포 및 사용 포함) 동안 AI 윤리원칙과 일치하는지 확인하기 위한 연결을 제공한다.

RAI 툴킷은 AI 윤리원칙 및 RAI 전략·구현경로와의 일치성을 식별하여 추적·개선하고 위험을 관리할 수 있는 중앙 집중식 프로세스로, 현재는 최소한의 기능만 포함된 웹(앱)과 문서들로 구성되어 있다.

그림 8. RAI 툴킷 도구 및 기능 예시표

평가자가 편향성, 신뢰성, 안전성 등의 요소를 평가할 수 있도록 지원하는 소프트웨어 기반 기능부터 주요 성능지표, 진행률을 추적하여 상태 및 위험에 대한 가시성을 제공하는 총괄 대시보드 등 다양한 기능이 포함되어 있다.

그림 9. RAI 툴킷 구성요소
현재 사용가능(좌측) vs 개발 중(우측)

현재 RAI 툴킷은 계획 도구, 데이터베이스 도구/자원으로 구성되어 있다. 계획 도구를 통해서는 잠재적 위험을 식별하고 문서화 할 수 있는 RAI 활동 계획을 작성할 수 있으며, 데이터베이스 도구/자원을 통해서는 소프트웨어 도구, 지침 및 모범사례, 체크리스트 등을 확인할 수 있다. 현재는 모범사례, 학술문서, 도구 등 검색 가능한 데이터베이스를 70개 이상 보유하고 있으며, 이러한 정보는 지속적으로 추가 발전될 예정이다. 특히, 앞으로는 RAI 전략 구현 정도를 확인할 수 있는 평가 도구까지 탑재될 예정으로 우리나라 국방 분야 AI 성능 평가에서도 활용이 가능할 것으로 판단된다.

본 심포지움에서 미 CDAO에서 수행한 AI 데이터 연구결과, 미 DoD의 정책적인 방향성과 직면 과제를 확인할 수 있었다. 특히 CDAO는 기조연설에서 AI 기능 및 데이터의 균형을 강조하면서 장기적 관점에서 ‘데이터 품질’이 전장의 승패를 좌우한다고 밝혔다.

이러한 관점에서 국방 AI 적용 무기체계도 개발단계에서부터 AI 모델 학습에 필요한 양질의 데이터를 확보하고 사용할 수 있도록 데이터 품질 점검 절차를 확립해야 하며, 이를 위한 제도 개선과 인프라 구축이 필요할 것이다. 또한, 환경 변화에 따라 AI 모델의 성능 편차가 발생하므로 운용유지단계에서 운용 환경 데이터로 재학습하여 AI 모델을 최신화하고, 그 결과를 개발-양산 단계로 환류하는 업무가 정착되어야 할 것이다.

마지막으로 국내 개발 무기체계가 점차 AI 적용을 확대하는 변곡점에 있는 시기이므로, RAI 툴킷 등을 활용하여 신뢰성 높은 AI가 탑재된 무기체계가 군에 납품될 수 있도록 군 당국과 국방기관이 함께 고민해야 할 것이다.