AI에게 항공 안전을 맡길 수 있을까?

AI가 그 자체로 인증 대상이 되는 경우

첫 번째 경우는 AI가 항공기 또는 항공운항 시스템의 일부가 되는 경우다. 예를 들어 AI가 조종사에게 교통상황을 알려주거나, 활주로 침입 위험을 탐지하거나, 임무장비 데이터를 분석하거나, 기체 이상징후를 예측하거나, 무인기의 자율비행 판단을 지원한다면 그 AI는 단순한 소프트웨어가 아니다. 항공기의 안전성에 영향을 미칠 수 있는 기능이 된다. 이 경우 AI는 인증을 돕는 도구가 아니라, 인증을 받아야 하는 대상이다.

미국 FAA는 「Roadmap for Artificial Intelligence Safety Assurance」에서 항공기·항전장비 설계자가 AI를 안전하게 설계에 반영하려고 하지만, AI 안전성 입증방법에 대한 불확실성이 시장 도입의 장벽이 되고 있다고 설명한다.[1] 이는 항공 AI의 핵심 쟁점을 잘 보여준다. AI가 유용하다는 것과 AI가 항공안전 기준을 만족한다는 것은 같은 말이 아니다. 항공기에 탑재되는 AI는 “성능이 좋다”는 수준을 넘어 “예상 가능한 운용조건에서 안전하게 작동한다”는 점을 입증해야 한다.

기존 소프트웨어 인증과 다른점

전통적인 항공 소프트웨어는 요구사항에서 설계, 코드, 시험으로 이어지는 추적성이 중요하다. 어떤 기능이 왜 필요한지, 어떤 요구사항을 만족하는지, 그 요구사항이 코드와 시험으로 어떻게 연결되는지를 설명할 수 있어야 한다. 그런데 AI, 특히 머신러닝 기반 AI는 다르다. 사람이 모든 규칙을 명시적으로 작성하기보다, 데이터 학습을 통해 모델이 기능을 획득한다. FAA는 학습된 AI에서는 요구사항과 내부 구현 사이의 전통적 추적성이 약해질 수 있고, 신경망의 수많은 가중치가 상위 요구사항과 직접 연결되어 설명되기 어렵다고 본다.[2]

이 차이는 인증의 난도를 크게 높인다. 기존 소프트웨어는 “요구사항을 만족하는가”를 확인하는 방식으로 접근할 수 있지만, AI는 “학습데이터가 충분히 대표적인가”, “모델이 예외상황에서도 안전하게 작동하는가”, “운용환경이 학습환경과 달라질 때 성능이 어떻게 변하는가”, “AI가 틀렸을 때 사람이 알아차릴 수 있는가”까지 함께 봐야 한다.

특히 운용 중 계속 학습하는 AI는 더 어렵다. FAA는 이미 학습이 완료되어 운용 중에는 고정된 형태로 쓰이는 learned AI와, 운용 중 계속 학습하며 변화하는 learning AI를 구분한다. learned AI는 설계·검증 단계에서 안전성을 입증한 뒤 운용 중 모니터링을 통해 관리할 수 있지만, learning AI는 운용 중 스스로 변하기 때문에 매 순간의 모델 상태를 기존 방식으로 검증하기 어렵다. FAA는 이러한 learning AI가 성능 저하나 비일반화된 학습을 일으킬 수 있으며, 능동적 성능감시나 반복 인증 같은 새로운 접근이 필요할 수 있다고 설명한다.[3]

유럽항공안전청 : 신뢰가능성을 인증 틀 안으로

유럽 EASA는 AI를 항공 인증체계에 편입하기 위한 방향을 가장 체계적으로 제시하고 있다. EASA의 AI Roadmap 2.0은 항공 AI에 대해 안전과 윤리적 고려사항을 함께 다루는 인간중심 접근을 제시한다.[4] 이어서 EASA AI Concept Paper Issue 2는 Level 1 AI와 Level 2 AI를 중심으로 guidance를 제시한다. 여기서 Level 1은 인간 능력을 보조하거나 향상시키는 AI이고, Level 2는 인간-AI 협업, 즉 human-AI teaming을 포함하는 AI다. EASA는 이 문서에서 learning assurance, AI explainability, ethics-based assessment, human-AI interaction을 핵심 개념으로 제시한다.[5]

2025년에 공개된 EASA NPA 2025-07은 한 걸음 더 나아가 AI 신뢰가능성에 관한 상세 사양과 적합성 수단을 제안했다. 특히 NPA 2025-07(B)의 DS.AI는 AI 기반 시스템의 trustworthiness를 확보하기 위한 기술요구사항 체계를 세우는 것을 목적으로 하며, Level 1, 즉 human augmentation or assistance, Level 2, 즉 human–AI cooperation or collaboration에 해당하는 고위험 AI 시스템을 적용 대상으로 삼는다.[6] 동시에 항공기 손실이나 다수의 생명위협으로 직접 이어질 수 있는 안전치명(catastrophic) 수준의 영역, 운용 중 온라인 학습 기능을 가진 시스템 등은 초기 범위에서 제외하고 있다.[7] 이는 항공 규제기관이 AI를 허용하되, 가장 위험한 영역까지 단번에 열어두지는 않겠다는 신중한 접근으로 볼 수 있다.

이 접근은 군용항공기나 무인기 분야에도 시사점이 크다. AI 기반 표적식별, 자율경로계획, 충돌회피, 임무관리, 군집비행, 예지정비 기능은 모두 안전성에 영향을 줄 수 있다. 따라서 이들 기능은 “AI라서 특별히 면제”되는 것이 아니라, 오히려 데이터, 알고리즘, 인간-기계 인터페이스, 운용제한사항, 모니터링, 형상관리까지 포함한 새로운 방식의 안전성 입증을 요구받게 될 것이다.

인증 대상 AI의 핵심 검토축

AI가 인증 대상이 될 때 핵심 검토축은 다음과 같다.

먼저, 기능 위험도다. AI가 단순한 참고정보를 제공하는지, 조종사 결정을 직접 보조하는지, 항공기 제어 또는 임무 판단에 영향을 주는지에 따라 요구되는 보증수준은 달라져야 한다.

두 번째로는, 데이터 보증이다. AI는 데이터로 학습한다. 따라서 데이터의 대표성, 품질, 편향, 누락, 라벨링 오류, 운용환경과의 차이를 검토해야 한다. AI 성능이 시험데이터에서는 좋아 보여도 실제 운용환경에서 달라질 수 있기 때문이다.

세 번째는, 설명가능성과 인간 이해 가능성이다. 조종사, 정비사, 인증담당자, 안전관리자가 AI의 판단을 전혀 이해할 수 없다면 안전관리의 기반이 흔들린다. 설명가능성은 단순히 기술적 호기심이 아니라, 이상상황에서 사람이 적절히 개입하기 위한 조건이다.

네 번째로, 운용 중 감시다. AI 성능은 데이터 분포 변화, 센서 성능 변화, 운용환경 변화에 영향을 받을 수 있다. 따라서 인증 시점의 성능뿐 아니라 운용 중 성능감시, 이상탐지, 재학습 또는 업데이트 시 재검증 기준이 필요하다.

마지막으로, 인간-AI 역할분담이다. AI가 무엇을 판단하고, 사람은 무엇을 확인하며, AI가 불확실할 때 시스템은 어떻게 행동하는지가 명확해야 한다. “사람이 최종 책임자”라는 말만으로는 충분하지 않다. 사람이 실제로 상황을 이해하고 개입할 수 있는 시간, 정보, 권한을 가져야 한다.

AI가 인증 도구로 활용되는 경우

두 번째는 AI가 인증업무를 돕는 도구로 활용되는 경우다. 이는 앞의 경우와 성격이 다르다. 여기서 AI는 항공기 안에 탑재되는 기능이 아니라, 사람이 항공기 안전성을 검토하는 과정에서 사용하는 분석·검색·검토 도구다.

예를 들어 AI는 감항기준, 규정, 표준, 과거 인증사례를 검색할 수 있다. 제출자료의 누락 가능성을 확인할 수 있다. 설계변경 전후 문서를 비교하고, 해당 변경이 구조, 비행성능, 항전, 소프트웨어, 정비성, 비행교범, 감항성유지지침 중 어디에 영향을 미치는지 후보를 제시할 수 있다. 시험자료와 인증계획의 불일치도 표시할 수 있다. 이러한 기능은 인증담당자의 반복 업무를 줄이고, 검토 품질을 높일 수 있다.

FAA도 AI가 항공안전을 보증하기 위한 도구와 절차에 활용될 경우 상당한 개선 가능성이 있다고 본다. 다만 FAA는 기업이 자사 제품, 적합성, 적합성 입증에 대해 책임을 진다는 점은 AI 산출물 사용 여부와 무관하다고 설명한다.[8] 이는 중요한 원칙이다. AI가 보고서 초안을 쓰거나 분석 후보를 제시하더라도, 최종 적합성 입증의 책임은 AI가 아니라 개발자, 인증신청자, 검토자, 승인권자에게 남는다.

인증 도구로서 AI가 잘할 수 있는 일

인증업무에서 AI가 우선적으로 맡을 수 있는 일은 대체로 문서중심 보조기능이다.

첫째, 기준·규정·선례 검색이다. 특정 항공기 변경사항이 어떤 감항기준과 관련되는지, 과거 유사사례에서 어떤 자료가 요구되었는지, 관련 표준과 지침이 무엇인지 빠르게 찾아줄 수 있다. 다만 이때 AI의 답변에는 반드시 출처가 붙어야 한다. 출처 없는 답변은 인증업무에 사용할 수 없다.

둘째, 제출자료 완전성 점검이다. 인증기준별 요구자료와 실제 제출자료를 비교해 누락 가능성이 있는 항목을 표시할 수 있다. 예를 들어 장비 교체자료는 제출되었으나 전자파 영향검토, 소프트웨어 변경영향 분석, 교범 개정안이 빠졌다면 AI가 이를 후보로 표시할 수 있다.

셋째, 변경영향 매핑이다. 기술변경 설명서, 도면목록, 인터페이스 통제문서, 정비교범, 비행교범 변경안을 읽고 해당 변경이 어느 안전영역에 영향을 줄 가능성이 있는지 분류할 수 있다. 이 기능은 검토자가 놓칠 수 있는 쟁점을 줄이는 데 유용하다.

넷째, 안전성 검토 초안 작성이다. AI는 유사사례를 바탕으로 예상 위험요인, 검토 질문, 시험확인 항목, 미결사항 후보를 정리할 수 있다. 이 초안은 담당자가 검토하고 수정하는 출발점이 될 수 있다.

다섯째, 운용 중 안전데이터 분석이다. 정비기록, 결함보고, 비행자료, 이상징후 데이터를 분석해 반복되는 위험 패턴을 찾을 수 있다. ICAO 정보문서(A42-WP/489)도 항공 AI 활용에서 설명가능성, 강건성, 데이터 품질, 지속 감시, 인간의 의사결정 참여를 강조한다.[9] 안전데이터 분석에서 AI는 사고 이후가 아니라 사고 이전의 전조를 찾는 데 기여할 수 있다.

인증 도구는 인증판정자가 아니다

AI가 인증 도구로 유용하더라도, 최종 인증판정자가 되어서는 안 된다. 이 점은 해외 규제기관의 내부 AI 활용정책에서도 분명하게 나타난다.

FAA Notice 1370.52는 현재 취소된 임시정책이지만, 규제기관 내부의 생성형 AI 통제 원칙을 보여주는 공개 사례로 의미가 있다. 이 문서는 FAA 직원과 조직이 생성형 AI를 결정이나 판단의 직접 증거 또는 권한으로 인용해서는 안 된다고 규정했고, 모든 생성형 AI 산출물은 공개 또는 활용 전에 유효성, 정확성, 완전성에 대한 인간 검토를 거쳐야 한다고 명시했다.[10] 또한 비공개 정보, 민감정보, 개인정보, 접근키, 보안정보 등을 정부 보안 클라우드나 데이터센터 밖의 생성형 AI 도구에 입력하지 말 것을 요구했다.[11]

영국 CAA의 접근도 유사하다. UK CAA CAP3064B는 CAA 내부 AI 활용전략에서 human-first approach를 강조한다. 즉 AI는 직원의 성과를 높이는 자동화 수단이지, 인간 판단을 대체하는 수단이 아니다. 이 문서는 데이터 프라이버시, 정보보안, 의사결정 과정에서의 인간 감독, AI 리스크 평가 프레임워크, 교육과 시범사업을 함께 강조한다.[12]

NIST AI Risk Management Framework 역시 AI 위험관리를 일회성 기술검토가 아니라 조직의 거버넌스와 생애주기 관리 문제로 본다. NIST는 AI 위험관리를 Govern, Map, Measure, Manage 네 기능으로 구조화하고, Govern은 모든 단계에 적용되며 Map, Measure, Manage는 AI 시스템의 구체적 맥락과 생애주기 단계에 적용된다고 설명한다.[13] 인증업무에 AI를 쓰려면 이와 같은 위험관리 구조가 필요하다.

이 표 1의 핵심은 간단하다. AI는 검토의 폭과 속도를 높일 수 있다. 그러나 최종 결론을 승인하고 책임지는 역할은 사람이 맡아야 한다. 특히 인증 도구로서 AI가 제시한 출력이 다른 AI 산출물을 검증하는 데 사용될 경우 위험은 더 커진다. EASA NPA 2025-07(B)는 AI 기반 검증도구의 출력이 인간 사용자에 의해 독립적으로 검증되지 않는 경우를 DS.AI 범위에서 제외한다고 명시하고 있다.[14] 이는 AI가 만든 결과를 또 다른 AI가 검증하는 구조가 안전인증에서 얼마나 조심스럽게 다뤄져야 하는지를 보여준다.

AI는 사람을 대체하지 않는다

AI가 인증 대상인 경우와 인증 도구인 경우는 다르다. 전자는 항공기나 항공시스템 안의 AI를 어떻게 안전하게 인증할 것인가의 문제이고, 후자는 인증업무에 AI를 어디까지 활용할 것인가의 문제다. 그러나 두 경우의 결론은 하나로 모인다. AI는 사람을 대체할 수 없다.

그 이유는 항공 안전은 단순한 계산 문제가 아니기 때문이다. 항공 안전 인증은 기술적 성능, 운용환경, 사람의 행동, 정비체계, 비상절차, 법적 책임, 사회적 수용 가능성이 함께 얽힌 판단이다. AI는 후보를 제시할 수 있지만, 남은 위험을 사회적으로 허용 가능한 수준으로 볼 것인지는 사람이 판단해야 한다.

다음으로, AI는 틀릴 수 있으며, 틀리는 방식이 전통적 소프트웨어와 다를 수 있다. 전통적 소프트웨어는 요구사항과 코드의 결함을 추적하는 방식으로 접근할 수 있지만, AI는 학습데이터, 모델구조, 운용환경 변화, 데이터 분포 변화, 설명 불가능성, 적대적 입력 등 새로운 위험을 만든다. 항공분야 AI 인증 연구에서도 AI 인증은 성능지표만으로 충분하지 않고, 적합성, 의사결정 원인, 오류·공격에 대한 강건성을 함께 봐야 한다고 지적한다.[15]

또한, AI는 책임질 수 없다. 항공 안전에서 가장 중요한 질문은 “답이 무엇인가”만이 아니다. “누가 어떤 근거로 그 답을 승인했는가”가 함께 중요하다. 사고나 중대한 결함이 발생했을 때 AI 모델은 책임 주체가 될 수 없다. 인증신청자, 설계조직, 운용자, 정비조직, 인증기관, 승인권자가 각각의 역할에 따라 책임져야 한다.

마지막으로, 인간 감독은 형식적 서명이 되어서는 안 된다. “사람이 최종 확인했다”는 문구만으로는 충분하지 않다. 사람이 AI의 근거를 이해할 수 있어야 하고, AI가 불확실한 상황을 표시해야 하며, 사람이 개입할 시간과 권한을 가져야 한다. 인간이 AI의 결론을 단순히 추인하는 구조라면, 그것은 인간중심 인증이 아니라 자동화된 판단을 사후 승인하는 것에 가깝다.

UK CAA CAP2970은 AI와 자율성이 항공생태계 또는 규제도구로 받아들여지려면 신뢰가 필요하다고 보고, 안전·보안·강건성, 투명성·설명가능성, 공정성, 책임성·거버넌스, 이의제기·구제 가능성을 핵심 원칙으로 제시한다.[16] 이 원칙들은 결국 같은 방향을 가리킨다. AI가 항공 안전에 들어오려면 사람을 밀어내는 방식이 아니라, 사람이 더 잘 판단하고 더 잘 책임질 수 있도록 설계되어야 한다.

항공 안전을 위한 AI 도입 방향

AI를 항공 안전에 활용하는 방향은 세 가지 원칙으로 정리할 수 있다.

① 위험기반으로 도입 : 낮은 위험의 문서검색, 자료요약, 안전데이터 분석부터 시작해 경험을 축적하고, 안전중요도가 높은 기능으로 갈수록 더 엄격한 검증과 통제가 필요하다. FAA도 AI 안전보증에서 낮은 위험 영역부터 경험을 축적하는 incremental approach와 safety continuum을 강조한다.[17]

② 출처 추적성과 감사 가능성을 확보 : AI가 어떤 자료를 근거로 답했는지, 누가 그 답을 확인했는지, 어떤 부분이 공식 판단에 반영되었는지 기록되어야 한다. 출처 없는 AI 답변은 항공 안전 업무에 사용할 수 없다.

③ 인간의 역할을 설계 : 인간은 단순히 마지막에 서명하는 존재가 아니다. 어떤 상황에서 AI를 신뢰할 수 있는지, 어떤 경우 AI 판단을 중지하거나 무시해야 하는지, 사람이 어떤 정보를 보고 어떤 시간 안에 개입할 수 있는지가 시스템 설계 단계에서 정해져야 한다.

이 원칙은 AI를 배척하자는 뜻이 아니다. 오히려 반대다. AI를 항공 안전에 제대로 활용하려면, AI를 과신하지 않아야 한다. 과신하지 않을 때만 AI는 안전을 위협하는 불투명한 자동화가 아니라, 안전을 강화하는 분석도구가 될 수 있다.

결 론 : AI는 사람을 위한 일부 기능이며, 최종 책임이 아니다

“AI에게 항공 안전을 맡길 수 있을까?”라는 질문에 대한 답은 이렇게 정리할 수 있다.

AI에게 항공 안전과 관련된 일부 기능은 맡길 수 있다. AI는 항공기 안에서 조종사와 운용자를 보조할 수 있고, 정비와 감시를 더 정교하게 만들 수 있으며, 인증업무에서 기준검색, 문서검토, 변경영향 분석, 안전데이터 분석을 도울 수 있다.

그러나 AI에게 항공 안전의 최종 책임을 맡길 수는 없다. AI가 인증 대상인 경우에도 사람은 그 AI의 안전성을 입증해야 한다. AI가 인증 도구인 경우에도 사람은 AI의 산출물을 검토하고 책임져야 한다. 즉 항공 안전에서 AI의 역할은 “사람을 대체하는 판단자”가 아니라 “사람이 더 넓게 보고, 더 빠르게 찾고, 더 일관되게 검토하도록 돕는 보조자”다.

항공 안전의 미래는 AI 없는 미래가 아닐 것이다. 그러나 사람 없는 미래도 아니다. 진정한 방향은 AI가 판단하고 사람이 따라가는 항공 안전이 아니라, AI가 근거를 넓히고 사람이 책임 있게 판단하는 항공 안전이어야 한다.