AI 시대의 품질관리는 모델의 성능만으로 완성되지 않는다. AI가 신뢰할 수 있는 결과를 내기 위해서는 그 기반이 되는 품질데이터가 먼저 준비되어야 한다. 국방품질관리 분야에서는 이미 많은 품질정보가 축적되어 있지만 이를 업무 흐름에 맞게 연결하고 해석할 수 있는 구조로 정비하는 과정이 필요하다. 중요한 것은 데이터를 많이 모으는 것이 아니라 품질관리 단위에 따라 정리하고 신뢰할 수 있는 정보 기반으로 만드는 것이다. 품질데이터가 신뢰할 수 있는 구조로 준비될 때 AI는 품질관리의 유용한 도구로 활용될 수 있다.
들어가며: AI 품질관리의 쟁점은 데이터 신뢰성에 있다
AI가 품질관리의 새로운 도구로 주목받고 있지만 그 성과를 좌우하는 것은 결국 AI가 활용하는 품질데이터의 신뢰성이다. 시험성적, 부적합 이력, 시정조치 기록 등은 오래전부터 품질판단의 주요 근거로 활용되어왔다. 다만 AI 활용 환경에서는 이러한 기록이 단순히 보관되어 있는 것만으로는 충분하지 않다. 품질정보는 AI가 해석할 수 있도록 정리되어야 하며 서로 다른 문서와 이력이 업무 흐름 안에서 연결될 수 있어야 한다.
최근 품질관리 분야에서는 검사 결과 분류, 결함 이력 분석, 품질문서 요약, 유사 사례 검색, 공정 이상 징후 탐지 등 다양한 AI 적용 가능성이 검토되고 있다. 그러나 품질관리 업무에서 중요한 질문은 단순히 “AI를 적용할 수 있는가”에 그치지 않는다. AI 분석 결과를 실제 품질보증 활동에 반영하려면 그 결과가 어떤 품질정보에 근거하는지와 해당 자료가 업무적으로 신뢰할 수 있는 상태인지가 함께 검토되어야 한다.
이 점에서 AI 시대의 품질관리는 기술 도입의 문제와 동시에 데이터 신뢰성의 문제라고 볼 수 있다. AI 모델의 성능이 높더라도 입력되는 품질정보가 부정확하거나, 업무 맥락과 분리되어 있거나, 같은 대상을 서로 다른 방식으로 기록하고 있다면 그 결과를 품질관리 의사결정에 활용하기 어렵다. AI가 품질업무에 의미 있는 결과를 제공하려면 먼저 AI가 사용할 수 있는 형태의 품질데이터가 준비되어야 한다.
이러한 관점은 국방품질 분야에서도 중요하게 다루어질 수 있다. 국방품질 데이터는 개발, 양산, 운영·유지 단계에서 장기간에 걸쳐 생성되고 부품·계약·재고번호 등 서로 다른 기준의 정보가 함께 관리된다. 또한 품질보증 활동은 단순한 생산 효율을 넘어 신뢰성, 안전성, 임무 수행능력과도 관련된다. 이러한 특성을 고려하면 국방품질 분야에서 AI 활용을 검토할 때 모델 도입에 앞서 품질정보의 준비 상태와 연결 구조를 먼저 살펴볼 필요가 있다.
데이터 품질 표준과 AI 거버넌스의 시사점
ISO/IEC 25012는 구조화된 데이터의 품질을 평가하기 위한 일반 모델로 활용될 수 있다. 이 표준은 데이터 품질을 정확성, 완전성, 일관성, 최신성 등 다양한 특성으로 바라보며 데이터 품질 요구사항 설정이나 평가 기준 마련에 참고될 수 있다. 이는 품질정보가 AI 분석의 입력값으로 활용되기 전에 기본적인 신뢰성을 확보해야 한다는 점을 시사한다.
ISO 8000-8:2015는 데이터 품질 개념을 품질경영 프로세스와 연결해서 바라볼 수 있는 배경을 제공한다. 데이터 품질을 단순한 전산 자료의 오류 여부가 아니라 품질경영시스템 안에서 측정되고 관리되어야 할 대상으로 본다는 점에서 의미가 있다. 이는 품질데이터 관리가 정보시스템 관리에만 머무는 것이 아니라 품질관리 업무 자체의 일부로 이해될 필요가 있다는 관점과도 맞닿아 있다.
AI 거버넌스 측면에서는 ISO/IEC 42001과 같은 AI 관리시스템 표준이 참고될 수 있다. AI를 조직적으로 활용하기 위해서는 모델의 적용 여부뿐 아니라 책임, 위험관리, 사용 기준, 사후 점검 체계가 함께 고려되어야 한다. 품질관리 분야에서도 AI 결과를 업무에 활용하려면 어떤 자료가 사용되었는지, 해당 자료가 어떤 기준과 절차에 따라 생성되었는지, 그 결과를 어느 범위까지 참고할 수 있는지 확인할 수 있어야 한다.
다만 기존 데이터 품질 표준이나 AI 거버넌스 기준은 일반적인 방향을 제공할 뿐 국방품질 데이터가 실제 업무 안에서 어떻게 연결되어야 하는지를 구체적으로 정해주지는 않는다. 데이터 품질 표준은 주로 데이터 자체의 품질 특성에 초점을 두고 AI 거버넌스는 AI 시스템의 책임 있는 운영과 위험관리에 초점을 둔다. 반면 국방품질경영업무에서는 품질보증 활동의 결과, 부적합 처리, 시정조치 결과 등 업무 수행 과정에서 생성되는 문서와 관리 결과가 중요한 정보 자산이 된다.
따라서 표준의 시사점은 그대로 가져오되 국방품질 분야에 적용할 때는 일반적인 데이터 품질 특성을 업무 맥락에 맞게 구체화할 필요가 있다. 또한 이는 일반적인 데이터 전처리와도 구분된다. 전처리가 결측값, 중복값, 형식 오류 등을 보정하여 분석 가능한 상태로 다듬는 작업이라면 품질데이터 준비는 정제된 정보를 계약, 부적합 유형, 조치 결과 등 품질관리 업무의 기준과 연결하는 과정까지 포함한다. 이 점에서 데이터 품질 표준과 AI 거버넌스의 흐름은 국방품질데이터를 단순 보관 대상이 아니라 품질관리 활동을 설명하고 지원하는 정보 기반으로 정비해야 한다는 시사점을 제공한다.
품질데이터 관리의 한계: 데이터는 축적되지만 연결되지 않는다
국방품질관리 정보는 이미 다양한 품질 활동을 통해 지속적으로 축적되고 있다. 문제는 자료의 양이 아니라 축적된 정보가 AI 활용에 적합한 방식으로 정리되어 있는가에 있다. 특히 개발, 양산, 운영·유지 단계에서 생성되는 품질정보가 하나의 흐름으로 연결되지 않으면 결함의 원인과 반복 양상을 파악하기 어렵다. 실제 품질문제는 특정 단계에만 머물러 발생하지 않는다. 개발단계의 설계·시험·기술검토 내용, 양산단계의 품질보증 활동 결과, 운영·유지 단계에서 확인되는 품질 이슈는 서로 영향을 주고받을 수 있다. 그러나 관련 자료가 개별 문서나 시스템에 분산되어 있으면 이러한 관계를 확인하기 어렵다. AI가 품질문제를 분석하려면 개별 기록이 아니라 단계 간 연결관계가 함께 제공되어야 한다.
식별정보의 불일치도 중요한 한계다. 같은 품목이나 부품이라도 계약, 제조사, 시험항목 등에 따라 서로 다른 명칭이나 코드로 관리될 수 있다. 사람은 문맥을 통해 같은 대상을 어느 정도 추정할 수 있지만 AI는 데이터에 표현된 식별정보를 기준으로 관계를 판단한다. 따라서 동일 대상을 일관되게 식별할 수 있는 기준이 없으면 AI 분석 결과도 왜곡될 수 있다.
검사성적서, 시정조치 보고서, 제품보증서 등과 같은 문서형 품질자료도 중요한 품질정보를 담고 있지만 문서 중심으로 저장된 정보는 구조화된 분석에 바로 활용하기 어렵다. 최근 생성형 AI와 검색증강생성 기술이 문서형 자료의 활용 가능성을 높이고 있으나 문서의 출처, 최신성, 신뢰도, 관련 품목과의 관계가 정리되어 있지 않으면 결과의 신뢰성을 확보하기 어렵다.
결국 품질데이터 관리의 한계는 자료가 없어서가 아니라 축적된 정보가 활용 가능한 상태로 준비되어 있지 않다는 데 있다. AI 기반 품질관리의 출발점은 이미 보유한 품질정보를 목적에 맞게 연결하고 설명 가능한 구조로 정비하는 것이다.
AI-ready 품질데이터 체계: 신뢰할 수 있는 데이터의 조건
AI-ready 품질데이터란 단순히 디지털 형태로 저장된 자료를 의미하지 않는다. 데이터베이스나 엑셀 파일에 정보가 있다고 해서 AI가 곧바로 활용할 수 있는 것은 아니다. AI-ready 품질데이터는 품질관리 목적에 맞게 필요한 정보를 식별하고 관련 문서와 조치 결과를 품질관리 단위에 따라 연결하며 그 출처와 활용 과정을 추적할 수 있도록 준비된 품질정보를 의미한다.
국방품질관리업무에서 중요한 것은 측정값이나 관측값 자체보다 품질보증 활동의 결과와 문서화된 조치 이력이다. 예를 들어 기술검토 의견, 부적합 처리 결과, 시정조치 결과, 업체 품질이력 등은 각각 독립된 문서로 남을 수 있다. 그러나 AI가 이를 활용하려면 개별 문서가 단순히 보관되어 있는 수준을 넘어 어떤 품목·장비·계약과 관련되는지 연결되어야 한다. 본 글에서는 이러한 연결의 기준이 되는 단위를 “품질관리 단위”라고 보고자 한다.
AI-ready 품질데이터 체계는 품질관리 단위를 중심으로 문서형 품질정보를 연결하는 구조에서 출발한다. 품질관리 단위가 정해지면 각 문서에 흩어져 있던 품질보증 활동의 경과와 후속 조치 이력을 하나의 흐름 안에서 확인할 수 있다. 이렇게 연결된 정보는 AI가 유사 사례를 검색하거나 반복 품질 이슈를 식별하고 품질위험이 높은 대상을 검토하는 데 활용될 수 있다. 다만 분석 목적에 따라 각각 요구하는 정보의 범위와 연결 수준이 다를 수 있다. 따라서 품질데이터는 단순히 많이 연결된 데이터가 아니라 활용 목적에 맞게 선별되고 연결되어야 한다.
이때 중요한 것은 자료의 형식만 맞추는 것이 아니라 업무상 의미가 유지되도록 정리하는 것이다. 같은 유형의 부적합이라도 문서마다 표현 방식이 다르거나, 시정조치 결과가 별도 문서에 분리되어 있거나, 업체 품질 이력이 품목 정보와 연결되어 있지 않으면 AI는 품질문제의 흐름을 충분히 파악하기 어렵다. 따라서 명칭, 분류 기준, 문서 작성 항목을 일관되게 정리하고 관련 자료가 동일한 품질관리 단위 안에서 해석될 수 있도록 해야 한다.
설명 가능성 측면에서도 품질데이터의 구조화는 중요하다. AI가 특정 품목이나 업체의 품질위험을 높게 제시했다면 그 결과가 어떤 품질보증 활동 결과와 시정조치 결과에 근거했는지 확인할 수 있어야 한다. 이 과정에서 자료의 출처, 작성 시점, 변경 이력, 후속 조치 여부 등이 함께 관리되어야 한다. 그래야 AI 분석 결과를 단순 참고자료가 아니라 품질보증 활동의 검토 근거로 활용할 수 있다.
마지막으로 환류 구조도 함께 고려되어야 한다. AI가 제시한 분석 결과가 실제 품질보증 활동에 활용되었다면 그 결과도 다시 품질정보로 축적되어야 한다. 어떤 정보가 유용했는지, 어떤 문서가 연결되지 않아 한계가 있었는지, 어떤 분류 기준을 보완해야 하는지를 다시 정리해야 한다. 이러한 환류가 이루어질 때 품질데이터는 단순 보관 자료가 아니라 지속적으로 개선되는 품질관리 기반이 될 수 있다.
국방품질 적용방안: 작은 범위에서 연결하고, 검증하며, 환류한다
국방품질 분야에서 AI-ready 품질데이터 체계를 구축하려면 구체적인 품질관리 목적을 먼저 정하고 그 목적에 필요한 정보부터 단계적으로 연결하는 접근이 현실적이다. 국방 데이터는 보안, 업무 주체 차이, 자료 형식의 다양성으로 인해 단기간에 완전한 통합 구조를 만들기 어렵다. 따라서 처음부터 넓은 범위를 대상으로 하기보다 적용 목적과 대상 범위를 명확히 정한 뒤 실제 활용 가능성을 확인하면서 확장하는 방식이 적절하다.
반복적인 품질 이슈를 식별하거나 결함 발생 가능성을 검토하는 목적이라면 특정 품목이나 부품군을 선정한 뒤 해당 대상과 관련된 품질보증 활동 결과, 부적합 처리 이력, 시정조치 결과, 업체 품질이력을 우선 연결할 수 있다. 초기 단계에서는 모든 정보를 한 번에 포괄하려 하기보다, 품질문제의 발생 경위와 후속 조치 흐름을 설명하는 데 필요한 관계를 우선 정리하는 방식이 현실적이다. 이후 유사 품목에서 확인된 품질이력, 기술변경 검토 내용, 반복 부적합 사례 등으로 범위를 넓혀갈 수 있다.
유사 사례 검색이나 품질문서 활용을 목적으로 한다면 접근 방식은 달라진다. 이 경우에는 결함원인 분석보고서, 시정조치 문서, 기술검토 의견서와 같은 문서형 품질자료가 중요하다. 다만 문서만 모아서는 충분하지 않다. 해당 문서가 어떤 품목·업체·계약과 관련되는지 그리고 어떤 부적합 유형과 조치 결과로 이어졌는지가 함께 연결되어야 한다. 이러한 연결 구조가 마련되어야 AI가 단순히 표현이 유사한 문서를 찾는 수준을 넘어 품질업무에 필요한 유사 사례를 제시할 수 있다.
위험기반 품질보증에 적용할 경우에는 품질이력과 관리상 위험요인을 비교할 수 있는 정보 구조가 필요하다. 예를 들어 부적합 발생 이력, 시정조치의 반복 여부, 업체 품질관리수준, 품목 중요도 등이 연결되면 품질위험이 높은 대상을 우선적으로 검토할 수 있다. 이는 품질보증 활동의 우선순위를 정하고 필요한 대상에 점검과 검토를 집중하는 데 도움이 된다.
이러한 적용을 체계화하기 위해서는 AI 활용 목적에 따라 필요한 정보의 범위와 연결 수준을 정하는 목적 기반 데이터 매핑이 필요하다. 반복 품질 이슈 식별, 유사 사례 검색, 위험기반 품질보증은 각각 필요한 자료와 연결 방식이 다르므로 동일한 데이터 구조를 일괄 적용하기보다 목적에 맞게 조정해야 한다. 또한 적용 과정에서 확인된 한계와 개선사항은 품질정보의 정비 기준과 관리 방식 개선으로 환류되어야 한다.
그림 1. AI-ready 국방품질데이터 체계 개념도
나가며: 품질데이터를 관리하는 것이 곧 품질관리의 고도화다
AI 시대의 품질관리에서 중요한 것은 AI를 도입했다는 사실 자체가 아니다. AI가 품질보증 활동에 활용되기 위해서는 분석 결과가 어떤 품질정보에 근거하는지 그리고 그 결과를 업무상 어느 범위까지 참고할 수 있는지 설명할 수 있어야 한다. AI의 활용 가능성은 모델의 성능만으로 결정되지 않으며 품질정보가 업무 흐름 안에서 얼마나 신뢰성 있게 정리되어 있는지에 따라 달라질 수 있다.
국방품질관리업무에서 축적되는 자료는 단순한 기록물이 아니라 품질보증 활동의 근거이다. 따라서 품질데이터 관리는 자료를 보관하는 수준을 넘어 품질보증 활동 결과와 문서화된 조치 이력을 품질관리 단위에 따라 연결하고 재사용할 수 있도록 정비하는 과정으로 이해할 필요가 있다. 이러한 기반이 마련되어야 AI도 실제 업무에 가까운 방식으로 활용될 수 있다.
AI-ready 품질데이터 체계는 이러한 전환을 위한 기반이 될 수 있다. 품질데이터가 신뢰할 수 있는 구조로 준비될 때 AI도 국방품질관리 업무에 의미 있게 활용될 수 있다. 품질데이터를 관리하는 것이 곧 품질관리의 고도화이며 앞으로의 국방품질관리 경쟁력은 축적된 자료를 얼마나 신뢰할 수 있는 정보 기반으로 전환하느냐에 달려 있다.
- 참고문헌
-
- International Organization for Standardization, ISO/IEC 25012:2008, Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Data quality model, ISO, pp. 13, 2008.
- International Organization for Standardization, ISO 8000-8:2015, Data quality — Part 8: Information and data quality: Concepts and measuring, ISO, pp. 15, 2015.
- International Organization for Standardization, ISO/IEC 42001:2023, Information technology — Artificial intelligence — Management system, ISO, pp. 51, 2023.
- Tabassi, E., Artificial Intelligence Risk Management Framework (AI RMF 1.0), National Institute of Standards and Technology, NIST AI 100-1, 2023.
(https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=936225)