국방에 기여하는 국방기술품질원의 이야기

기술로 품질로

품질관리 데이터 분석 체계 구축 방안

2022. 06. 13

글. 전략기획팀 최종수 선임연구원, 정보체계팀 서영진 선임연구원, 전략기획팀 조규룡 책임연구원

4차산업혁명에 따른 과학기술의 발전과 연계하여 품질관리 분야에서도 새로운 패러다임이 요구되면서 이 시대에 필요한 품질 개념으로 ‘품질 4.0’이 주목받고 있다. ‘품질 4.0’은 품질관리에 4차산업혁명 기술을 적용함으로써 향상된 의사결정을 지원하는 품질 패러다임으로서, 이를 달성하기 위한 수단으로 데이터 획득과 분석이 그 중 핵심으로 제시되고 있다. 기품원은 이러한 품질 패러다임 전환에 능동적으로 대응하기 위해 최근 미래품질관리 전략을 수립하였으며, ‘국방품질 빅데이터 구축’을 전략과제로 선정하여 장기적으로 ‘품질 4.0’을 달성해 나갈 예정이다. 군수품 품질관리의 혁신적인 변화가 필요한 지금, 품질 데이터 분석 기반을 마련하고 활용하기 위한 준비가 시급하다.

서론

개요

빅데이터란 데이터의 양(volume) 뿐만 아니라 생성속도(velocity) 및 형태가 다양(variety) 함에 따라 ‘체계적인 관리가 매우 어려운 데이터의 집합’ 혹은 ‘그로부터 가치(value)를 추출하고 결과를 분석하는 기술’을 의미한다. 빅데이터라는 용어가 본격적으로 사용된 십수년 전에는 실용적 측면 보다는 마케팅적인 측면에서 사용된 것이 사실이지만, 민간 영역에서 부터 생산성 향상의 사례들이 발굴되기 시작하면서 최근에는 공공영역을 포함한 산업 전반에서 업무 혁신의 도구로 주목을 받고 있다. 국가 차원에서는 이전 정부에서 「인공지능 국가전략(2019)」을 통해 인공지능을 기반으로 공공서비스를 혁신하기 위한 노력이 지속되어 왔고, 新 정부 출범 이후에도 「디지털 플랫폼 정부 구축」을 국정 과제로 선정하여 데이터 기반의 업무 지능화가 추진되고 있다.

국방 분야의 경우 비록 민간 영역과는 달리 보안 등의 이유로 관련 업무의 구체적인 실행은 부족하였으나, 최근 들어 국방부에서 군수품 조달, 운영 등의 방대한 군수 데이터를 분석·활용하기 위한 중장기 과제를 추진하는 등 4차산업혁명 기술 활용을 위한 다양한 업무가 추진되고 있다. 기품원에서는 이러한 빅데이터 분야의 기술 발전 추세 및 정부 정책 방향에 대응하기 위해 전략기획팀을 주축으로 ‘빅데이터 TF’를 구성하여 약 4개월에 걸쳐 군수품 품질관리 분야에서 데이터분석 업무를 수행하기 위한 기반을 검토하였고, 금년 4월에 수립된 원 정보화전략계획(ISP1))에 본 검토 결과를 반영하였다. 본 기고문은 TF 활동 결과로 ISP에 포함된 내용을 요약하여 언급하고자 한다.

비전 및 목표

데이터 분석 체계 구축은 그림 1과 같이 ‘완벽한 군수품 품질 및 운용성 확보’라는 비전과 ‘지식 기반 품질관리 실현’을 목표로 삼고 있다. 목표의 달성을 위해서 단·중기로 구분하여 5개의 수행과제를 도출하였다. 현재 기품원은 전사적으로 품질관리 업무에 ‘데이터 분석’을 적용하고 있지 않기 때문에 이를 체계적으로 활용하기 위해 순차적으로 검토되어야 할 사항을 수행 과제로 도출하였다.

그림 1. 비전, 목표 및 추진과제

본론1: 데이터분석 기반 조성

분석 과제 검토 및 선정

‘문제 인식’은 일반적으로 데이터 분석의 첫 단추로 볼 수 있으며 ‘문제 인식’이란 현업 수행 과정에서 처한 문제점 및 개선 목표점을 파악하는 단계를 의미한다. 이에 따라 TF는 기품원이 품질관리 관련 업무를 수행하는 과정에서 데이터 분석을 통한 문제 해결이 필요한 영역, 즉 ‘분석 과제’를 도출하는 것을 첫 번째 단계로 실시하였다. 분석과제를 도출하기 위해 TF 자체 토의 및 현장 부서 방문/인터뷰를 진행하였고, 그 결과로 총 21개의 분석과제 후보군을 식별하였다. 21개의 후보군을 전부 분석과제로 선정하는 대신 이들 중에서 비교적 기능개선에 가깝거나 현업에 활용도가 낮을 것으로 판단되는 과제를 제외하는 과정을 거쳐 최종적으로 7개의 분석과제를 표 1과 같이 선정하였다.

표1. 분석과제 현황

분석과제 현황
구분 분석과제명 과제내용
1 양산운영 품질 데이터를 활용한 후속양산사업 필수점검항목 추천 양산‧운영 데이터를 분석하여 양산 사업의 필수 점검항목(고위험군)을 추천 제시
2 개발 품질 데이터를 활용한 최초양산사업 필수점검항목 추천 개발단계 품질관리 이력을 분석하여 최초양산사업에 대해 필수 점검항목(고위험군)을 추천 제시
3 동일/유사품목 분석 추천 동일 또는 유사수준의 품질위험이 내재된 품목을 분류하고 품질 관련 정보를 추천 제공
4 선택품질보증형 대상품목 추천 품질 안정품목 중 선택품질보증형태(II형)로 전환 가능한 품목을 분석하여 자동 추천 제시
5 품질관리 데이터 기반 고장 예측 고장 현황, 조치 이력 데이터 등을 분석하여 운용중인 유사품목의 고장 발생을 예측
6 양산데이터 분석을 통한 저장신뢰성평가 대상 선정/추천 ‘제조 중 시험데이터’ 및 ‘장기저장 후 시험 데이터’ 등을 분석하여 최적의 평가 대상 품목(로트)을 추천
7 품질데이터를 활용한 품질개선/ 현존전력 성능 극대화 대상사업 추천 품질 데이터(야전 운용데이터, 단종정보 등)를 분석하여 품질개선 또는 현존전력 성능 극대화 사업으로 추진 필요한 대상사업 추천

분석과제 선정은 간단한 과정으로 보일 수 있으나, 품질관리 업무 절차에 대한 이해를 바탕으로 전문가 자문 및 다양한 내부 토의 과정을 거쳐 진행되었다. TF는 주제적합성, 구현가능성 및 업무활용성 등의 3가지 기준으로 검토하여 표1의 분석과제를 최종 선정하였으며, 이는 분석체계 구축시 우선적으로 적용이 필요한 업무로 판단된다. 물론 향후 데이터 분석 체계를 구축하고 업무를 수행하는 과정에서는 신규 분석과제를 발굴하여 업무를 확장할 필요가 있으리라 생각한다.

분석 과제별 목표모델 수립

목표모델 수립은 분석과제에 필요한 입력데이터의 식별, 입력데이터가 결과로 도출되기까지의 시나리오 검토 및 최적화된 분석기술(알고리즘) 등의 기술적 요구사항을 구체화하는 단계이다. 일반적으로 데이터 분석결과는 크게 예측(prediction), 분류(classification) 및 군집(clustering) 등 3가지 유형으로 구분될 수 있다. 데이터 분석 결과가 높은 정확도를 갖추기 위해서는 다양한 조건이 충족되어야겠지만 그 중에서도 분석 단계를 구체화(시나리오)하고 분석에 필요한 데이터를 수집·정제한 후 분석 유형에 적합한 분석기술을 탑재하는 것이 매우 중요하다. TF는 앞서 언급한 7개 분석 과제의 목표모델 수립을 위해 요구되는 데이터를 식별하였고, 분석 시나리오를 검토하였다. 또한, 외부 전문가 자문 등을 거쳐 과제 유형 및 특성을 고려하여 분석 알고리즘을 검토하였다. 그림 2는 분석과제별 목표모델을 개략적으로 나타낸 것으로 분석과제에 요구되는 데이터의 종류, 분석기술 등을 표시하고 있다.

그림 2. 분석과제 목표모델

그림 2 목표모델에 표시된 과제별 입력데이터는 정형2) 혹은 비정형3) 등 다양한 형태로 존재하며 기품원이 보유하고 있는 데이터 뿐 아니라 외부기관으로부터 제공 받아야 하는 데이터도 포함하고 있다. 한편 목표모델은 표 2와 같이 데이터 분석을 통해 결과를 도출하는 과정, 즉 분석 시나리오를 포함하며 이는 개별 과제에 대한 분석 절차를 구체화 제시한다.

표 2. 분석과제 시나리오 (과제 1번)

분석과제 시나리오 (과제 1번)
구분 내용
분석절차 1단계 [양산/운영유지단계 위험인자 추출]
  • 시정조치(2방법 이상, 시정조치 구분 : ‘제품결함’, ‘시스템결함’ 등)
    * 품질위험요소와 연관성이 떨어지는 시정조치 구분(‘업무협의‘ 등)는 제외
  • 사용자불만/품질정보(분류결과 : ’하자‘, ’개선요구‘ 등)
  • 인증심사 결과(업체별/요구사항별 ’중부적합‘, ’경부적합‘) 등
2단계 [추가 위험인자 추출]
  • 동일업체 생산품목 중 유사품목 분류 후 하자 발생 이력 등
3단계 표준분류체계(기준정보)와 연계하여 상기 위험인자 자동 추출 후 품질이력 지수化(위험등급 구분)하고부품/구성품/완성품 단위에서 고위험 품목 식별/제시
4단계 정부 품질보증계획 수립 시 필수 검사항목으로 반영
분석 결과 양산사업 필수점검 대상 품목(항목) 추천
활용 방안
  • 정부품보계획 수립 시 최소요구조건으로 활용,
  • 수입 핵심부품/구성품 선정 및 협정 추진 대상 선정시 활용 등

표 2는 표 1에서 언급된 7개의 분석과제 중 「양산운영 품질 데이터를 활용한 후속양산사업 필수점검항목 추천」 과제의 시나리오를 예시로 나타내었다. 표 2의 시나리오는 분석에 요구되는 데이터를 바탕으로 위험인자를 추출하는 과정부터 최종적으로 필수 검사항목을 품질보증계획에 반영하는 단계까지의 절차를 나타내고 있다. 분석 시나리오는 데이터 분석에 필요한 절차, 분석 결과 및 활용방안 등을 포함하고 있으며, 이는 향후 분석체계를 구축하는 과정에서 분석결과 정확도를 높일 수 있도록 보완할 수 있을 것이다. 마지막으로 목표모델에는 분석과제 특징을 고려하여 최적의 분석 결과를 제공할 수 있도록 통계분석, 기계학습 등의 분석 기술을 식별하여 반영하였다. 다만 본 기고문에서는 지면 관계상 분석기술의 이론적인 동작 원리에 대한 설명은 생략하도록 한다.

본론 2 : 데이터분석 체계 구축

품질데이터 표준 분류체계 구축

데이터는 그 자체로는 가치가 부족하고, 축적된 데이터를 분석하여 중요한 정보를 파악할 때 가치가 발생한다. 한편 효과적인 데이터 분석을 위해서는 표준분류체계 구축을 통해 다양한 소스로부터 필요한 데이터를 체계적으로 수집하는 과정이 필요하다. 표준 분류체계 구축은 품질관련 원천 데이터를 생성할 때부터 향후 체계적인 데이터 분석에 요구되는 ‘기준정보’를 정의하고 용어, 형식 등 데이터 구조를 표준화하는 등의 일련의 과정을 의미한다. 기준정보는 그림 3과 같이 데이터 분석에 필요한 데이터 유형 전체를 일컫는다. 이는 계약번호, 재고번호 등 제품에 관한 식별자 및 시정조치 등의 품질관리 데이터 뿐만 아니라, 주요 체계·구성품별 상하 관계를 대표할 수 있는 최적화된 공통기준(자재명세서(BOM4)), 작업분할구조도(WBS5)) 또는 이와 유사한 형태, 파랑색 점선)을 정립하는 것까지 포함한다.

그림 3. 표준분류체계 구성(안)

이러한 표준 분류체계를 구축의 목적은 품질관리 활동을 통해 수집·저장되는 데이터 간 연계성을 갖추도록 하는 것이며, 이는 향후 효율적인 데이터 분석업무 수행을 위한 필수 선결 요건으로 판단하고 있다. 이는 마치 뿌리에서 자라는 고구마의 줄기를 당길 때 또 다른 고구마가 주렁주렁 달려 나오듯이 표준분류체계에 따라 데이터가 서로 유기적으로 연계되어 있을 때 분석하고자 하는 과제가 체계적으로 수행될 수 있는 것과 같다.

현재 기품원이 보유한 품질데이터는 그림 4와 같이 기준정보에 대한 고려가 부족한 상태에서 수집·저장되고 있다. 예를 들어, 현재 재고번호 등 품목 식별정보는 사용자불만, 시정조치 혹은 상·하위 구성품 정보 간 연계가 되어 있지 않기 때문에 해당 이력 조회 시 다수의 수작업 등 비효율적 요소가 발생하고 있다. 이러한 데이터 연계 미흡사항은 데이터 분석업무 수행시 정확도 향상을 저해하는 요인으로 작용할 수 있기 때문에 표준 분류체계의 구축을 통해 향후 수집되는 데이터 간에는 연계성을 확보하는 과정이 매우 중요하다.

그림 4. 표준분류체계 목적

TF는 정보체계팀 등 원 내 관련부서와 토의 과정을 거치면서 표준분류체계 구축 업무가 데이터 분석 수행에 우선적으로 수행되어야 할 과제로 식별하였으며, 그 결과 현재 정보체계팀 주관으로 과제 제안요청서 작성 등 표준분류체계 구축을 위한 외부 연구용역이 추진되고 있다. 표준분류체계 구축이 완료된 이후에는 구축된 분류체계에 따라 기존 보유하고 있는 데이터를 전환(migration)하는 과정도 수행되어야 하며, 이를 통해 충분한 양의 품질 데이터를 확보함으로써 보다 안정적인 분석 업무가 수행 될 수 있을 것이다.

분석과제 개념검증 사업 추진

개념검증(PoC6))은 고비용이 소요되는 IT 프로젝트를 수행하기 앞서서 구축하고자 하는 시스템이 실현 가능한지 사전 검증하여 프로젝트 리스크를 줄이고자 하는 업무이다. 데이터 분석체계와 같이 신기술이 적용된 시스템 구축의 경우, 정보체계를 한꺼번에 구축하기에 앞서 개별 분석과제의 입력 데이터가 충분한지, 분석결과가 정확한지 등을 실증하기 위한 목적으로 수행된다. 우리 원도 7개의 분석 과제 및 목표 모델을 시스템으로 개발했을 때 앞서 언급한 리스크가 없는지 사전 검증할 필요가 있다.

개념 검증 사업의 업무 범위는 개별 프로젝트마다 상이할 것으로 판단되나, 일반적으로는 구현하고자 하는 분석과제의 n년치 입력데이터(학습용 및 검증용 데이터)를 확보하고, 과제별 정확도 목표치 및 검증 절차를 수립 및 계획서에 반영한 후 개념검증 환경을 개발하여 실증하는 과정으로 추진된다.

ISP 결과에 따르면, 식별된 7개의 분석과제 수행을 위한 분석체계 구축에 약 32억의 예산이 필요할 것으로 분석되었으며, 분석체계 구축 이전 개념검증 사업에는 약 2억원 수준의 예산이 필요한 것으로 검토되었다. 따라서 TF는 개념검증 사업 수행을 위한 예산 확보를 위해 계획예산팀 등과 협조하여 2023년 반영을 목표로 예산 요구를 완료했으며, 향후 방위사업청 등 관련 기관과 협조하여 예산 획득 및 성공적인 사업 추진을 위한 지속적인 노력이 필요한 상황이다.

데이터 분석체계 단계적 구축 및 능력 확대

앞서 언급된 데이터 분석 업무 수행을 수행하기 위한 선행과제들이 성공적으로 수행되었다면 본격적으로 분석체계를 구축하고 업무 역량을 강화하는 과정이 필요하다. 먼저, 개념검증을 통해 유효성이 실증된 분석체계를 우선적으로 구축하고, 신규 과제를 발굴하는 과정을 통해 품질관리 업무에 활용 범위가 확대될 수 있으리라 판단된다. 특히, 데이터 분석 업무는 전문적인 기술이 요구되는 분야로써 품질종합정보체계, 부품단종정보체계 등 기품원이 보유한 정보체계 및 데이터를 종합적으로 분석하고 의사결정을 지원하는 과정을 통해 분석 역량을 키워야 하며, 지속적으로 우리 원의 핵심 역량으로 발전시킬 필요가 있다.

그림 5. 데이터 분석체계 구축 계획(안)

그림 5는 TF 수행을 통해 분석체계 구축에 필요한 수행과제 5가지에 대한 로드맵을 나타낸다. 앞서 언급한 바와 같이 우리 원이 수행하고자 하는 데이터 분석 업무가 성공적으로 구축되기 위해서는 개별 과제에 대한 유관부서 및 업무 담당자의 지속적인 관심과 노력이 필요하다.

결언

‘품질 4.0’ 시대에는 데이터에 기반을 두고 업무 프로세스를 최적화하여 지능화된 품질관리 및 의사결정을 지원할 수 있게 된다. 기품원 업무 관점에서 볼 때 데이터 분석은 품질관리, 신뢰성 연구, 표준화 및 인증 등 업무 전반에 걸쳐 일하는 방식을 보다 과학적이고 객관적인 방식으로 개선하기 위한 수단으로 볼 수 있다. 그리고 이러한 업무 개선을 통해 궁극적으로는 보다 향상된 군수품 품질을 실현하고 운용성을 확보할 수 있으리라 생각한다. 물론 데이터 분석의 전체 영역을 다루기 위해서는 본 기고문을 통해 제시하는 내용 외에도 정보기술과 운영기술 등 다양한 측면을 고려하여 추가적인 연구와 구성원의 노력이 필요할 것이다. 아무쪼록 우리의 ‘경험’을 바탕으로 수행되어온 품질관리 업무가 데이터 분석체계를 단계적으로 구축하고 활용함으로써 ‘지식’ 기반의 업무로 변화하고 나아가 품질관리 업무에 ‘지혜’를 제공함으로써 업무 발전에 동력이 되기를 기대한다.

1) Information Strategy Planning
2) 수치, 구조화된 텍스트 등으로 표현되어 잘 구조화된 데이터
3) 이미지, 텍스트, 음원 등 특정한 저장 형식이 정해지지 않은 구조화되지 않은 데이터
4) Bill of Material
5) Work Breakdown Structure
6) Proof of Concept