11. 테스트 프로세스 개요

테스트 프로세스 개요

 

테스트 프로세스 분류

 

조직 프로세스

• 명세 개발
• 명세 활용 모니터링 및 제어
• 명세 갱신

 

테스트 관리 프로세스

• 계획
• 모니터링 및 제어
• 종료

 

동적 테스트 프로세스

• 설계 및 구현
• 환경 구축 및 관리
• 테스트 실행
• 결함 보고

 

조직 테스트 프로세스

조직 테스트 프로세스는 명세 개발 활동, 명세의 활용에 대한 모니터링 및 제어 활동 그리고 명세 갱신 활동으로 구성

 

개발된 조직 테스트 명세서 - 관리 프로세스에 적용

• 정책 명세서 - 테스트 컨텍스트, 위험 목록, 테스트 전략 등에서 고려해서 계획 수립
• 전략 명세서 - 테스트 설계 기법, 테스트 환경 등은 테스트 계획 수립

조직 테스트 명세서 - 수행 성과를 바탕으로 갱신

 

 

조직 테스트 프로세스 활동

 

• 명세 개발
• 명세 활용 모니터링 및 제어
• 명세 갱신

조직 테스트 명세 개발

 

조직 테스트 전략 명세 - 테스트 정책 명세서에 제시된 테스트 목적, 프로세스, 조직 및 역할, 표준 등을 바탕으로 테스트를 수행하기 위한 구체적인 방법을 정의 ( 프로젝트 수준의 전략과 개별 테스트 수준의 전략으로 구성)

 

 

 

조직 테스트 명세 활용 모니터링 및 제어

 

• 테스트 관리 및 동적 테스트 프로세스의 수행이 조젝 테스트 명세서와 일치된 방식으로 진행되고 있는지 모니터링
• 조젝 테스트 명세와 일치하도록 필요하다면 테스트 관리 프로세스 및 동적 테스트 프로세스를 적절히 수정/보완

 

조직 테스트 명세 갱신

 

최상위 수준에서 테스트 명세를 정의하는 것

 

 

조직 테스트 정책 항목

• 목적 - 범위 기술
• 프로세스 - 명시
• 조직 및 역할 - 구조와 역할을 정의
• 표준 
• 자산 관리 - 결과물 축적, 재사용하는 방법
• 프로세스 개선

 

테스트 목적

 

• 품질개선
• 의사 결정 지원
• 개선 지원

 

 

테스트 프로세스

 

테스트 관리 프로세스

• 테스트 계획 수립
• 계획에 따라 동적 테스트 및 정적 테스트가 수행되는지 모니터링
• 테스트 활동이 종료되면 테스트 결과를 기록하고 자산이 추후 재사용될 수 있도록 관리

 

동적 테스트 프로세스

• 설계 및 구현
• 환경 구축
• 실행 및 결함 보고

 

정적 테스트 프로세스

• 유형을 명시
• 테스트를 수행하는 역할, 절차

 

 

테스트 조직 및 역할

 

정책과 전략수립, 계획 수립, 모니터링, 동적 테스트 프로세스를 수행하는 역할

테스트 조직 구성의 예

 

테스트 조직은 테스트 전략가와 여러 팀으로 구성

 

테스트팀에는 팀에 부여된 테스트를 관할하고 책임지는 테스트 관리자가 있다. (리더, 분석가 , 설계자, 환경 전문가, 수행자)

 

 

조직 구성원 역할

 

• 전략가
• 관리자
• 리더
• 분석가
• 설계자
• 환경 전문가
• 수행자

테스터 표준

 

테스트 관련 기본적인 표준

• 테스트 관리
• 동적 테스트
• 정적 테스트
• 테스트 프로세스 평가

그외 표준

• 품질 모델 및 측정
• 품질 보증
• 위험 관리
• 형상 관리
• 결함 관리

 

자산관리 - 재사용될 수 있는 결과물, 환경, 데이터

 

 

프로세스 개선 

 

평가종류

• 테스트 케이스 기반 평가
• 결함 기반 평가

 

프로젝트 수준의 조직 테스트 전략

 

다양한 개별 테스트에 공통적을 적용될 수 있는 전략

 

프로젝트 수준의 조직 테스트 전략

• 위험 관리 - 태상과 피처 선별, 설계 기법 수준 결정(위험 분석은 위험 요소 식별, 위험도 산정, 위험 평가 통해서 수행) 비상 계획이 필요할 수도 있음
• 테스트 선택 및 우선순위 - 
• 테스트 문서화
• 형상 관리
• 결함 관리
• 자동화 도구
• 수행 개별 테스트

위험분석

 

위험도 산정, 위험 수준과 위험 조치 계획 수립 

위험 분석 절차

위험 요소 식별 - 목적 달성에 영향을 줄 수 있는 이벤트 및 상황을 식별하는 것

 

위험도 산정 - 각 위험 요소의 위험도는 발생 가능성(과거사례분석, 폴트,이벤트 트리 분석 예측, 체계적인 전문가 의견)과 영향도(발생 후 결과에 대한 간단한 설명 또는 상세한 정량적인 분석)를 통해서 산정

 

위험 평가 - 앞서 분석된 위험도 산정치와 조치 작업의 수행 여부 기준치를 비교하여 결정

 

 

 

위험 조치 수행

 

위험 조치 작업은

• 위험 회피
• 위험 완화
• 위험 전가
• 위험 수용
• 비상계획 - 회피, 완화, 전가 조치가 불가능,실패시 취하는 조치

으로 분류

 

 

위험 모니터링 - 지속적인 모니터링

 

테스트 선택 및 우선순위

• 피처 직합의 우선순위
• 테스트 케이스의 우선순위
• 테슽 절차의 우선순위

 

테스트 문서화 - 계획서, 종료 보고서 해당

 

 

형상 관리

형상 관리

• 형상 식별 - 산출물 정의, 식별자 규칙 정의
• 향상 통제 계획 - 승인된 변경 요청에 대해서만 산출물에 대한 변경을 수행(변경요청바탕)
• 형상 상태 보고 - 형상 항목에 대한 형상 관리 상태를 기록하고 보고하는 계획을 수립(변경 이력, 요청 기록/보고)
• 형상 감사 - 형상 항목의 무결성이 유지되고 있는지를 확인하기 위한 계획을 기술

결함 관리

 

• 결함 기록
• 결함 추적

                                                                결함 생명 주기

시작, 검토, 맡겨진, 해결됨, 공경된, 닫힘

결함 생명 주기는 결함의 검출부터 종결까지의 상황을 보여준다.

 

 

자동화 도구

 

테스트 자동화 도구 유형

• 테스트 관리 - 관리 도구, 요구사항 관리, 결함 관리, 형상 관리
• 정적 테스트 - 리뷰 프로세스 지원, 정적 분석, 모델링
• 동적 테스트 - 설계, 데이터준비
• 테스트 실행 - 실행, 하네스/단위 테스트 프레임워크, 비교기, 커버리지 측정

 

수행 개별 테스트 -  유형 테스트 나열

 

수행 개별 테스트 예시

• 컴포넌트 테스트
• 통합 테스트
• 시스템 테스트
• 신뢰성 테스트
• 성능 테스트
• 보안 테스트
• 인수 테스트

 

개별 테스트 수준의 조직 테스트 전략

 

개별 테스트 수준의 ㅈ직 테스트 전략 항목

• 독립성
• 문서화
• 시작 및 종료 조건
• 설계 기법
• 환경 및 테스트 데이터
• 재태스팅 및 리그레션 테스팅
• 메트릭
• 완료 기준

 

테스트 독립성

 

독립성의 관점

• 기술적 독립성
• 관리적 독립성
• 재정적 독립성

 

독립적 V&V의 형태

• 최고 수준(Classical)의 형태 - 시스템 장애로 인한 피해가 심각할 경우에 요구
• 변형된(Modified) 형태 - 대규모 시스템을 구축할 때 1차 통합사가 V&V를 포함한 전체 개발을 관리하는 경우 
• 통합된(Integrated) - V&V의 결과를 개발 프로세스에 신속하게 제공하는 것
• 내부적(Internal) - 개발 산출물에 직접적으로 관여하지 않을 수도 있지만, 개발 조직에 속한 개발자가 V&V 활동을 수행
• 내장된(Embedded) 형태 - 개발 절차 및 프로세스의 부합성에 초점

높은 위험도에 대한 테스트를 수행 할 때는 더 높은 수준의 독립성으로 수행하는 것이 바람직함

 

 

테스트 문서화

 

테스트 관리 프로세스

• 계획서
• 현황 보고서
• 종료 보고서

 

동적 테스트 프로세스

• 설계 명세서
• 케이스 명세서
• 절차 명세서
• 환경 요건 명세서
• 데이터 요건 명세서
• 환경 준비 보고서
• 테이터 준비 보고서
• 실행 로그
• 결함 보고서
• 결함 추적 보고서

 

정적 테스트 프로세스

• 리뷰 보고서
• 정적 분석 보고서

개별 테스트 수준에서의 테스트 문서화 전략 예

 

 

테스트 시작 및 종료 조건

동적 테스트 활동을 시작하기 위하여 만족되어야 하는 조건과 테스트 활동의 수행을 종료할 수 있는 조건

 

 

테스트 활동의 시작 및 종료 조건

시작 조건이 충족되면 해당 활동의 시작을 허용하고 종료 조건이 충족되면 해당 활동의 종료를 허용

 

시작 조건은 각 테스트 활동에서 달라질 수 있다.

 

개별 테스트 프로세스의 시작 및 종료 조건

• 각 개별 테스트를 시작할 수 있는 조건과 종료할 수 있는 조건을 정의해야 한다.
• 이전 개발 테스트의 종료 조건은 이후 개별 테스트의 시작 조건을 포함하여야 한다

 

테스트 설계 기법

 

테스트 설계 기법 비교

정적테스트 장점

• 구현물이 완성되기전에 적용 가능
• 실행을 위한 환경 필요X
• 결함의 위치를 직접적으로 결정

단점

• 동적 특성(실행 해야하는 것)을 확인하기 어려움

동적 테스트 장점

• 동적 특성( 실행에서 알수있는 성능, 신뢰성, 가용성 등)을 확인가능

단점

• 구현물이 완성된 후 적용 가능
• 테스트 환경 및 데이터 등 준비 필요
• 장애 확인 후에 결함의 위치는 분석 필요

 

 

동적 테스트 설계 기법

 

 

명세기반 테스트

• 동등 분할
• 분류 트리 기법
• 경곗값 분석
• 신택스 테스트
• 조합 테스트
• 상태 전이 테스트
• 인과 그래핑
• 결정표 테스트
• 시나리오 테스트

 

구조 기반 테스트

• 문장 테스트
• 결정 테스트
• 조건 테스트
• 결정.조건 테스트
• 다중 조건 테스트
• 변형 조건/결정 테스트
• 기본 경로 테스트

 

경험 기반 테스트

• 오류 추정
• 탐색적 테스트

테스트 케이스를 설계할 때는 명세 기반 테스트와 구조 기반 테스트를 함께 사용함으로써

누락 결함과 비관련 결함도 검출할 수 있도록 해야 한다.

구조 기반 테스트는 소스 코드와 관련된 정보를 바탕으로 함 ( 규모와 복잡도가 작은 컴포넌트/모듈 등 대상으로 수행)

명세 기반 테스트는 소스 코드 참조X 명세를 바탕으로 함 ( 상세 설계, 구조 설계, 요구분석 등의 명세 바탕으로 케이스 설계) - 테스트 모두 활용 가능

 

 

테스트 환경 및 테스트 데이터

 

테스트 환경 유형

 

• 하드웨어
• 시스템 소프트웨어
• 외부 연동 시스템
• 공존 응용 소프트웨어
• 테스트 도구

재테스팅 및 리그레션 테스팅

 

재테스팅 - 변경이 발생한 후에 재테스팅을 수행할 개별 테스트를 선정하는 전략 필요

리그레션 테스팅 - 리그레션 테스트를 적용할 선정하는 전략 필요

 

테스트 메트릭

 

테스트 현황을 정량적으로 파악하여 테스트의 진척도 및 시스템의 품질을 객관적으로 판단하기 위해 수집하는 측정 항목

 

테스트 메트릭 유형

 

테스트 계획

• 테스트 대상 수 
• 피처 수

테스트 설계 및 구현

• 테스트 케이스 수
• 테스트 절차 수

테스트 환경 구축 및 관리

• 테스트 환경 준비율
• 테스트 데이터 준비율

테스트 실행

• 실행된 테스트 케이스(절차) 수
• 통과된 테스트 케이스(절차) 수

결함 보고

• 검출된 결함 수
• 상태별 결함 수

 

테스트 완료 기준

테스트 완료 기준 -  동적 테스트 활동의 최종 종료시에 평가되는 기준

 

기본 유형

• 테스트 케이스(절차) 기반 방법
• 테스트 커버리지 기반 방법
• 결함 기반 방법

분석 유형

• 신뢰도 예측 장법
• 결함 탐침 방법
• 복수 테스트팀 방법

산출물 요약

테스트 관리 프로세스

 

• 테스트 계획
• 테스트 모니터링 및 제어
• 테스트 종료

 

테스트 계획

 

테스트 계획서 요약

 

테스트 컨텍스트

• 테스트 계획 유형
• 테스트 대상
• 테스트 범위
• 가정 및 제약사항
• 이해관계자

위험 분석

• 프로젝트 위험
• 제품 위험

테스트 전략

• 개별 테스트(프로젝트 테스트 계획서의 경우)
• 테스트 산출물
• 테스트 설계 기법
• 테스트 환경 요건
• 테스트 데이터 요건
• 재테스팅 및 리그레션 테스팅
• 테스팅 중단 및 재시작 조건
• 테스트 메트릭
• 테스트 완료 조건
• 조직 테스트 전략과 차이점

테스트 수행 계획

• 테스트 조직/인력과 역할
• 테스트 활동 및 일정
• 의사소통

 

테스트 모니터링 및 제어

 

테스트 모니터링 및 제어 활동 산출물 요약

테스트 현황 보고서 

• 보고 대상 기간
• 계획 대비 진척도
• 테스트 메트릭
• 신규 및 변경 위험
• 이후 테스트 계획

 

테스트 활동 제어 (대표적)

• 테스트 프로세스 시작 및 테스트 활동의 시작
• 계획 대비 진척도 점검에 따른 테스트 활동 제어
• 위험 변동에 따른 테스트 활동의 제어
• 테스트 활동의 종료 및 테스트 프로세스의 종료

 

 

테스트 종료

 

테스트 종료 활동 산출물 항목

테스트 종료 보고서

• 테스팅 요약
• 계획 대비 차이점
• 테스트 메트릭
• 테스트 방해 요인
• 테스트 완료 평가
• 잔존 위험
• 테스트 산출물
• 재사용 가능한 테스트 자산
• 교훈

 

 

산출물 요약

테스트 관리 프로세스를 수행하면서 작성되는 산출물을 보여줌

 

 

동적 테스트 프로세스

 

• 테스트 설계 및 구현 (테스트 계획서)
• 테스트 환경 구축 및 관리 (테스트 환경 요건 명세서, 테스트 데이터 요건 명세서)<테스트 환경 준비 보고서, 테스트 데이터 준비 보고서>
• 테스트 실행 (테스트 실행 로고)
• 결함 보고 (결함 보고서, 결함 추적 보고서)

 

테스트 활동

 

테스트 설계 및 구현

• 테스트 대상과 피처를 바탕으로 피처 집합을 식별하고 피처 집합에 포함된 각 피처를 세분화
• 수립된 테스트 전략 구체화
• 테스트 케이스 및 테스트 절차 개발
• 테스트 환경과 테스트 데이터 요건 정의

 

 

 

테스트 환경 구축 및 관리

주어진 테스트 환경 요건과 테스트 데이터 요건을 바탕으로 환경을 구축하고 테스트 데이터 준비

 

 

테스트 실행

테스트 절차를 실행하였을 때 테스트 대상의 실제 수행 결과와 예상 결과를 비교하여 테스트 결과를 기록

 

결함 보고

테스트 실행을 통해 발견되어 적절한 조치가 필요한 이슈에 대해서는 결함으로 보고 (로그 분석후 결함판단되면 결함 보고서 작성),( 디버깅후 해결되고 종결되는 과정을 결함 추적 보고서에 기록)

 

 

 

산출물 요약

 

 

테스트 산출물

 

산출물 간의 관계

• 최상위 문서로 조직 테스트 정책 명세서 개발
• 전략 명세서 바탕으로 테스트 계획서 개발
• 테스트 명세서 작성 
• 요건 명세서 작성
• 환경 준비 보고서 데이터 준비 보고서 작성
• 테스트 종료 보고서 작성
• 프로젝트 테스트의 종료 보고서 작성