테스트 환경

VCX 점수는 모든 제품이 주관적인 평가없이 동일한 테스트 환경에서 일관된 방식으로 측정되기 때문에 카메라 품질에 대한 객관적이고 신뢰할 수있는 지표입니다. 모든 테스트 환경은 Trusted Labs가 올바른 결과를 제공 할 수 있도록 지침에 따라 신중하게 확인 및 동기화되었습니다.

VCX Trusted lab들은 현재 2020 버전으로 테스트하기 위해 장비와 수행 절차들이 모두 업데이트되었습니다. 이제 전면 카메라(셀카) 테스트가 포함되었으며 후면 카메라 테스트는 비디오뿐만 아니라 다양한 캡처 환경을 포함하도록 확장되었습니다. 후면 카메라의 화질 테스트는 Sunny, Indoor, Night, 플래시, Zoom, Video(각각 3가지 조건 : 햇볕, 실내, 야간)로 구성됩니다. VCX-Forum 회원들은 저조도 조건에서 사진을 찍는 것이 주요 과제라 생각하므로 'Extended Low light' 이름으로, 6가지의 저조도를 추가하였습니다. 새로운 버전에서도 여전히 카메라 퍼포먼스 테스트를 확인 할 수 있습니다.

Test 조건

변인들은 테스트 내내 통제되고 일정하게 유지됩니다. 실험 중에 광량이나 측정거리, 피사체 등의 변수가 생기게 되면 종속 변수와 독립 변수의 상관 관계가 맞지 않게 되어 결과가 왜곡됩니다.

VCX-Forum이 시행하는 테스트는 이러한 변수조차 최소한으로 줄이고자 하나의 이미지를 통해 품질 측정에 필요한 다양한 정보를 축출 할 수 있습니다. (예 : 다이나믹 레인지와 선명도, 비주얼 노이즈 등)

본 테스트를 시작하기 앞서 팩토리모드로 리셋을 하고, 스마트폰 구매 하는 시점에서의 기본적인 환경(디폴트설정)을 유지합니다. 이미지 촬영을 위해서 일반적인 유저가 공통적으로 쓰는 스마트폰의 기본 카메라 앱이 사용됩니다. 이 카메라 앱을 통해 내부 이미지 처리 공정을 사용한 최종적 JPG 이미지 데이터를 기반으로 컴퓨터를 통해 수치화 분석이 수행됩니다.

화질 평가

Metrics:

  • Resolution
  • Texture Loss
  • Sharpness
  • Colors
  • Visual Noise
  • Dynamic Range
  • Shading
  • Distortion

모든 요소는 일정한 조도환경에서 일시에 촬영 됩니다.

TE42 LL 테스트 차트를 기반으로 한 이미지 품질 평가는 다양한 조명 조건에서 수행됩니다.

일광 - 이 조건은 일반적인 밝은 환경의 레퍼런스 및 기준점으로 사용됩니다. 장치가 삼각대에 장착되어있는 동안 조명 수준이 2000lux Day light D55 인 상태에서 수행됩니다.
실내 - neutral LED조명을 이용해 250lux 밝기로 촬영합니다. 이 조건은 직사광선이없는 일반적인 실내 조명 상황을 반영합니다.

야간 – 저조도 상황은 카메라가 표현 할 수 있는 가장 어려운 환경입니다. 이 경우 10 lux, warm LED로 테스트 합니다.

Extended Low light – 조명이 단계별로 감소하는 상태에서 캡처 된 이미지를 평가합니다. 일광 조명수준을 포함하여 10 lux, 5 lux, 2.5 lux, 1 lux, 0.75 lux 의 환경에서 촬영됩니다.

플래쉬 – 주변이 너무 어두우면 평범한 사용자들은 주로 스마트폰에 내장된 LED를 플래쉬로 사용하여 촬영을 합니다. 일반적으로 빛이 전혀없는 경우(0 lux이하)에는 촬영을 거의 하지 않기 때문에 촬영은 10lux (Low)에서 시행 되며 동안이 측정을 위해 플래시가 활성화됩니다.

4배 줌 – 작은 물체를 확대 / 축소하는 것은 카메라 사용자가 수행하는 매우 일반적인 작업입니다. 확대된 이미지의 이미지 품질을 평가하기 위해 언급된 조건에서 Sunny, Indoor및 Night 조건에서 4 배 줌으로 TE42 LL차트 이미지를 촬영합니다. 장치가 광학 줌을 제공하는 경우 광학 줌을 먼저 사용하고 필요한 경우 4 배 줌을 달성하기 위해 디지털 줌을 추가합니다. 디지털 줌만 제공하는 장치 (대부분의 휴대 전화 표준 케이스)의 경우 4 배 디지털 줌을 사용합니다. 4배 미만의 줌만 가능한 장치는 이 측정 조건에서 0 점을 받습니다. 측정에는 줌 계수에 따라 차트와 카메라 사이의 거리가 증가하고 전체 차트가 촬영됩니다.

비디오 – 비디오의 화질 평가는 TE42 LL 테스트 차트를 10 초 동안 촬영된 영상에서 추출된 프레임 이미지를 계산에 사용합니다. 분석을 위해 추출된 프레임은 비디오 영상에서 ffmpeg를 통해 최소 5초 이후 것을 사용합니다. 이는 Sunny, Indoor, Night의 3 가지 다른 측정 조건에서도 수행됩니다.

셀카 테스트 – TE42 LL A460 테스트 차트를 전면 카메라로 촬영한 이 평가는 Sunny, Indoor, Night의 세 가지 측정 조건에서 수행됩니다.

타이밍 측정

Metrics:

  • Frame rate measurement images (Burst Mode compression)
  • AF failure rate measurement images

타이밍 측정 테스트는 LED panel 과 TE42-LL차트를 사용하여 측정됩니다. 촬영의 시작과 함께 LED판넬의 표시기가 빠르게 움직이고, 촬영이 완료되어 이미지에 기록된 시간을 통해 반응속도 등을 확인 하는 방식입니다.

 

안정화 평가

STEVE는 “STabilization EValuation Equipment”(안정화 평가 장비)의 약자입니다. 사람의 손떨림으로 인해 발생하는 모션을 시뮬레이션 할 수 있습니다. 이 장치는 2 축(pitch and yaw) 모션으로 손떨림의 진동을 구현하여 흔들리는 과정중에 촬영하여 이미지 품질을 측정 할 수 있도록 도와줍니다. 이상적으로 촬영된 이미지는 "기울어진" 가장자리를 보여주는 피사체를 정확히 재현해야합니다. 사용되는 차트는 TE42-LL으로 타이밍, 이미지 품질 테스트용 차트 모델과 동일하며 국제표준 ISO 20954-2에 따라 평가가 수행됩니다.

영상들은 250 Lux (Mid), 10 Lux (Low)의 두 가지 조명 조건에서 촬영됩니다.

촬영 결과 분석

분석은 컴퓨터 소프트웨어 IQ-Analyzer 및 VCX 테스트용 차트 파일을 통해 수행됩니다. 측정에서 추출된 모든 데이터는 추가적인 주관적 분석 없이 프로그램을 통해 수치화되어 계산됩니다. 최종 VCX 점수를 계산하기 위해 총 350개가 넘는 테스트 지표가 사용됩니다. 점수에서 각 요소가 점수에 차지하는 비율은 새로운 버전마다 다를 수 있으며, 매 버전마다 VCX 포럼 회원들에 의해 개발되고 결정됩니다.

 

프로세스는 매년 새 버전으로 업데이트됩니다. 더 전문적이고 자세한 정보는 백서를 확인해 주시기 바랍니다. 궁금한 사항이 있으면 언제든지 VCX 에 문의하세요.