카메라 센서 구조 및 좋은 카메라 고르기

Camera

사진 찍는 원리

- light -> ccd/cmos -> iso gain and raw-image precessing -> rgb demosaicing -> noise reduction -> white-balance, color space transform -> color manipulation -> mapping to sRGB output -> JPEG Compression

 

camera 종류

color camera

color camera는 demosaicing 작업으로 interpolation을 수행함으로 해상도가 떨어지게 되며, 연산시간이 필요하다.

그 필터를 씌우고 빛을 받는 과정에서 빛의 세기 또한 떨어진다.

gray camera

gray camera는 rgb filter를 안쓰기 때문에 광량이 올라가 noise도 적어지고, 선명도가 올라가며, 해상도가 올라간다.

즉 gray camera로 얻는 이점이 많다.

Multi-/Hyperspectral camera

훨씬 더 많은 color channel을 가지는 카메라로 더나아가 가시광선 외의 신호를 받기도 한다.

통상 100개보다 많은 채널을 사용하면 hyperspectral camera라고한다.

적외선 카메라처럼 야간에도 사용이가능 한경우도 있다.

Polarized camera

편광 필터를 사용하는 카메라로 빛반사를 줄이는데 큰 효과를 가진다.

이 효과는 소프트웨어로는 불가능하며 하드웨어적으로만 가능

Event camera

pixcel의 변화가 있는 부만 표현을 하는 카메라로 연산량이 적기때문에 속도에서 엄청난 이점이 있다.(초고속 카메라 만큼 빠름)

 

좋은 Camera 고르는법

camera는 image sensor, lens로 구성되어있다.

즉 최소 2가지 성능이 좋아야한다.

image sensor의 고려요소

High sensor resolution <-> Lower FPS (trade off)

High sensitivity (밝은 환경에서는 오히려 광량을 줄여야한다)

High FPS (real time 25~30 fps)

Large sensor size (pixel surface area 커지면 광량이 많아지며, 더 좋은 신호와 noise감소 효과)

                              (크게 받아 가운데만 crop하면 왜각의 distortion을 줄일 수 있다.

Noise - shot noise, read noise가 있다.

          - Quantum efficiency(얼마나 양자화 되는지) 낮으면 변환 안된것이 noise

          - Heat stability(온도에 대한 안정성) 온도에따라 성능변화

Dynamic range - 밝은 환경에 밝은 신호 인식 or 어두운 환경에 어두운 신호 인식

Sensor type - CCD - High dynamic range + low noise + natural global shutter (DSLR사용, 소형화 힘듬)

                    - CMOS - Small sensor size + low power + rolling shutter(대부분)

Shutter type - Global shutter - VSLAM에서 주로 선호

                    - rolling shutter - 움직일 때 신호가 밀리는 현상이 있음

Form factor  - 용도에따라 크기와 무게가 중요함

Power / cooling - 저전력과 저발열이 제품에 중요하기도 함

                          - 필요에따라 무게, 사이즈를 포기하고 성능을 위해 별도의 cooling시스템도 갖추기도 함

Interface/Mount - USB/USB3/USB-C/Gig-E/10Gig-E 종류에따라 cable 길이 제한도 다름

                          - portable, gimbal, tropod 등

Pre-processing/ISP - Fast processing하지만 발열이 생긴다

                                - 가끔 변태들은 여기에 접근해서 coding한다.

Shock resistance/Heat proof - Autonomous driving경우 충격, 온도에 안정적이여야한다.

Lens 고려요소

Spatial Resolution - 공간 분해능으로 공간감을 얼마나 잘 표현하나

Focus - 좋은 focus를 얻기위해선 Sensor size, working distance, FoV의 조합이 중요

           - Lens calculator 라는 계산 프로그램도 있기도 하다.

FoV - Wide-view lens(광각 렌즈) 굴절이 많아 distortion이 생김

        - Telecentric lens(망원 렌즈) 초점 맞추기가 어려움

MTF Chart로 깔끔한 이미지를 제공하는 lens를 찾을 수 있다.

                 - x축 특정 공간에서 반복되는 패턴의 수

                 - y축 contrast를 의미하며 공간 분해능과 연관이 있음

                 - x값이 커지면 y값이 내려가는데 덜 내려가는게 좋은 성능