Color filter array, CFA, 컬러필터어레이, MFA, multispectral filter array, 멀티스펙트럴필터어레이

 

컬러이미징이나 영상처리를 공부하다 보니

Demosaicing, Color interpolation이라는 분야를 흥미롭게 보고 있다. 

 

2024.01.30 - [Sensor] - 전자기스펙트럼 electromagnetic spectrum, EMS / 가시대역, 근적외선 대역 visible spectrum, near-infrared, NIR, IRCF, 적외선차단필터

전자기스펙트럼 electromagnetic spectrum, EMS / 가시대역, 근적외선 대역 visible spectrum, near-infrared, NIR, IR

 

여기에서 이어지는 것인데, visible 대역을 재구성 하려면 색을 재현하면 된다. 재현하는 방법은 다양한데, 단순하게 생각해서는 색의 정보는 필터대역을 사용해서 빛의 삼원색인 primary color, 즉 RGB를 3채널로 입력받은 뒤

한꺼번에 보여주는것이다. 그럼 인간은 원래 색으로 인식하겄지?

 

그런데 일단, RGB만으로 색을 구현하려고 해도, 최소 3 채널이 필요하다. 그럼 센서도 3개, 카메라도 3개, 광학계도 3개가 필요하다는건데 이건 너무 비효율적이다. 각각 광학계라면 registraion, 등록이라는 문제도 발생한다. 각각의 위치가 미세하게 다르기 때문이다. 한 광학계만 이용한다고 하면, 프리즘이나 반사를 이용해서 3개의 센서에 빛을 보내주는 방법이 있다. 여전히 이건 프리즘과 3개 센서의 공간이 필요하다. 그러면 같은 광학계, 같은 센서에, 앞의 필터만 교체해주면서 찍는 방법은? 아주 깜찍한 발상이지만, 최소 3번을 찍어야한다. 필터 바꿔끼는 동안 피사체가 움직인다면? 그럼 더 오류가 커지게 되는 것이다. 

 

그래서 도입된 방법이 color filter array CFA 라는 방법이다. 이건 각 픽셀마다 다른 필터를 씌워서 픽셀에 측정된 인텐시티를 가지고 나머지 컬러채널을 복원하는 방법이다. 

 

가장 유명한 베이어 패턴 Bayer Pattern을 보면, green 채널이 50%있고, 나머지 red와 blue 채널이 각각 25%씩 있다. 나머지 없는 것을 복원해주는 것이 color interpolation, 즉 demosaicing이다. Bayer 패턴은 additive primary color인 RGB 세 채널을 이용하고 있는데, G를 50% 사용함으로써 중간 대역을 더 많이 측정해서 복원에 유리하도록 한 것이라고 한다. PPI라는 기준이미지를 많이 사용하는데 그걸 G로 쓰겠다는 것이다. 

 

Bayer를 많이 쓰기는 하지만 단점도 많다. 그것을 극복하기 위해서 사고의 틀을 깨는 시도가 많았다. 꼭 additive primary color 아닌 subtractive primary color인 CMY를 사용하기도 하고, 둘을 섞기도 하고, 가시전대역인 W를 넣기도 한다. 어떤 논문에서는 orange 채널을 넣기도 하더라. 

 

additive primary color나 subtractive primary color를 넘어서 multispectral을 이용하기도 한다. 가시대역이 400nm에서 700nm정도이므로 이 사이의 대역을 잘게 나누어 좁은 band pass filter를 통해 이미지를 얻는 것이다. 이것은 단순히 채널이 엄청나게 많으므로 cube라고 불린다. 마치 continuous한 visible 대역을 cube처럼 샘플링 한 것으로도 볼 수 있다. multispectral을 전체 픽셀을 통해 샘플링했다면 그것은 full cube가 될 것이지만, 앞서 언급한 여러가지 한계들로 인해서 multispectral 정보를 애초부터 full resolution으로 얻기란 엄청나게 비효율적인 작업이 될 것이다. 4x4, 16채널로 측정하는 경우가 있는데 이때는 CFA라고 하지 않고 multispectral filter array MFA라고 한다. 이건 어떤 대역을 band pass할 것인지, 어떤 위치로 배치시킬건지에 따라 CFA만큼, 보다 더 훨씬 무수한 방법들이 존재한다. 

 

---

* 각각의 CFA에 대한 분석

* multispectral, hyperspectral에 대한 다양한 내용

* 대표적인 demosaicing 방법