Wang, Yinhuai, Jiwen Yu, and Jian Zhang. "Zero-shot image restoration using denoising diffusion null-space model." arXiv preprint arXiv:2212.00490 (2022).
이 포스팅은 위 논문을 읽고 자유롭게 생각한 내용들을 정리한 것입니다.
주저자인 Yinhuai Wang은 북경대(Peking University) 소속이고, 최근 연구 목록을 보니
Diffusion 모델, Null-space, GAN에 주로 연구를 많이 한것 같다. 생성 모델을 이미지 복원(Image restoration)에 적용을 하려고 노력하는 것 같다.
교수님으로 보이는 Jian Zhang
조교수시다.
역시 영상복원, 압축, 생성 등에 관심이 많으시다.
논문 제목을 좀 살펴보자.
ZERO-SHOT IMAGE RESTORATION USING DENOISING DIFFUSION NULL-SPACE MODEL
1. zero-shot.
제로샷이란 머신러닝에서 모델이 처음보는 데이터나 작업에 대해 추론하는것을 말한다.
반대말은 full-shot학습 또는, 지도학습(supervised learning)정도 될 것 같다.
예를 들면, 자격증 공부같은거 할 때, 기출문제만 죽어라 푸는 경우 있자나?
그런경우는 데이터셋에 대한 학습만 되는거지. 원리를 모르니 기출 아닌 새로운 유형의 문제에 대해서는 취약하다.
(그러나 자격증 시험의 경우는.........뭐 적당히 점수만 받으면 되니깐.)
진짜 100점을 맞고 싶거나 더 높은 점수를 얻고 싶다, 그렇다면은 이론을 공부하겠지?
그러나 이론을 모두 공부할 수는 없으니까, 어떻게 공부한다라는걸 세팅할 수는 있겠다.
그럼 어떤 이론과 관계된 문제를 보더라도 스스로 공부하고 추론하고 답을 낼 수 있으니까. 시험에서 처음 보는 문제 유형이 나와도 원리를 바탕으로 해결할 수 있는 것
제로샷 학습은 이와 유사하게, 모델이 다양한 상황과 데이터에 대해 유연하게 대응할 수 있다.
이는 특히 데이터가 제한적이거나 특정 작업에 대한 예시를 수집하기 어려운 상황에서 매우 유용하다.
즉, 이 논문에서는 특정 데이터셋을 이용하지 않고, 목표 데이터 하나를 넣어서 복원하겠다고 예상할 수 있다.
2. IMAGE RESTORATION 영상 복원.
영상 복원은 다양한 이유로 망가진 영상을 다시 돌려놓는 것이다. 망가진걸 손상, 또는 열화(Degradation)이라고 하는데
어떻게 열화되었는지를 알면, 다시 되돌려 놓을 수 있을거라는 게 영상복원의 가정이다.
Degradation의 유형은 다양한데, 흔히 흐림(Blur, motion blur, focus blur), 잡음(noise), 압축 아티팩트 등이 있다. 엄청 다양하다. (이건 따로 다루는게 낫겠다. 노이즈 종류)
여튼 Degradation들을 복원하기 위해서 filtering을 하거나, Deconvolution을 하거나, Machine learning 접근법을 쓰기도 한다. filtering의 경우에는 노이즈에 많이 쓰는거 같고, Deblur는 Degradation이 matrix형태로 표현될 수 있으니 Deconvolution으로 접근 가능하겠다. 대부분의 Degradation이 어떤 규칙에 따른 linear하지 않고 non-linear 한 복잡한 경우가 있으므로, 이럴 때 요즘 machine learning으로 접근하려는 것 같다.
(Blur에 관해 PSF에 대해서 따로 다뤄보는것도 좋겠다)
정확한 열화 과정을 파악하는 것이 항상 가능하지 않으며, 때로는 복원 과정에서 가정이나 추정에 의존해야 할 수도 있다. 이러한 제약은 복원 결과의 정확도에 영향을 미칠 수 있다.
3. DENOISING 노이즈 제거
denoising이란 noise를 제거하는 것이다. noise의 원인은 매우 다양하다. 종류도 다양하다.
신호에서 노이즈를 제거하는 기술을 2D신호로 볼 수 있는 이미지에서도 적용이 가능하고,
노이즈의 종류도 같은 관점에서 볼 수 있다. (노이즈 종류는 따로 다뤄보자)
4. DIFFUSION
디퓨전. 퓨전을 거꾸로 하겠다는건데. 퓨전이란?
융합....... 쓰까쓰까. 섞는다는 거겠군.
영상처리에서는 다른 영상들의 정보를 모아서 하나의 영상으로 통합하는 걸 fusion이라고 하고, 이 때 통합된 fusion영상은 기존 재료들보다 더 많은 정보를 포함하는것이다. 즉, 더좋게 만드려는거겠지.
근데 이 논문에서의 fusion은 아닌거 같다. 왜냐! 앞에 denoise diffusion이라고 했기 때문!
나중에 논문 내용에도 나오긴 하지만, 일단 여기서 사용된 diffusion은 '확산'이다.
이 diffusion이라는걸 DDPM이라는 논문에서 가져왔는데.
Ho, Jonathan, Ajay Jain, and Pieter Abbeel. "Denoising diffusion probabilistic models." Advances in neural information processing systems 33 (2020): 6840-6851.
와... 인용수 후덜덜하다. 여기서의 개념은 이미지에 노이즈를 추가해서 노이즈가 가득차게 만든상태에서 그 노이즈를 추가한 과정을 역으로 되돌려서 결국 노이즈를 제거하겠다는 내용이다. 그러니까 내가 저 잉크 비커를 가져온 이유가 여기에 있다. 잉크가 확산이 완전히 된 과정에서 \mathbf{x_T}에서 pure한 \mathbf{x_0}를 복원하겠다는거다. 자세한 방법은 forward 조건부 확률을 어찌저찌 베이즈정리로 manipulate해서 .... (이하 생략......... 흑흑 어려워)
5. NULL-SPACE
이 논문에서 사용할 전략이 Range-Null space decomposition이다. 그러면 Rang-Null space가 뭔지....알아야 한다. 자세한 내용은 따로 포스팅하도록 하고 우선 여기서의 핵심은 " decomposition"이다!!! 데이터를 range랑 null이랑 분해해서 뭔가 꿍짝꿍짝할 것 같은 느낌이다.
Schwab, Johannes, Stephan Antholzer, and Markus Haltmeier. "Deep null space learning for inverse problems: convergence analysis and rates." Inverse Problems 35.2 (2019): 025008.
추가 포스팅 주제
1. 지도, 비지도학습, zero-shot, 머신러닝 기초
2. degradation
3. noise 종류, 원인, denoising
4. 이미지 fusion, diffusion모델, 생성모델
5. Range-null space, decomposition 전략.
'Sensor' 카테고리의 다른 글
| 광자, photon에 대하여, 크로스토크, crosstalk 현상 (1) | 2024.02.07 |
|---|---|
| 레나, Lena (0) | 2024.01.31 |
| Color filter array, CFA, 컬러필터어레이, MFA, multispectral filter array, 멀티스펙트럴필터어레이 (1) | 2024.01.30 |
| SBIG ST-2000XM 카메라에 대해 / monochrome, NIR, 근적외선 (0) | 2024.01.30 |
| 전자기스펙트럼 electromagnetic spectrum, EMS / 가시대역, 근적외선 대역 visible spectrum, near-infrared, NIR, IRCF, 적외선차단필터 (2) | 2024.01.30 |
