- 논문 정보
- 논문 제목: Single Image Reflection Separation with Perceptual Losses
- 논문 링크: https://arxiv.org/abs/1806.05376
- 학회 정보: CVPR 2018
오늘 소개시켜드릴 논문은 "Single Image Reflection Separation with Perceptual Losses" (https://arxiv.org/abs/1806.05376)입니다. 올해 CVPR에 나오는 논문입니다.
제목에서 알수 있듯이 Single Image Reflection Separation을 하는 논문입니다. 거울에 반사된 이미지와 투과된 이미지를 분리하는 연구입니다. 반사된 이미지가 일종의 노이즈로 작용하고 있기에 그 부분을 분리하는 것이죠. 아래 결과물을 보시는 것과 같이 두 이미지로 깨끗하게 분리하는게 목적입니다.
이미지에서 여러 노이즈를 제거하는 류의 논문이 딥러닝이 소개되고 나서 많이들 나오는데, 보통 GAN 기반의 방식이 많이 나오고 있습니다. 같은 학회 워크샾에서 나온 비슷한 논문으로는 Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing (https://arxiv.org/abs/1805.05308)가 있는데 CycleGAN을 이용해서 진행합니다. 이 논문은 CycleGAN은 아니고, 하나의 이미지에서 투과 영상인 T와 반사영상 R을 각각 추출하는 네트웍을 두개 사용하는 방식으로 가장 기본적인 어프로치라 생각됩니다.
전체 구조나 문제가 독특하진 않지만, 오늘 이 논문을 소개 시켜드리는 이유는 재밋게 본 loss 때문입니다. 솔직히 논문의 제목에서는 Perceptual Losses라고 하고 있는데, 이 단어는 이미 pix2pix에서 선점한 단어라.. 이 논문에서 쓰인 로스 함스를 제대로 설명 못 하는 거 같습니다. 기존에 Perceptual Loss는 논문에서 쓰인 feature loss와 거의 동일한 정의로 되어 있죠. 이 논문에서는 그런 feature loss, 그리고 Adversarial training에 쓰이는 Adversarial loss가 쓰입니다. feautre loss는 어떤 semanic feature가 유지되도록 하기 위함이고, Adversarial loss는 realism.. 그러니깐 얼마나 현실에 가까운 영상인가를 평가하는 loss입니다. 이 두 loss는 이 분야에서 흔하게 쓰이는 함수입니다.
이 논문에서는 Exclusion loss를 제안했습니다. 이 loss가 이 논문을 읽은 이유이기도 한데, 두 영상이 혼재된 영상을 분리하는데 있어서 하나의 엣지는 두 영상 중 하나의 영상에서 왔다는 관찰점에서 시작합니다. 두 영상이 합쳐졌지만 객체의 특징 부분을 많이 나타내는 엣지는 두 영상 중 하나에 포함된다는 것이죠. 색이나 루미넌스는 두 영상에서 와서 합쳐졌을 수 있지만 그 부분은 아닐거란 관찰점이죠. 예전에 딥러닝이 나오기 전엔 이런 관찰점을 많이 썼는데, 그림자 제거같은 것을 하기 위해서 빛의 변화가 그림자에서 심하다는 것을 이용하기도 했죠. 아무튼.. 이런 것을 하기 위해서 gradient domain에서 투과 영상과 반사영상의 관계가 적도록 학습하도록 합니다.
이렇게 하면 gradient field에서 좀 더 분리하려는 경향이 생길거 같습니다. 아래 결과를 보면.. 좀 더 그런 효과가 보이는... 그런 믿음에서 보이는 그림이 .. 아 아닌가..
아무튼 새로운 구조는 아니지만 최근 자주 쓰이는 loss와 새롭게 넣은 loss로 기존 네트웍 활용해서 좋은 결과를 냈네요.
