▲ 제안된 IFIN(Integrated Forward–Inverse Network)의 전체 구조 및 이미지 복원 결과.


▲ (왼쪽부터) 서울대학교 공과대학 기계공학부 배동건 석박통합과정생, 이승아 교수.

서울대학교 공과대학 기계공학부 이승아 교수 연구팀의 논문이 인공지능·컴퓨터 비전 분야 세계 3대 학회로 꼽히는 유럽컴퓨터비전학회(European Conference on Computer Vision, ECCV) 2026에 채택됐다. 해당 논문은 2026년 9월 스웨덴 말뫼(Malmö)에서 발표될 예정이며, 논문 제목은 “Integrated Forward–Inverse Network for Lensless Image Reconstruction” 이다.

이번 연구에서 연구팀은 광학 렌즈 없이 얇은 코드화 소자만으로 영상을 촬영하는 ‘렌즈리스 카메라’에서, 물리 모델과 딥러닝을 결합해 이미지 복원 성능을 기존 한계 너머로 끌어올릴 수 있음을 보였다. 연구팀이 제안한 새로운 복원 구조 IFIN(Integrated Forward–Inverse Network)은 순방향 물리 투영과 역방향 학습 갱신을 신경망의 모든 단계에서 번갈아 결합하며, 세 종류의 벤치마크 모두에서 기존 최고 성능(state-of-the-art)을 능가했다. 특히 복원 화질을 나타내는 PSNR 지표에서 기존 최고 기법 대비 최대 2.58dB 향상된 결과를 보였다.

렌즈리스 카메라는 두껍고 무거운 렌즈를 얇은 광학 소자로 대체해 초소형·초박형의 다목적 컴퓨팅 카메라를 구현할 수 있는 차세대 영상 기술로 주목받는다. 그러나 센서에 맺히는 신호는 장면의 빛이 넓은 범위로 퍼지고 뒤섞인 형태여서, 이를 다시 또렷한 이미지로 되돌리는 복원 과정이 수학적으로 매우 불안정하며, 이는 렌즈리스 영상 기술의 실용화를 가로막는 핵심 난제로 지적되어 왔다.

연구팀은 이를 해결하기 위해 미분 가능한 순방향 물리 투영과 학습 가능한 역방향 갱신을 인코더–디코더의 모든 계층에서 번갈아 수행하는 양방향 구조 모델을 제안했다. 측정 영역과 영상 영역의 단서를 딥러닝 아키텍처 내에서 물리 모델을 통해 서로 보완적으로 주고받게 함으로써, 일관된 복원이 가능해진다. 연구팀은 제안된 설계를 바탕으로 다수의 렌즈리스 벤치마크에서 최고 수준의 성능을 입증했으며, 나아가 디블러링, 홀로그래피 복원 등에서도 우수한 성능을 보여 제안한 물리 모델의 교차 결합 원리가 렌즈리스 카메라를 넘어 다양한 역문제로 확장될 수 있음을 시사하였다.

[문의사항]
서울대학교 공과대학 기계공학부 이승아 교수 / seungahlee@snu.ac.kr