러닝머신의 머신러닝

오늘 리뷰할 논문은 MobileNeRF입니다. 기존의 NeRF는 ray별로 volumetric rendering을 하기 때문에 연산 부하가 있고 GPU를 필요로 합니다. MobileNeRF에서는 기존의 NeRF 구조를 최대한 효율적으로 바꾸어서 GPU가 없는 기기에서도 interactive하게 3D novel view synthesis를 할 수 있도록 합니다. 이 과정에서 z-buffer, GLSL fragment shader 같이 컴퓨터 비전 관련 소프트웨어를 사용하여 범용성이 높아진다고 합니다. https://mobile-nerf.github.io/ MobileNeRF MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Ne..

안녕하세요. 오늘 리뷰해볼 논문은 LERF: Language Embedded Radiance Fields입니다. LERF는 주어진 scene에서 자연어를 통해 대상을 찾아내고 NeRF처럼 해당 객체에 대해 입체적인 모습은 추론하는 모델입니다. https://arxiv.org/abs/2303.09553 LERF: Language Embedded Radiance Fields Humans describe the physical world using natural language to refer to specific 3D locations based on a vast range of properties: visual appearance, semantics, abstract associations, or acti..

안녕하세요. 오늘 리뷰할 논문은 ICLR 2023년에 accept된 View Synthesis with Sculpted Neural Points라는 논문입니다. NeRF가 컴퓨터비전 분야에서 선풍적인 인기를 끌기 시작하면서, NeRF와 같은 3D rendering task를 다른 방식으로 접근하여 해결하려는 접근들이 다양하게 시도되고 있습니다. 그 중 하나가 오늘 소개해드릴 논문입니다. View Synthesis with Sculpted Neural Points (SNP)에서는 Scene의 3D representation을 implicit representation으로서 MLP에 저장하는 NeRF와는 다르게 3D representation을 point cloud 형태인 explicit representa..

오늘은 GIRAFFE를 리뷰해보겠습니다. GIRAFFE는 2021년 CVPR best paper였던 논문입니다. GIRAFFE는 이미지를 객체 단위로 피처를 생성한 뒤 이를 합친 뒤 이미지로 생성해내는 모델입니다. 이 때 이미지에 합성될 객체들의 피처를 생성해서 합치는 부분까지가 NeRF와 유사한 구조를 띄고 있습니다. 아래 그림을 참고하면 이해에 도움이 될 것 같습니다. 각 객체는 shape, appearance, pose latent code를 가지고 feature 형태로 만들어진 후 volume rendering을 통해 하나로 합쳐지게 됩니다. 이미지 대신 feature를 만드는 것이기 때문에 neural radiance field 대신 neural feature field라고 부르는 듯 합니다. ..

안녕하세요. 오늘 리뷰해볼 논문은 NeuMAN: Neural Human Radiance Field from a Single Video이라는 논문입니다. ECCV2022에 나온 논문입니다. 적은 시간의 비디오만 가지고 NeRF에 인간의 모습을 학습 시킨 뒤 자유롭게 렌더링하는 것을 목표로 하는 연구입니다. 저도 이 도메인의 페이퍼를 많이 읽어보진 않았기에 미숙한 부분이 있어도 양해부탁드립니다. (https://arxiv.org/abs/2203.12575) 0. Abstract 해당 논문의 저자들은 하나의 임의의 비디오를 가지고도 novel human pose와 scene을 렌더링할 수 있는 프레임워크를 제안합니다. 비디오는 움직이는 카메라로 찍은 비디오(핸드폰 같은)이며 human NeRF와 scene N..

안녕하세요. 오늘 리뷰해볼 논문은 Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields 입니다. Google에서 발표한 논문이며 해당 논문에 참여한 Jonathan T. Barron, Ben Mildenhall, Matthew Tancik 세 사람은 Google 혹은 UC Berkeley 소속입니다. 굵직한 NeRF 논문들을 지속적으로 내고 있으니 세 사람의 publication을 tracking하는 것도 NeRF 연구 경향을 따라가는데 도움이 될 것으로 보입니다. (해당 글은 개인적인 기록을 목적으로 잘못된 내용이 있을 수 있음을 알립니다.) (https://arxiv.org/abs/2103.13415) 0. Abs..

안녕하세요. 오늘 리뷰할 논문은 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis입니다. 2020년에 발표된 논문으로 발표된지 꽤 지난 논문이지만 여전히 학계에 엄청난 영향을 주고 있는 논문입니다. 특정한 3D 장면에서 여러 각도의 사진이 제공이 되면 사진으로 제공되지 않았던 각도의 사진도 모델을 통해 유추할 수 있다는 것을 보여준 논문입니다. NeRF는 광선이 사물을 비추는 현상을 굉장히 간단한 형태의 모델로 학습시켰습니다. (해당 글은 개인적인 기록을 목적으로 잘못된 내용이 있을 수 있음을 알립니다.) (https://arxiv.org/abs/2003.08934) 0. Abstract 특정한 장면(Scene)에서 여러 각도로..