러닝머신의 머신러닝

안녕하세요. 오늘은 요즘 많은 사람들의 관심을 받고 있는 ChatGPT에 대한 간단한 소개를 하는 글을 작성해보려고 합니다. ChatGPT는 기존에 연구되던 모델을 개량하여 서비스로 만들었기에 논문이 따로 올라와있지는 않습니다. 대신 OpenAI 블로그에 ChatGPT에 대한 간략한 소개가 되어있습니다. https://openai.com/blog/chatgpt/ ChatGPT: Optimizing Language Models for Dialogue We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followu..

안녕하세요. 오늘 리뷰해볼 논문은 CoCa: Contrastive Captioners are Image-TextFoundation Models라는 논문입니다. CoCa는 Google Research에서 발표한 Vision&Language 논문입니다. CoCa는 Vision&Language 계열의 논문에서 여러 task를 해결하기 위해 제안되었던 여러가지 모델 구조를 하나의 구조로 통합한 모델이라고 합니다. (https://arxiv.org/abs/2205.01917) (해당 글은 개인적인 기록을 목적으로 잘못된 내용이 있을 수 있음을 알립니다.) 0. Abstract 해당 논문은 CLIP의 contrastive loss와 SimVLM의 generative caption loss 방식을 image-text..