[학부연구생] Grid 표현 손실 실험 ① — NExT-QA Development Set과 Fixed-6 만들기

지난주에는 IG-VLM의 Grid 생성 코드를 따라가며 Frame Selection과 Grid Representation의 경계를 확인했다.이번 주부터는 새로운 Grid 방법을 바로 설계하는 것이 아니라, 그보다 먼저 한 가지 질문을 확인한다.동일한 6개의 프레임을 사용하더라도 Grid의 표현 방식에 따라 VLM이 얻는 정보와 Video QA 결과가 달라지는가? 이번 연구의 핵심은 어떤 프레임을 선택할 것인가가 아니다.IG-VLM의 Uniform Sampling으로 선택한 6개의 frame index를 먼저 고정하고, 이후 모든 비교에서 정확히 같은 6장의 프레임을 사용한다. Fixed-6 frame set으로 정의하고 Equal Grid와 이후 모든 비교에서 동일한 frame index를 유지하도록 ..

들어가며1. 이번 연구에서 내가 맡은 문제는 무엇인가2. 기존 IG-VLM 실행 기록에서 연구 경계 다시 확인하기3. Video Panels — Temporal Resolution과 Spatial Detail의 Trade-off4. ViKey — Sparse Frame 사이의 시간 관계는 어떻게 전달할까5. 10월 1주차 결과 정리 1. 이번 연구에서 내가 맡은 문제는 무엇인가연구 목표를 다음처럼 한정한다. "IG-VLM의 Uniform Sampling으로 미리 고정한 동일한 6개 Frame을 VLM에게 어떻게 보여줄지 연구한다." Frame Selection은 제한된 Frame budget 안에서 어떤 시점의 Frame을 선택할 것인가를 다루는 문제다.반면 Grid Representation은 이미 선..

지난 글에서는 IG-VLM을 직접 실행해 보면서 Video ↓6 Frames Sampling ↓Image Grid ↓Prompt ↓VLM ↓Answer 이라는 전체 흐름을 따라가 보았다.이번에는 모델이 아니라 평가 데이터 자체를 보기로 했다.IG-VLM 논문에는 MSVD-QA, ActivityNet-QA, NExT-QA, STAR 등 여러..

2026년 9월 20일.카카오 판교 아지트에 다시 방문했다.이번 방문은 지금까지와 조금 달랐다.KANANA 429의 마지막 공식 일정인 해단식이 있었기 때문이다. 2026년 3월 처음 KANANA 429 앰배서더 활동을 시작한 이후 발대식, 온·오프라인 세션, 새로운 AI 기능 체험, 콘텐츠 제작 등 다양한 경험을 해왔다.그리고 이날은 그동안의 활동을 돌아보는 동시에 앞으로 카카오 AI가 어디로 향하고 있는지를 함께 생각해 보는 시간이었다.개인적으로도 예상하지 못했던 좋은 결과가 있었다.마지막 시상식에서 KANANA 429 베스트 콘텐츠상을 받게 되었다.이번 글에서는 마지막 해단식의 하루를 처음부터 끝까지 기록해 보려고 한다.KANANA 429 마지막 해단식해단식은 카카오 판교 아지트 4층 스위치온에서 ..

보호되어 있는 글입니다.

들어가며지난 글에서는 An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM 논문을 다시 읽으면서 세 가지 질문에 답해보았다.이 논문의 핵심 아이디어는 무엇인가?그 주장을 보여주기 위해 무엇과 비교했는가?어떤 평가 지표를 사용했고, 이를 통해 무엇을 설명하려 했는가? 그 과정에서 내가 이해한 IG-VLM의 핵심은 다음과 같았다.Video의 여러 Frame을 Sampling → 시간 순서대로 하나의 Image Grid로 구성 → Grid를 일반 이미지처럼 pretrained VLM에 입력 → Video Question Answering 수행 논문에서는 비디오를 6개의 구간으로 나누고 각 구간에서 프레임을 하나씩 선..

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. 내 ..

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. Op..

2026.09.109월 2일 교수님께 연구 중인 과제 일부와 관련 논문인 IG-VLM(Image Grid Vision Language Model)을 전달받았고 첫 일주일 동안 과제 PDF와 논문을 읽으며 내용을 이해하는 데 집중했다. 9월 9일 랩미팅에서는 별도의 발표 자료 없이 PDF를 직접 펼쳐놓고 내가 이해한 내용을 설명했다. 모르는 부분을 질문하고 교수님과 박사님의 설명을 들으며 첫 번째 과제를 정리했다. 그리고 다음 날인 9월 10일, 박사님과 따로 이야기를 나눴다.처음에는 교수님께서 말씀하신“IG-VLM GitHub가 있으니 직접 모델을 돌려봐라.”라는 다음 과제를 집중적으로 진행하려고 생각했다. 하지만 이야기를 나누면서 그보다 더 중요한 것을 하나 배우게 되었다.바로 논문을 어떤 관점으로 읽..

2026년 9월, 이번 학기부터 컴퓨터 비전 연구실에서 학부연구생 활동을 시작하게 되었다.그리고 9월 2일, 학부연구생으로서 처음으로 연구 과제를 받았다.첫 과제는 단순히 논문 한 편을 읽고 요약하는 것이 아니었다.현재 연구실 박사님께서 진행하고 있는 연구의 일부인 서론(Introduction)과 관련 연구(Related Works)를 먼저 읽으면서 연구의 전체적인 배경을 파악하고 그 안에서 참고하고 있는 연구 중 하나인 IG-VLM(Image Grid Vision Language Model) 논문까지 함께 읽어보는 것이었다. 처음 자료를 받았을 때는 생소한 용어도 많았고 영어 논문 한 편의 전체 흐름을 제대로 따라가 본 경험도 많지 않았다.그래서 이번 일주일 동안은 단순히 과제를 끝내는 것보다“현재 연..