[학부연구생] Grid 표현 손실 실험 ① — NExT-QA Development Set과 Fixed-6 만들기

지난주에는 IG-VLM의 Grid 생성 코드를 따라가며 Frame Selection과 Grid Representation의 경계를 확인했다.이번 주부터는 새로운 Grid 방법을 바로 설계하는 것이 아니라, 그보다 먼저 한 가지 질문을 확인한다.동일한 6개의 프레임을 사용하더라도 Grid의 표현 방식에 따라 VLM이 얻는 정보와 Video QA 결과가 달라지는가? 이번 연구의 핵심은 어떤 프레임을 선택할 것인가가 아니다.IG-VLM의 Uniform Sampling으로 선택한 6개의 frame index를 먼저 고정하고, 이후 모든 비교에서 정확히 같은 6장의 프레임을 사용한다. Fixed-6 frame set으로 정의하고 Equal Grid와 이후 모든 비교에서 동일한 frame index를 유지하도록 ..

2026.10.07

[학부연구생] Grid Representation 연구 1주차 — 기존 IG-VLM 코드에서 연구 경계를 찾고 선행연구로 문제를 좁히다

들어가며1. 이번 연구에서 내가 맡은 문제는 무엇인가2. 기존 IG-VLM 실행 기록에서 연구 경계 다시 확인하기3. Video Panels — Temporal Resolution과 Spatial Detail의 Trade-off4. ViKey — Sparse Frame 사이의 시간 관계는 어떻게 전달할까5. 10월 1주차 결과 정리 1. 이번 연구에서 내가 맡은 문제는 무엇인가연구 목표를 다음처럼 한정한다. "IG-VLM의 Uniform Sampling으로 미리 고정한 동일한 6개 Frame을 VLM에게 어떻게 보여줄지 연구한다." Frame Selection은 제한된 Frame budget 안에서 어떤 시점의 Frame을 선택할 것인가를 다루는 문제다.반면 Grid Representation은 이미 선..

2026.10.04

[학부연구생] IG-VLM의 Accuracy를 믿기 전에 — Video QA Dataset을 직접 열어봤다

지난 글에서는 IG-VLM을 직접 실행해 보면서 Video ↓6 Frames Sampling ↓Image Grid ↓Prompt ↓VLM ↓Answer 이라는 전체 흐름을 따라가 보았다.이번에는 모델이 아니라 평가 데이터 자체를 보기로 했다.IG-VLM 논문에는 MSVD-QA, ActivityNet-QA, NExT-QA, STAR 등 여러..

2026.09.22

[학부연구생] 논문을 읽는 것에서 연구 질문을 찾는 것으로 — IG-VLM 이후의 다음 과제

보호되어 있는 글입니다.

2026.09.17

[학부연구생] IG-VLM 직접 실행해보기 — 논문의 아이디어를 코드로 따라가다

들어가며지난 글에서는 An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM 논문을 다시 읽으면서 세 가지 질문에 답해보았다.이 논문의 핵심 아이디어는 무엇인가?그 주장을 보여주기 위해 무엇과 비교했는가?어떤 평가 지표를 사용했고, 이를 통해 무엇을 설명하려 했는가? 그 과정에서 내가 이해한 IG-VLM의 핵심은 다음과 같았다.Video의 여러 Frame을 Sampling → 시간 순서대로 하나의 Image Grid로 구성 → Grid를 일반 이미지처럼 pretrained VLM에 입력 → Video Question Answering 수행 논문에서는 비디오를 6개의 구간으로 나누고 각 구간에서 프레임을 하나씩 선..

2026.09.14

[학부연구생] IG-VLM을 다시 읽다 — 논문을 이해하는 3가지 질문

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. 내 ..

2026.09.14

IG-VLM에서 사용한 10개 Benchmark 간단 정리

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. Op..

2026.09.13

[학부연구생] 논문을 읽는 세 가지 질문 — 연구를 보는 관점을 배우다

2026.09.109월 2일 교수님께 연구 중인 과제 일부와 관련 논문인 IG-VLM(Image Grid Vision Language Model)을 전달받았고 첫 일주일 동안 과제 PDF와 논문을 읽으며 내용을 이해하는 데 집중했다. 9월 9일 랩미팅에서는 별도의 발표 자료 없이 PDF를 직접 펼쳐놓고 내가 이해한 내용을 설명했다. 모르는 부분을 질문하고 교수님과 박사님의 설명을 들으며 첫 번째 과제를 정리했다. 그리고 다음 날인 9월 10일, 박사님과 따로 이야기를 나눴다.처음에는 교수님께서 말씀하신“IG-VLM GitHub가 있으니 직접 모델을 돌려봐라.”라는 다음 과제를 집중적으로 진행하려고 생각했다. 하지만 이야기를 나누면서 그보다 더 중요한 것을 하나 배우게 되었다.바로 논문을 어떤 관점으로 읽..

2026.09.11

학부연구생 첫 일주일: 연구 과제와 IG-VLM 논문을 읽으며 연구를 이해해보기

2026년 9월, 이번 학기부터 컴퓨터 비전 연구실에서 학부연구생 활동을 시작하게 되었다.그리고 9월 2일, 학부연구생으로서 처음으로 연구 과제를 받았다.첫 과제는 단순히 논문 한 편을 읽고 요약하는 것이 아니었다.현재 연구실 박사님께서 진행하고 있는 연구의 일부인 서론(Introduction)과 관련 연구(Related Works)를 먼저 읽으면서 연구의 전체적인 배경을 파악하고 그 안에서 참고하고 있는 연구 중 하나인 IG-VLM(Image Grid Vision Language Model) 논문까지 함께 읽어보는 것이었다. 처음 자료를 받았을 때는 생소한 용어도 많았고 영어 논문 한 편의 전체 흐름을 제대로 따라가 본 경험도 많지 않았다.그래서 이번 일주일 동안은 단순히 과제를 끝내는 것보다“현재 연..

2026.09.10