[학부연구생] Grid 표현 손실 실험 ① — NExT-QA Development Set과 Fixed-6 만들기

지난주에는 IG-VLM의 Grid 생성 코드를 따라가며 Frame Selection과 Grid Representation의 경계를 확인했다.이번 주부터는 새로운 Grid 방법을 바로 설계하는 것이 아니라, 그보다 먼저 한 가지 질문을 확인한다.동일한 6개의 프레임을 사용하더라도 Grid의 표현 방식에 따라 VLM이 얻는 정보와 Video QA 결과가 달라지는가? 이번 연구의 핵심은 어떤 프레임을 선택할 것인가가 아니다.IG-VLM의 Uniform Sampling으로 선택한 6개의 frame index를 먼저 고정하고, 이후 모든 비교에서 정확히 같은 6장의 프레임을 사용한다. Fixed-6 frame set으로 정의하고 Equal Grid와 이후 모든 비교에서 동일한 frame index를 유지하도록 ..

[주간회GO 26년 9월 5주차, 10월 1주차] ㄱㅇ

보호되어 있는 글입니다.

들어가며1. 이번 연구에서 내가 맡은 문제는 무엇인가2. 기존 IG-VLM 실행 기록에서 연구 경계 다시 확인하기3. Video Panels — Temporal Resolution과 Spatial Detail의 Trade-off4. ViKey — Sparse Frame 사이의 시간 관계는 어떻게 전달할까5. 10월 1주차 결과 정리 1. 이번 연구에서 내가 맡은 문제는 무엇인가연구 목표를 다음처럼 한정한다. "IG-VLM의 Uniform Sampling으로 미리 고정한 동일한 6개 Frame을 VLM에게 어떻게 보여줄지 연구한다." Frame Selection은 제한된 Frame budget 안에서 어떤 시점의 Frame을 선택할 것인가를 다루는 문제다.반면 Grid Representation은 이미 선..

9월에는 처음으로 IG-VLM 논문을 읽고, 논문의 아이디어를 이해한 뒤 실제 코드를 실행해보는 과정까지 진행했다.Video에서 프레임을 가져오고, 3×2 Image Grid를 만든 뒤 Prompt와 함께 VLM에 입력하여 Answer를 얻는 전체 흐름을 직접 따라가 보았다. 10월부터는 여기서 한 단계 더 나아간다.이제부터는 기존 논문을 단순히 읽고 재현하는 것이 아니라, 하나의 연구 질문을 가지고 직접 실험하고 분석하는 과정을 진행한다.이번 연구는 10월부터 12월까지 약 3개월 동안 진행되며, 최종적으로는 실험 결과를 정리하여 논문 형태의 전체 원고까지 작성하는 것을 목표로 한다. 이번 연구에서 내가 확인하려는 것이번 연구의 핵심은 생각보다 단순하다.IG-VLM에서는 영상에서 6개의 프레임을 Uni..

보호되어 있는 글입니다.

지난 글에서는 IG-VLM을 직접 실행해 보면서 Video ↓6 Frames Sampling ↓Image Grid ↓Prompt ↓VLM ↓Answer 이라는 전체 흐름을 따라가 보았다.이번에는 모델이 아니라 평가 데이터 자체를 보기로 했다.IG-VLM 논문에는 MSVD-QA, ActivityNet-QA, NExT-QA, STAR 등 여러..

2026년 9월 20일.카카오 판교 아지트에 다시 방문했다.이번 방문은 지금까지와 조금 달랐다.KANANA 429의 마지막 공식 일정인 해단식이 있었기 때문이다. 2026년 3월 처음 KANANA 429 앰배서더 활동을 시작한 이후 발대식, 온·오프라인 세션, 새로운 AI 기능 체험, 콘텐츠 제작 등 다양한 경험을 해왔다.그리고 이날은 그동안의 활동을 돌아보는 동시에 앞으로 카카오 AI가 어디로 향하고 있는지를 함께 생각해 보는 시간이었다.개인적으로도 예상하지 못했던 좋은 결과가 있었다.마지막 시상식에서 KANANA 429 베스트 콘텐츠상을 받게 되었다.이번 글에서는 마지막 해단식의 하루를 처음부터 끝까지 기록해 보려고 한다.KANANA 429 마지막 해단식해단식은 카카오 판교 아지트 4층 스위치온에서 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

들어가며지난 글에서는 An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM 논문을 다시 읽으면서 세 가지 질문에 답해보았다.이 논문의 핵심 아이디어는 무엇인가?그 주장을 보여주기 위해 무엇과 비교했는가?어떤 평가 지표를 사용했고, 이를 통해 무엇을 설명하려 했는가? 그 과정에서 내가 이해한 IG-VLM의 핵심은 다음과 같았다.Video의 여러 Frame을 Sampling → 시간 순서대로 하나의 Image Grid로 구성 → Grid를 일반 이미지처럼 pretrained VLM에 입력 → Video Question Answering 수행 논문에서는 비디오를 6개의 구간으로 나누고 각 구간에서 프레임을 하나씩 선..