[학부연구생] Grid Representation 연구 2주차 — 같은 Fixed-6에서도 표현 방식에 따라 결과가 달라질까?

2026.10.13 | 10월 2주차 랩미팅1. 이번 주 연구 목표지난 10월 6일 랩미팅에서는 IG-VLM, Video Panels, ViKey가 실제로 시각 정보를 구성하고 VLM에 입력하는 방식을 이해한 뒤, 이를 실험에 연결하는 것이 중요하다는 피드백을 받았다. 선행연구 분석은 다음과 같이 역할을 나누었다.나연 씨: Video Panels의 Sampling, Panel 구성 및 Spatial–Temporal Trade-off 분석나: ViKey의 Visual Prompting과 Temporal Understanding 분석나는 특히 ViKey에서 사용하는 Frame Number 기반 Visual Prompting을 참고하여 동일한 Fixed-6 Grid에 간단한 시간 정보를 표시하는 실험을 진행했..

보호되어 있는 글입니다.

같은 Fixed-6과 같은 Grid에 간단한 Temporal Cue만 추가해본다.들어가며이전 Step 3에서는 Grid 내부의 Resize 방식이 Detail 정보 손실에 영향을 줄 수 있는지 확인했다.처음에는 E0의 기본 Resize와 Aspect Ratio 유지 + Padding을 비교하려고 했지만, Development Set 30개를 확인한 결과 모든 video에서 Fixed-6 내부 6개 frame의 크기가 동일했다.따라서 현재 조건에서는 Grid를 조립하는 과정에서 실제 frame 축소나 aspect ratio 왜곡이 발생하지 않았고, cell-level Resize는 E0와 다른 Representation을 만들어내는 변수가 아니었다. 이번에는 두 번째 Grid Representation 변..

같은 Fixed-6을 유지한 채 Resize 과정에서 실제 정보 손실이 발생하는지 확인한다.들어가며이전 글에서는 Step 1에서 고정한 Fixed-6을 이용해 E0 — Equal Grid Baseline을 구성했다.IG-VLM의 실제 코드를 확인한 결과 Fixed-6은 시간 순서대로 3행 × 2열 Grid에 배치되며 각 frame은 Fixed-6 내부에서 가장 작은 width와 height에 맞춰진다. 이번에는 첫 번째 Grid Representation 변경 조건인 E1 — Resize 처리 비교를 진행한다.확인하고 싶은 질문은 다음과 같다.필요한 frame은 이미 Fixed-6 안에 있는데도 Resize 과정 때문에 작은 물체나 행동 정보가 손실될 수 있는가?이번 단계에서도 Frame Selectio..

같은 Fixed-6을 유지한 채, 가장 기본적인 Equal Grid 조건을 먼저 만든다 들어가며이전 글에서는 이후 모든 비교 실험에 사용할 Development Set 30개와 각 영상의 Fixed-6 frame set을 먼저 고정했다.https://mkisos.tistory.com/entry/cv2610-2-1 즉 이제부터는 어떤 video를 사용할지, 어떤 질문을 사용할지, 그리고 어떤 6개의 frame을 사용할지는 바꾸지 않는다.이번 단계에서 처음으로 만들 조건은 E0 — Equal Grid Baseline이다.이번 연구에서 확인하고 싶은 질문은 여전히 같다.동일한 6개의 프레임을 사용하더라도 Grid의 표현 방식에 따라 VLM이 얻는 정보와 Video QA 결과가 달라지는가?이 질문에 답하려면 무..

지난주에는 IG-VLM의 Grid 생성 코드를 따라가며 Frame Selection과 Grid Representation의 경계를 확인했다.이번 주부터는 새로운 Grid 방법을 바로 설계하는 것이 아니라, 그보다 먼저 한 가지 질문을 확인한다.동일한 6개의 프레임을 사용하더라도 Grid의 표현 방식에 따라 VLM이 얻는 정보와 Video QA 결과가 달라지는가? 이번 연구의 핵심은 어떤 프레임을 선택할 것인가가 아니다.IG-VLM의 Uniform Sampling으로 선택한 6개의 frame index를 먼저 고정하고, 이후 모든 비교에서 정확히 같은 6장의 프레임을 사용한다. Fixed-6 frame set으로 정의하고 Equal Grid와 이후 모든 비교에서 동일한 frame index를 유지하도록 ..

보호되어 있는 글입니다.

들어가며1. 이번 연구에서 내가 맡은 문제는 무엇인가2. 기존 IG-VLM 실행 기록에서 연구 경계 다시 확인하기3. Video Panels — Temporal Resolution과 Spatial Detail의 Trade-off4. ViKey — Sparse Frame 사이의 시간 관계는 어떻게 전달할까5. 10월 1주차 결과 정리 1. 이번 연구에서 내가 맡은 문제는 무엇인가연구 목표를 다음처럼 한정한다. "IG-VLM의 Uniform Sampling으로 미리 고정한 동일한 6개 Frame을 VLM에게 어떻게 보여줄지 연구한다." Frame Selection은 제한된 Frame budget 안에서 어떤 시점의 Frame을 선택할 것인가를 다루는 문제다.반면 Grid Representation은 이미 선..

9월에는 처음으로 IG-VLM 논문을 읽고, 논문의 아이디어를 이해한 뒤 실제 코드를 실행해보는 과정까지 진행했다.Video에서 프레임을 가져오고, 3×2 Image Grid를 만든 뒤 Prompt와 함께 VLM에 입력하여 Answer를 얻는 전체 흐름을 직접 따라가 보았다. 10월부터는 여기서 한 단계 더 나아간다.이제부터는 기존 논문을 단순히 읽고 재현하는 것이 아니라, 하나의 연구 질문을 가지고 직접 실험하고 분석하는 과정을 진행한다.이번 연구는 10월부터 12월까지 약 3개월 동안 진행되며, 최종적으로는 실험 결과를 정리하여 논문 형태의 전체 원고까지 작성하는 것을 목표로 한다. 이번 연구에서 내가 확인하려는 것이번 연구의 핵심은 생각보다 단순하다.IG-VLM에서는 영상에서 6개의 프레임을 Uni..

보호되어 있는 글입니다.

지난 글에서는 IG-VLM을 직접 실행해 보면서 Video ↓6 Frames Sampling ↓Image Grid ↓Prompt ↓VLM ↓Answer 이라는 전체 흐름을 따라가 보았다.이번에는 모델이 아니라 평가 데이터 자체를 보기로 했다.IG-VLM 논문에는 MSVD-QA, ActivityNet-QA, NExT-QA, STAR 등 여러..

2026년 9월 20일.카카오 판교 아지트에 다시 방문했다.이번 방문은 지금까지와 조금 달랐다.KANANA 429의 마지막 공식 일정인 해단식이 있었기 때문이다. 2026년 3월 처음 KANANA 429 앰배서더 활동을 시작한 이후 발대식, 온·오프라인 세션, 새로운 AI 기능 체험, 콘텐츠 제작 등 다양한 경험을 해왔다.그리고 이날은 그동안의 활동을 돌아보는 동시에 앞으로 카카오 AI가 어디로 향하고 있는지를 함께 생각해 보는 시간이었다.개인적으로도 예상하지 못했던 좋은 결과가 있었다.마지막 시상식에서 KANANA 429 베스트 콘텐츠상을 받게 되었다.이번 글에서는 마지막 해단식의 하루를 처음부터 끝까지 기록해 보려고 한다.KANANA 429 마지막 해단식해단식은 카카오 판교 아지트 4층 스위치온에서 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

들어가며지난 글에서는 An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM 논문을 다시 읽으면서 세 가지 질문에 답해보았다.이 논문의 핵심 아이디어는 무엇인가?그 주장을 보여주기 위해 무엇과 비교했는가?어떤 평가 지표를 사용했고, 이를 통해 무엇을 설명하려 했는가? 그 과정에서 내가 이해한 IG-VLM의 핵심은 다음과 같았다.Video의 여러 Frame을 Sampling → 시간 순서대로 하나의 Image Grid로 구성 → Grid를 일반 이미지처럼 pretrained VLM에 입력 → Video Question Answering 수행 논문에서는 비디오를 6개의 구간으로 나누고 각 구간에서 프레임을 하나씩 선..

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. 내 ..

[주간회GO 26년 9월 2주차]26년 9월 2주차 쓸 힘이 없다. 너무 규칙적이지 않고 많은 해야할 일과 많은 변칙적인 일들 그리고 내 마음도 중심이 잡히지 않는다. 바쁘게 살기 -> 운동하면서 생각 정리 -> 메모장에 적기 -> 다시 더 많은 생각들 -> 바쁘게 살기 -> 운동하면서 생각 정리 -> 메모장에 적기26년 9월 7일 월요일 어제 너무 즐거웠네의외의 조합예술가들과이번주 월 화 금 시도 해야한다.이 시간에 이제 운동 가겠지 시간대가 다르니 다 새로운 사람들을 마주해서 신기하다.오랜만에 지원~26년 9월 8일 화요일 오랜만에 이 시간 ㅎㅎ익숙한 사람들과 운동24목 저녁은 잡았는데 23 수 저녁을 찾는 중이다. 10시-20시 수업 도서관 반복중간에 학식 먹으면서 가두모집 보는데홍보대사 사람들이 ..

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. Op..

2026.09.109월 2일 교수님께 연구 중인 과제 일부와 관련 논문인 IG-VLM(Image Grid Vision Language Model)을 전달받았고 첫 일주일 동안 과제 PDF와 논문을 읽으며 내용을 이해하는 데 집중했다. 9월 9일 랩미팅에서는 별도의 발표 자료 없이 PDF를 직접 펼쳐놓고 내가 이해한 내용을 설명했다. 모르는 부분을 질문하고 교수님과 박사님의 설명을 들으며 첫 번째 과제를 정리했다. 그리고 다음 날인 9월 10일, 박사님과 따로 이야기를 나눴다.처음에는 교수님께서 말씀하신“IG-VLM GitHub가 있으니 직접 모델을 돌려봐라.”라는 다음 과제를 집중적으로 진행하려고 생각했다. 하지만 이야기를 나누면서 그보다 더 중요한 것을 하나 배우게 되었다.바로 논문을 어떤 관점으로 읽..

2026년 9월, 이번 학기부터 컴퓨터 비전 연구실에서 학부연구생 활동을 시작하게 되었다.그리고 9월 2일, 학부연구생으로서 처음으로 연구 과제를 받았다.첫 과제는 단순히 논문 한 편을 읽고 요약하는 것이 아니었다.현재 연구실 박사님께서 진행하고 있는 연구의 일부인 서론(Introduction)과 관련 연구(Related Works)를 먼저 읽으면서 연구의 전체적인 배경을 파악하고 그 안에서 참고하고 있는 연구 중 하나인 IG-VLM(Image Grid Vision Language Model) 논문까지 함께 읽어보는 것이었다. 처음 자료를 받았을 때는 생소한 용어도 많았고 영어 논문 한 편의 전체 흐름을 제대로 따라가 본 경험도 많지 않았다.그래서 이번 일주일 동안은 단순히 과제를 끝내는 것보다“현재 연..