[학부연구생] Grid 표현 손실 실험 ③ — Resize 방식은 Detail 정보에 영향을 줄까?

같은 Fixed-6을 유지한 채 Resize 과정에서 실제 정보 손실이 발생하는지 확인한다.들어가며이전 글에서는 Step 1에서 고정한 Fixed-6을 이용해 E0 — Equal Grid Baseline을 구성했다.IG-VLM의 실제 코드를 확인한 결과 Fixed-6은 시간 순서대로 3행 × 2열 Grid에 배치되며 각 frame은 Fixed-6 내부에서 가장 작은 width와 height에 맞춰진다. 이번에는 첫 번째 Grid Representation 변경 조건인 E1 — Resize 처리 비교를 진행한다.확인하고 싶은 질문은 다음과 같다.필요한 frame은 이미 Fixed-6 안에 있는데도 Resize 과정 때문에 작은 물체나 행동 정보가 손실될 수 있는가?이번 단계에서도 Frame Selectio..

[학부연구생] Grid 표현 손실 실험 ② — IG-VLM Equal Grid를 Baseline으로 재현하기

같은 Fixed-6을 유지한 채, 가장 기본적인 Equal Grid 조건을 먼저 만든다 들어가며이전 글에서는 이후 모든 비교 실험에 사용할 Development Set 30개와 각 영상의 Fixed-6 frame set을 먼저 고정했다.https://mkisos.tistory.com/entry/cv2610-2-1 즉 이제부터는 어떤 video를 사용할지, 어떤 질문을 사용할지, 그리고 어떤 6개의 frame을 사용할지는 바꾸지 않는다.이번 단계에서 처음으로 만들 조건은 E0 — Equal Grid Baseline이다.이번 연구에서 확인하고 싶은 질문은 여전히 같다.동일한 6개의 프레임을 사용하더라도 Grid의 표현 방식에 따라 VLM이 얻는 정보와 Video QA 결과가 달라지는가?이 질문에 답하려면 무..

[학부연구생] Grid 표현 손실 실험 ① — NExT-QA Development Set과 Fixed-6 만들기

지난주에는 IG-VLM의 Grid 생성 코드를 따라가며 Frame Selection과 Grid Representation의 경계를 확인했다.이번 주부터는 새로운 Grid 방법을 바로 설계하는 것이 아니라, 그보다 먼저 한 가지 질문을 확인한다.동일한 6개의 프레임을 사용하더라도 Grid의 표현 방식에 따라 VLM이 얻는 정보와 Video QA 결과가 달라지는가? 이번 연구의 핵심은 어떤 프레임을 선택할 것인가가 아니다.IG-VLM의 Uniform Sampling으로 선택한 6개의 frame index를 먼저 고정하고, 이후 모든 비교에서 정확히 같은 6장의 프레임을 사용한다. Fixed-6 frame set으로 정의하고 Equal Grid와 이후 모든 비교에서 동일한 frame index를 유지하도록 ..

보호되어 있는 글입니다.

들어가며1. 이번 연구에서 내가 맡은 문제는 무엇인가2. 기존 IG-VLM 실행 기록에서 연구 경계 다시 확인하기3. Video Panels — Temporal Resolution과 Spatial Detail의 Trade-off4. ViKey — Sparse Frame 사이의 시간 관계는 어떻게 전달할까5. 10월 1주차 결과 정리 1. 이번 연구에서 내가 맡은 문제는 무엇인가연구 목표를 다음처럼 한정한다. "IG-VLM의 Uniform Sampling으로 미리 고정한 동일한 6개 Frame을 VLM에게 어떻게 보여줄지 연구한다." Frame Selection은 제한된 Frame budget 안에서 어떤 시점의 Frame을 선택할 것인가를 다루는 문제다.반면 Grid Representation은 이미 선..

9월에는 처음으로 IG-VLM 논문을 읽고, 논문의 아이디어를 이해한 뒤 실제 코드를 실행해보는 과정까지 진행했다.Video에서 프레임을 가져오고, 3×2 Image Grid를 만든 뒤 Prompt와 함께 VLM에 입력하여 Answer를 얻는 전체 흐름을 직접 따라가 보았다. 10월부터는 여기서 한 단계 더 나아간다.이제부터는 기존 논문을 단순히 읽고 재현하는 것이 아니라, 하나의 연구 질문을 가지고 직접 실험하고 분석하는 과정을 진행한다.이번 연구는 10월부터 12월까지 약 3개월 동안 진행되며, 최종적으로는 실험 결과를 정리하여 논문 형태의 전체 원고까지 작성하는 것을 목표로 한다. 이번 연구에서 내가 확인하려는 것이번 연구의 핵심은 생각보다 단순하다.IG-VLM에서는 영상에서 6개의 프레임을 Uni..

보호되어 있는 글입니다.

지난 글에서는 IG-VLM을 직접 실행해 보면서 Video ↓6 Frames Sampling ↓Image Grid ↓Prompt ↓VLM ↓Answer 이라는 전체 흐름을 따라가 보았다.이번에는 모델이 아니라 평가 데이터 자체를 보기로 했다.IG-VLM 논문에는 MSVD-QA, ActivityNet-QA, NExT-QA, STAR 등 여러..

2026년 9월 20일.카카오 판교 아지트에 다시 방문했다.이번 방문은 지금까지와 조금 달랐다.KANANA 429의 마지막 공식 일정인 해단식이 있었기 때문이다. 2026년 3월 처음 KANANA 429 앰배서더 활동을 시작한 이후 발대식, 온·오프라인 세션, 새로운 AI 기능 체험, 콘텐츠 제작 등 다양한 경험을 해왔다.그리고 이날은 그동안의 활동을 돌아보는 동시에 앞으로 카카오 AI가 어디로 향하고 있는지를 함께 생각해 보는 시간이었다.개인적으로도 예상하지 못했던 좋은 결과가 있었다.마지막 시상식에서 KANANA 429 베스트 콘텐츠상을 받게 되었다.이번 글에서는 마지막 해단식의 하루를 처음부터 끝까지 기록해 보려고 한다.KANANA 429 마지막 해단식해단식은 카카오 판교 아지트 4층 스위치온에서 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

들어가며지난 글에서는 An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM 논문을 다시 읽으면서 세 가지 질문에 답해보았다.이 논문의 핵심 아이디어는 무엇인가?그 주장을 보여주기 위해 무엇과 비교했는가?어떤 평가 지표를 사용했고, 이를 통해 무엇을 설명하려 했는가? 그 과정에서 내가 이해한 IG-VLM의 핵심은 다음과 같았다.Video의 여러 Frame을 Sampling → 시간 순서대로 하나의 Image Grid로 구성 → Grid를 일반 이미지처럼 pretrained VLM에 입력 → Video Question Answering 수행 논문에서는 비디오를 6개의 구간으로 나누고 각 구간에서 프레임을 하나씩 선..

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. 내 ..

[주간회GO 26년 9월 2주차]26년 9월 2주차 쓸 힘이 없다. 너무 규칙적이지 않고 많은 해야할 일과 많은 변칙적인 일들 그리고 내 마음도 중심이 잡히지 않는다. 바쁘게 살기 -> 운동하면서 생각 정리 -> 메모장에 적기 -> 다시 더 많은 생각들 -> 바쁘게 살기 -> 운동하면서 생각 정리 -> 메모장에 적기26년 9월 7일 월요일 어제 너무 즐거웠네의외의 조합예술가들과이번주 월 화 금 시도 해야한다.이 시간에 이제 운동 가겠지 시간대가 다르니 다 새로운 사람들을 마주해서 신기하다.오랜만에 지원~26년 9월 8일 화요일 오랜만에 이 시간 ㅎㅎ익숙한 사람들과 운동24목 저녁은 잡았는데 23 수 저녁을 찾는 중이다. 10시-20시 수업 도서관 반복중간에 학식 먹으면서 가두모집 보는데홍보대사 사람들이 ..

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. Op..

2026.09.109월 2일 교수님께 연구 중인 과제 일부와 관련 논문인 IG-VLM(Image Grid Vision Language Model)을 전달받았고 첫 일주일 동안 과제 PDF와 논문을 읽으며 내용을 이해하는 데 집중했다. 9월 9일 랩미팅에서는 별도의 발표 자료 없이 PDF를 직접 펼쳐놓고 내가 이해한 내용을 설명했다. 모르는 부분을 질문하고 교수님과 박사님의 설명을 들으며 첫 번째 과제를 정리했다. 그리고 다음 날인 9월 10일, 박사님과 따로 이야기를 나눴다.처음에는 교수님께서 말씀하신“IG-VLM GitHub가 있으니 직접 모델을 돌려봐라.”라는 다음 과제를 집중적으로 진행하려고 생각했다. 하지만 이야기를 나누면서 그보다 더 중요한 것을 하나 배우게 되었다.바로 논문을 어떤 관점으로 읽..

2026년 9월, 이번 학기부터 컴퓨터 비전 연구실에서 학부연구생 활동을 시작하게 되었다.그리고 9월 2일, 학부연구생으로서 처음으로 연구 과제를 받았다.첫 과제는 단순히 논문 한 편을 읽고 요약하는 것이 아니었다.현재 연구실 박사님께서 진행하고 있는 연구의 일부인 서론(Introduction)과 관련 연구(Related Works)를 먼저 읽으면서 연구의 전체적인 배경을 파악하고 그 안에서 참고하고 있는 연구 중 하나인 IG-VLM(Image Grid Vision Language Model) 논문까지 함께 읽어보는 것이었다. 처음 자료를 받았을 때는 생소한 용어도 많았고 영어 논문 한 편의 전체 흐름을 제대로 따라가 본 경험도 많지 않았다.그래서 이번 일주일 동안은 단순히 과제를 끝내는 것보다“현재 연..

파레토최적(Pareto Optimality)파레토최적은 누군가의 상태를 더 좋게 만들기 위해서는 반드시 다른 누군가의 상태를 나쁘게 만들어야 하는 자원배분 상태를 의미한다. 쉽게 말하면 현재 주어진 자원을 가지고 더 이상 아무도 손해 보지 않는 방식으로 개선할 방법이 없는 상태이다.1. 한 줄 정의파레토최적은 다른 사람의 효용을 감소시키지 않고서는 어느 누구의 효용도 더 증가시킬 수 없는 효율적인 자원배분 상태이다.2. 기본 개념경제에는 한정된 자원이 존재한다.노동, 자본, 토지, 원재료 등을 어떻게 배분하느냐에 따라 생산되는 재화의 양과 사람들이 얻는 만족이 달라진다.이때 자원배분을 변경해서누구도 손해를 보지 않으면서 최소 한 명이라도 더 좋아질 수 있다면현재 상태는 아직 효율적이지 않다.반대로 그런 ..

보호되어 있는 글입니다.

특수목적기구(SPV, Special Purpose Vehicle)특수목적기구(SPV)는 특정한 금융거래나 사업만을 수행하기 위해 별도로 설립되는 법적 실체이다. 자산유동화에서는 금융기관 등이 보유한 대출채권 등의 자산을 SPV에 넘기고, SPV가 그 자산을 기반으로 자산유동화증권(ABS)을 발행한다. 핵심은 원래 자산을 가지고 있던 회사와 해당 자산을 법적으로 분리하는 것이다.1. 한 줄 정의특수목적기구(SPV)는 특정 목적을 수행하기 위해 설립되는 별도의 법적 기구로, 자산유동화에서는 기초자산을 원래 보유자와 분리하여 ABS를 발행하는 역할을 한다.2. 왜 SPV가 필요할까?은행 A가 수많은 대출채권을 가지고 있다고 생각해보자.은행은 이 대출채권에서 앞으로 받을 돈을 기다리지 않고 현재 시점에서 현금화..