[학부연구생] Grid 표현 손실 실험 ① — NExT-QA Development Set과 Fixed-6 만들기

지난주에는 IG-VLM의 Grid 생성 코드를 따라가며 Frame Selection과 Grid Representation의 경계를 확인했다.이번 주부터는 새로운 Grid 방법을 바로 설계하는 것이 아니라, 그보다 먼저 한 가지 질문을 확인한다.동일한 6개의 프레임을 사용하더라도 Grid의 표현 방식에 따라 VLM이 얻는 정보와 Video QA 결과가 달라지는가? 이번 연구의 핵심은 어떤 프레임을 선택할 것인가가 아니다.IG-VLM의 Uniform Sampling으로 선택한 6개의 frame index를 먼저 고정하고, 이후 모든 비교에서 정확히 같은 6장의 프레임을 사용한다. Fixed-6 frame set으로 정의하고 Equal Grid와 이후 모든 비교에서 동일한 frame index를 유지하도록 ..

[주간회GO 26년 9월 5주차, 10월 1주차] ㄱㅇ

보호되어 있는 글입니다.

들어가며1. 이번 연구에서 내가 맡은 문제는 무엇인가2. 기존 IG-VLM 실행 기록에서 연구 경계 다시 확인하기3. Video Panels — Temporal Resolution과 Spatial Detail의 Trade-off4. ViKey — Sparse Frame 사이의 시간 관계는 어떻게 전달할까5. 10월 1주차 결과 정리 1. 이번 연구에서 내가 맡은 문제는 무엇인가연구 목표를 다음처럼 한정한다. "IG-VLM의 Uniform Sampling으로 미리 고정한 동일한 6개 Frame을 VLM에게 어떻게 보여줄지 연구한다." Frame Selection은 제한된 Frame budget 안에서 어떤 시점의 Frame을 선택할 것인가를 다루는 문제다.반면 Grid Representation은 이미 선..

9월에는 처음으로 IG-VLM 논문을 읽고, 논문의 아이디어를 이해한 뒤 실제 코드를 실행해보는 과정까지 진행했다.Video에서 프레임을 가져오고, 3×2 Image Grid를 만든 뒤 Prompt와 함께 VLM에 입력하여 Answer를 얻는 전체 흐름을 직접 따라가 보았다. 10월부터는 여기서 한 단계 더 나아간다.이제부터는 기존 논문을 단순히 읽고 재현하는 것이 아니라, 하나의 연구 질문을 가지고 직접 실험하고 분석하는 과정을 진행한다.이번 연구는 10월부터 12월까지 약 3개월 동안 진행되며, 최종적으로는 실험 결과를 정리하여 논문 형태의 전체 원고까지 작성하는 것을 목표로 한다. 이번 연구에서 내가 확인하려는 것이번 연구의 핵심은 생각보다 단순하다.IG-VLM에서는 영상에서 6개의 프레임을 Uni..

보호되어 있는 글입니다.

지난 글에서는 IG-VLM을 직접 실행해 보면서 Video ↓6 Frames Sampling ↓Image Grid ↓Prompt ↓VLM ↓Answer 이라는 전체 흐름을 따라가 보았다.이번에는 모델이 아니라 평가 데이터 자체를 보기로 했다.IG-VLM 논문에는 MSVD-QA, ActivityNet-QA, NExT-QA, STAR 등 여러..

2026년 9월 20일.카카오 판교 아지트에 다시 방문했다.이번 방문은 지금까지와 조금 달랐다.KANANA 429의 마지막 공식 일정인 해단식이 있었기 때문이다. 2026년 3월 처음 KANANA 429 앰배서더 활동을 시작한 이후 발대식, 온·오프라인 세션, 새로운 AI 기능 체험, 콘텐츠 제작 등 다양한 경험을 해왔다.그리고 이날은 그동안의 활동을 돌아보는 동시에 앞으로 카카오 AI가 어디로 향하고 있는지를 함께 생각해 보는 시간이었다.개인적으로도 예상하지 못했던 좋은 결과가 있었다.마지막 시상식에서 KANANA 429 베스트 콘텐츠상을 받게 되었다.이번 글에서는 마지막 해단식의 하루를 처음부터 끝까지 기록해 보려고 한다.KANANA 429 마지막 해단식해단식은 카카오 판교 아지트 4층 스위치온에서 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

들어가며지난 글에서는 An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM 논문을 다시 읽으면서 세 가지 질문에 답해보았다.이 논문의 핵심 아이디어는 무엇인가?그 주장을 보여주기 위해 무엇과 비교했는가?어떤 평가 지표를 사용했고, 이를 통해 무엇을 설명하려 했는가? 그 과정에서 내가 이해한 IG-VLM의 핵심은 다음과 같았다.Video의 여러 Frame을 Sampling → 시간 순서대로 하나의 Image Grid로 구성 → Grid를 일반 이미지처럼 pretrained VLM에 입력 → Video Question Answering 수행 논문에서는 비디오를 6개의 구간으로 나누고 각 구간에서 프레임을 하나씩 선..

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. 내 ..

[주간회GO 26년 9월 2주차]26년 9월 2주차 쓸 힘이 없다. 너무 규칙적이지 않고 많은 해야할 일과 많은 변칙적인 일들 그리고 내 마음도 중심이 잡히지 않는다. 바쁘게 살기 -> 운동하면서 생각 정리 -> 메모장에 적기 -> 다시 더 많은 생각들 -> 바쁘게 살기 -> 운동하면서 생각 정리 -> 메모장에 적기26년 9월 7일 월요일 어제 너무 즐거웠네의외의 조합예술가들과이번주 월 화 금 시도 해야한다.이 시간에 이제 운동 가겠지 시간대가 다르니 다 새로운 사람들을 마주해서 신기하다.오랜만에 지원~26년 9월 8일 화요일 오랜만에 이 시간 ㅎㅎ익숙한 사람들과 운동24목 저녁은 잡았는데 23 수 저녁을 찾는 중이다. 10시-20시 수업 도서관 반복중간에 학식 먹으면서 가두모집 보는데홍보대사 사람들이 ..

자료 및 출처 안내본 글은 아래 논문을 읽고 학습한 내용을 개인적으로 정리한 글입니다.논문의 일부 Figure, Table 및 내용을 학습·설명을 위해 인용하였습니다.Wonkyun Kim, Changin Choi, Wonseok Lee, and Wonjong Rhee,“An Image Grid Can Be Worth a Video: Zero-Shot Video Question Answering Using a VLM,”IEEE Access, Vol. 12, 2024.DOI: 10.1109/ACCESS.2024.3517625해당 논문은 Creative Commons Attribution 4.0 International (CC BY 4.0) 라이선스로 공개되어 있습니다.© 2024 The Authors. Op..

2026.09.109월 2일 교수님께 연구 중인 과제 일부와 관련 논문인 IG-VLM(Image Grid Vision Language Model)을 전달받았고 첫 일주일 동안 과제 PDF와 논문을 읽으며 내용을 이해하는 데 집중했다. 9월 9일 랩미팅에서는 별도의 발표 자료 없이 PDF를 직접 펼쳐놓고 내가 이해한 내용을 설명했다. 모르는 부분을 질문하고 교수님과 박사님의 설명을 들으며 첫 번째 과제를 정리했다. 그리고 다음 날인 9월 10일, 박사님과 따로 이야기를 나눴다.처음에는 교수님께서 말씀하신“IG-VLM GitHub가 있으니 직접 모델을 돌려봐라.”라는 다음 과제를 집중적으로 진행하려고 생각했다. 하지만 이야기를 나누면서 그보다 더 중요한 것을 하나 배우게 되었다.바로 논문을 어떤 관점으로 읽..

2026년 9월, 이번 학기부터 컴퓨터 비전 연구실에서 학부연구생 활동을 시작하게 되었다.그리고 9월 2일, 학부연구생으로서 처음으로 연구 과제를 받았다.첫 과제는 단순히 논문 한 편을 읽고 요약하는 것이 아니었다.현재 연구실 박사님께서 진행하고 있는 연구의 일부인 서론(Introduction)과 관련 연구(Related Works)를 먼저 읽으면서 연구의 전체적인 배경을 파악하고 그 안에서 참고하고 있는 연구 중 하나인 IG-VLM(Image Grid Vision Language Model) 논문까지 함께 읽어보는 것이었다. 처음 자료를 받았을 때는 생소한 용어도 많았고 영어 논문 한 편의 전체 흐름을 제대로 따라가 본 경험도 많지 않았다.그래서 이번 일주일 동안은 단순히 과제를 끝내는 것보다“현재 연..

파레토최적(Pareto Optimality)파레토최적은 누군가의 상태를 더 좋게 만들기 위해서는 반드시 다른 누군가의 상태를 나쁘게 만들어야 하는 자원배분 상태를 의미한다. 쉽게 말하면 현재 주어진 자원을 가지고 더 이상 아무도 손해 보지 않는 방식으로 개선할 방법이 없는 상태이다.1. 한 줄 정의파레토최적은 다른 사람의 효용을 감소시키지 않고서는 어느 누구의 효용도 더 증가시킬 수 없는 효율적인 자원배분 상태이다.2. 기본 개념경제에는 한정된 자원이 존재한다.노동, 자본, 토지, 원재료 등을 어떻게 배분하느냐에 따라 생산되는 재화의 양과 사람들이 얻는 만족이 달라진다.이때 자원배분을 변경해서누구도 손해를 보지 않으면서 최소 한 명이라도 더 좋아질 수 있다면현재 상태는 아직 효율적이지 않다.반대로 그런 ..

보호되어 있는 글입니다.

특수목적기구(SPV, Special Purpose Vehicle)특수목적기구(SPV)는 특정한 금융거래나 사업만을 수행하기 위해 별도로 설립되는 법적 실체이다. 자산유동화에서는 금융기관 등이 보유한 대출채권 등의 자산을 SPV에 넘기고, SPV가 그 자산을 기반으로 자산유동화증권(ABS)을 발행한다. 핵심은 원래 자산을 가지고 있던 회사와 해당 자산을 법적으로 분리하는 것이다.1. 한 줄 정의특수목적기구(SPV)는 특정 목적을 수행하기 위해 설립되는 별도의 법적 기구로, 자산유동화에서는 기초자산을 원래 보유자와 분리하여 ABS를 발행하는 역할을 한다.2. 왜 SPV가 필요할까?은행 A가 수많은 대출채권을 가지고 있다고 생각해보자.은행은 이 대출채권에서 앞으로 받을 돈을 기다리지 않고 현재 시점에서 현금화..

특별인출권(SDR, Special Drawing Rights)특별인출권(SDR)은 세계적으로 외환이 부족해지는 상황에 대비하기 위해 국제통화기금(IMF)이 만들어 회원국에 배분하는 국제준비자산이다. 쉽게 말하면 특정 국가가 발행하는 화폐는 아니지만, IMF 회원국들이 외환이 필요할 때 활용할 수 있는 일종의 국제적인 준비자산이다.1. 한 줄 정의특별인출권(SDR)은 국제유동성 부족에 대응하기 위해 IMF가 창출하여 회원국에 배분하는 국제준비자산이다.2. 왜 만들어졌을까?SDR을 이해하려면 당시의 브레튼우즈 체제를 알아야 한다.브레튼우즈 체제에서는 미국 달러가 세계의 중심적인 기축통화 역할을 했고,금 1온스 = 35달러라는 비율로 달러를 금과 교환할 수 있었다.하지만 1960년대 들어 세계경제가 성장하면서..

트리핀 딜레마(Triffin's Dilemma)세계의 기축통화는 국제무역과 금융거래를 위해 충분히 공급되어야 한다. 하지만 기축통화를 많이 공급하려면 해당 국가가 지속적으로 대외적자를 내야 할 수 있고, 적자가 너무 커지면 오히려 그 통화에 대한 신뢰가 약해진다. 이처럼 기축통화를 세계에 충분히 공급해야 한다는 필요와 통화가치를 안정적으로 유지해야 한다는 필요가 충돌하는 문제를 트리핀 딜레마라고 한다.1. 한 줄 정의트리핀 딜레마는 기축통화국이 세계에 충분한 유동성을 공급하려면 적자를 내야 하지만, 적자가 계속되면 기축통화에 대한 신뢰가 약해지는 구조적 모순이다.2. 기본 개념트리핀 딜레마(Triffin's Dilemma)는 미국 경제학자 로버트 트리핀(Robert Triffin)이 1960년 제기한 기..