LG Aimers 4기 그리고 GPT의 발전

LG Aimers: AI전문가과정 4차

Module 3. 『Machine Learning 개론』 

ㅇ 교수 : 서울대학교 김건희
ㅇ 학습목표 
본 모듈은 Machine Learning의 기본 개념에 대한 학습 과정입니다. ML이란 무엇인지, Overfitting과 Underfitting의 개념, 최근 많은 관심을 받고 있는 초거대 언어모델에 대해 학습하게 됩니다. 

 

Recent Progress of Large Language Models

-GPT-3
: OpenAI’s third-generation Generative Pretrained Transformer
The first commercial product of OpenAI

-InstructGPT
GPT-3.5, Self-supervised language models does not necessarily follow a user’s intent
Key idea: fine-tune GPT-3 using human feedback
Reinforcement learning from human feedback (RLHF)

-Training of InstructGPT
Supervised fine-tuning (SFT) 
Reward model (RM) training 
RL via PPO

-ChatGPT
A sibling model to InstructGPT with conversational UI
Released on November 30, 2022
Fine-tuned from a model in the GPT-3.5 series, which finished training in early 2022
100M monthly active users (MAU) in 2 months – fastest growing Internet App ever

-GPT-4
A large multimodal language model
•Accept image and text inputs, and generate text outputs
• Released on March 14, 2023

-GPT-4 –Test on Benchmarks
Exams that were originally designed for humans

 

-GPT-4 –Visual Input
Accept a prompt of text and images
• Similar performance on text and photographs, diagrams, or screenshots

-Limitation
GPT-4 has similar limitations as earlier GPT models
• Not fully reliable; hallucinate facts and make reasoning errors
• Sensitive to the input phrasing or different answers to the same prompt
• Various biases in its outputs
• Lacks knowledge after September 2021
• Not learn from its experience
• Confidently wrong in its predictions, not taking care to double-check work when it’s likely to make a mistake
• Labelers’ bias : biased towards the cultural values of English-speaking people

-hallucinate
사전에는 환각을 느끼게 하다 이지만 케임브리지 사전은 할루시네이트에 대해 생성형 AI 등장으로 '사용자의 의도에 반하는 거짓 정보를 생성해 진실인 것처럼 현혹하는 행위'라는 새로운 의미를 갖게 됐다고 했다.

-강의에서 언급하지 않은 여러 범용AI
구글은 차세대 범용AI '제미나이(Gemini),네이버 '하이버클로바X', 카카오 '칼로', SK텔레콤 '에이닷', KT '믿음', LG '엑사원'


-Anthropic Claude
Anthropic AI
• Founded by Ex-researchers of OpenAI in 2021
• Invested $400 million (+10% stake) by Google in 2022
• A formal partnership with Google Cloud
Claude (early access only)
• Carry out similar tasks to ChatGPT
• Claimed less likely to produce harmful outputs, and more steerable
• Constitutional AI: Letting AI respond using a simple set of principles as a guide
(started with around 10)

-Google Bard
Google issued 'Code Red’ over ChatGPT (Nov 2022)

-Google PaLM
Efficient scaling based on Google’s Pathways system
Great scaling and breakthrough reasoning capabilities

-Meta OPT & LLaMA
Open Pretrained Transformer (OPT-175B)
Large Language Model Meta AI

-Self-Instruct Tuning on LLaMA
Stanford Alpaca
LMsysVicuna
And many other models are coming…
• OpenAI’sTulu