2023. 11. 7. 15:28ㆍML&DL/NLP
사전 학습 모델(Pre-trained Model)
- 대용량의 데이터를 이용해 사전 학습한 모델
=> 예를 들어 동물을 분류하는 사전 학습 모델이 있다면, 우리는 이 모델을 이용해 고양이를 분류하는 문제에 적용할 수 있음.
Fine - tuning
- 사전 학습 모델을 풀고자 하는 태스트의 오차에 맞추어서 학습하는 것
=> 동물 분류의 사전 학습 모델을 사용하고 싶다면 우리는 고양이를 분류하는 모델에 맞추는 작업이 필요하다 (미세조정)
사전 학습 언어 모델 (Pre-trained Langage Model)
1. ELMo (Embeddings from Language Model)
- 워드 임베딩 방법론
- 사전 학습된 LSTM 언어 모델 두 가지를 결합하여 만들어짐
2. GPT
- 트랜스포머의 디코더를 이용해 사전 학습한 모델
- NLG(자연어 생성), 챗봇같은 시스템에 유리함
2-1. GPT의 구조
- GPT는 계속해서 발전, 버전별로 아키텍처의 큰 차이는 없고 데이터의 양과 모델 계층을 더 쌓음
- 이전 단어들로부터 다음 단어를 예측하는 방식을 이용하여 파인 튜닝함.
2-1. ChatGPT(GPT -3.5)
- GPT 모델을 대화 할 수 있는 채팅 형태로 특화되도록 튜닝
- 주어진 입력에 대해서 다음 단어를 예측하는 방식으로 답변
- 아키텍처는 공개되지 않았지만 GPT-3와 별 차이 없을 것이라고 추측
3. BERT
- 트랜스포머의 인코더를 이용해 사전 학습한 모델
- NLU(자연어 이해), 텍스트 분류 문제에서 유리함
3-1. BERT의 구조
- BERT-Base는 트랜스포머의 인코더를 12개 쌓은 구조
- BERT-Large는 트랜스포머의 인코더를 24개 쌓은 구조
- BERT 에 특정 층을 추가하여 튜닝하고 싶을 때 맨 앞단에 있는 [CLS] 스페셜 토큰 위치에 추가해주어야함.
3-2. BERT의 적용 가능한 문제
- 텍스트 분류
- 개체명 인식
- QA (질문-응답)
- NLI (자연어 추론) Ex) 문장간 관계를 이용하여 문장 예측
4. BART
- 트랜스포머 인코더-디코더 그 자체로 사전 학습한 모델
- NLU,NLG 모두에 유리하도록 만들었음
5. T5 (Text-To-Text Transfer Transformer)
- BART와 같이 트랜스포머 인코더-디코더로 그 자체로 사전 학습한 모델
- 텍스트 분류 문제를 풀 때도 해당 클래스를 생성하도록 하는 방식을 학습
- 새로운 Fine-tuning 방식의 적용, Fine-tuning 시에 별도의 새로운 레이어를 추가할 필요 없음.
LLM (Large Language Models)
- 대형 언어 모델(LLM)은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 모델
- Pre-trained Language Model은 일반적으로 모델의 크기가 클수록 성능이 좋아지는 경향이 있음.
=> 하지만 항상 큰 모델을 사용하는 것이 꼭 바람직한 것은 아니다. 다양한 문제가 결부 되어있기 때문
'ML&DL > NLP' 카테고리의 다른 글
[NLP] BERT를 이용한 한국어 금융 뉴스 이진 분류 실습 (0) | 2023.11.07 |
---|---|
[NLP] Seq2Seq(Sequence-to-Sequence) (0) | 2023.11.06 |
[NLP] 시퀀스 모델 - RNN, LSTM, GRU (0) | 2023.11.06 |
[NLP] 텍스트 벡터화 : 워드 임베딩(Word embedding) 실습 (1) | 2023.11.03 |
[NLP] 텍스트 벡터화 : TF-IDF 실습 (1) | 2023.11.03 |