LLM/sLLM/sLM 정의 및 특징

LLM/sLLM/sLM

- LLM/sLLM/sLM의 정의 및 특징

- LLM(Large Language Model): 대규모언어모델

• LLM은 파라미터 수가 수천억~수조 개로 매우 많고 모델이 커서 기업에서 사용하기 어려움

- sLLM(small Large Language Model): 경량거대언어모델

• LLM을 기업에서 사용할 수 있도록 sLLM 구현
• 기존 LLM보다 빠르게 학습할 수 있도록 파라미터 수를 줄이고 학습 데이터 양을 줄여서 비용과 시간을 절감할 수 있도록 한 LLM보다 작은 규모의 대형 언어 모델

- sLM(small Language Model): 소형언어모델

• 파라미터 수가 적고 학습 데이터셋이 작거나 모델 구조가 단순
• 단순 NLP 작업이나 제한된 도메인에서 주로 사용
• 스마트 스피커, 셋탑 박스, 홈서비스 로봇과 같은 소형기기에서 에너지 효율성과 빠른 응답 시간 제공

- sLLM 특장점

1) 효율성

- 저사양 환경에서 원활하게 돌아감 (노트북, 스마트폰, 단말 등에서도 활용할 수 있는 소형 모델)

2) 빠른 학습 및 추론 속도

- 경량화된 구조 덕분에 학습/추론 속도가 매우 빠름 (실시간 어플(채팅봇, 음성인식)에 활용)

3) 맞춤형 최적화 용이

- 특정 작업에 맞게 fine-tuning하기 쉬움 (특정 분야에 고객서비스 챗봇 만들 때 굳)

4) 범용성

- 다양한 도메인에 적용할 수 있고, 작은 크기로 IoT/모바일 기기에서 하기 쉽고 플랫폼에 넣기 쉬움 + 데이터 유출 위험 적음)

- LLM/sLLM/sLM 비교

• LLM : 천억개 이상 파라미터
• sLLM : 백억개 이하 파라미터
• sLM : 십억개 이하 파라미터