Llama3

Llama3 관련 기초

Llama3: Meta에서 만든 경량화 모Llama3 관련 기초

 

Llama3: Meta에서 만든 경량화 모델

 

• Llama 3는 Meta에서 개발한 최신 대형 언어 모델(LLM)로, 다양한 작업을 처리할 수 있는 인공지능 모델입니다. 이 모델은 주로 자연어 처리, 텍스트 생성, 코드 작성, 이미지와 텍스트를 함께 처리하는 멀티모달 작업까지 지원하는 것이 특징입니다. Llama 3는 이전 버전인 Llama 2보다 7배 더 많은 데이터(15조 토큰)를 학습했으며, 이를 통해 더욱 정교한 언어 이해와 복잡한 문제 해결이 가능합니다​.
• Llama 3의 주요 개선 사항 중 하나는 어휘 확장입니다. 128,000개 이상의 토큰을 처리할 수 있어, 긴 대화나 문서에서도 맥락을 잘 유지할 수 있습니다. 또한 모바일 기기에서 효율적으로 작동하도록 설계되어, Qualcomm의 Snapdragon 플랫폼과 통합하여 다양한 모바일 애플리케이션에서도 사용할 수 있습니다.
• Llama 3는 오픈 소스이기 때문에 연구자나 개발자들이 자유롭게 사용할 수 있으며, AWS, Google Cloud, Microsoft Azure 등의 클라우드 플랫폼에서 제공됩니다. 이를 통해 다양한 산업 분야에서 활용되고 있습니다​.
• Llama 3의 주요 목표 : 사용법/배포/전반적인 성능 향상

 

1. Small Language Model (sLM)

• 파라미터 수: 수백만 ~ 수억 개의 파라미터
• 학습 속도: 학습 속도가 빠르고 상대적으로 적은 컴퓨팅 자원을 사용 (소형 디바이스나 임베디드 시스템에 적합하며, 훈련에 걸리는 시간도 짧음)
• 예시: OpenAI의 GPT-2 Small (약 1.2억 개의 파라미터)는 간단한 작업을 수행하는 데 적합
  • 파라미터 수: 1억 2천만 개
  • 장점: 가볍고 빠르며 적은 리소스를 사용
  • 단점: 복잡한 문제나 긴 맥락을 처리하기 어려움

2. Small Large Language Model (sLLM)

• 파라미터 수: 수십억 ~ 수백억 개의 파라미터
• 학습 속도: 대규모 데이터셋을 사용하여 비교적 긴 학습 시간이 필요하지만, "희소성(sparsity)" 기법을 도입해 연산 자원을 절약할 수 있습니다. 일부 모듈만 활성화되므로, 실제로 사용하는 파라미터는 제한적
• 예시: GLaM (Generalist Language Model)
  • 파라미터 수: 1.2조 개지만, 입력마다 일부 파라미터만 활성화
  • 장점: 효율성을 극대화하면서도 대규모 작업 처리 가능
  • 단점: 구현이 복잡하며, 대규모 인프라가 필요

3. Large Language Model (LLM)

• 파라미터 수: 수백억 ~ 수조 개의 파라미터
• 학습 속도: 학습에 상당한 시간이 걸리며 대규모 컴퓨팅 자원이 필요합니다. 복잡한 문제를 해결할 수 있고, 긴 맥락과 많은 데이터를 처리하는 데 강력합니다.
• 예시: GPT-3 (1750억 개의 파라미터)와 Llama 3 (8B~70B 파라미터)
  • 파라미터 수: 1750억 (GPT-3), 8억 ~ 70억 (Llama 3)
  • 장점: 복잡한 작업, 다언어 처리, 긴 문맥 유지가 가능
  • 단점: 학습 시간과 비용이 매우 큼, 고성능의 인프라가 필요

실제 차이 예시

• GPT-2 Small (1억 2천만 개 파라미터): 간단한 텍스트 생성이나 기본적인 문맥 이해에 적합. 예를 들어, 짧은 문장 생성 속도가 빠르며 적은 자원으로 실행 가능.
• GPT-3 (1750억 개 파라미터): 매우 복잡한 문맥을 처리하고, 더 깊은 의미를 추출할 수 있으며, 다양한 작업을 동시에 처리하는 능력이 뛰어남. 예를 들어, 고객 서비스 챗봇이나 고급 대화 모델에서 사용됩니다.
• Llama 3 (8B~70B 파라미터): GPT-3처럼 복잡한 문제 해결에 적합하며, 대규모 데이터를 처리할 수 있지만, 모델 크기에 따라 학습 속도나 자원 소모가 달라집니다. Llama 3의 8B 모델은 중간 규모의 작업에 적합하고, 70B 모델은 훨씬 복잡한 작업을 처리할 수 있습니다​

요약

• Small Language Model: 적은 자원으로 빠르게 처리하지만, 복잡한 작업에는 한계가 있음.
• Small Large Language Model: 효율적으로 일부만 사용하면서도 대규모 작업을 처리할 수 있는 중간 단계 모델.
• Large Language Model: 가장 강력한 성능을 제공하지만, 자원과 학습 시간이 많이 소요됨.

###############################################################################################

 

RAG (Retrieval-Augmented Generation) 기반으로 LLM을 구축할 때, PDF 문서의 특성이 모델 성능에 영향을 미칠 수 있습니다. 다음과 같은 특징이 있을 때 더 좋은 성능을 보일 가능성이 높습니다:

1. 구조화된 내용: 표, 목록, 제목 등이 명확하게 구분되어 있는 문서는 정보 검색과 이해에 유리합니다. 구조화된 데이터는 모델이 문서의 중요한 부분을 빠르게 찾는 데 도움을 줍니다.
2. 정확한 메타데이터: 문서의 제목, 저자, 출처 등 메타데이터가 잘 정리되어 있는 경우, 검색 및 정밀도가 향상됩니다.
3. 잘 정의된 텍스트: 텍스트가 명확하고 읽기 쉬운 경우, 모델이 문서의 내용을 정확하게 이해하고 활용하기 쉽습니다. 텍스트가 이미지로 포함되어 있는 경우에는 OCR(광학 문자 인식)이 필요할 수 있습니다.
4. 키워드와 주제: 문서에 관련 키워드와 주제가 명확히 표시되어 있는 경우, 검색 쿼리와의 매칭이 더 효과적일 수 있습니다.
5. 일관성: 문서의 내용이 일관되게 작성되어 있고 논리적인 흐름이 유지되는 경우, 정보 검색과 이해가 용이합니다.
6. 품질 높은 스캔: 스캔한 PDF의 품질이 높을수록 텍스트 추출이 용이합니다. 저해상도 스캔은 텍스트 인식 오류를 초래할 수 있습니다.
7. 다양한 형식: 문서에 다양한 형식의 정보가 포함되어 있으면 (예: 텍스트, 표, 그래프), 모델이 다양한 유형의 질문에 대응할 수 있습니다.

이러한 요소들을 고려하여 PDF 문서를 준비하면 RAG 기반 모델의 성능을 향상시킬 수 있습니다.