sLM 구축을 위한 기반 기술 (Huggingface/Ollama/Langchain)

sLM 구축은 모델 선정/튜닝/데이터수집 정제 등 복잡한 절차 필요 --> 기반 기술을 토대로 쉽게 구축 가능!

1) Huggingface

• AI 모델(머신러닝/딥러닝)과 데이터 셋, 평가를 위한 다양한 라이브러리와 허브를 제공 오픈소스 플랫폼
• 인공지능 모델을 위한 깃허브

- Transformer Library

• Transformer는 사전학습된 최첨단 모델들을 쉽게 다운로드하고 훈련할 수 있는 API, ehrn wprhd
• 자연어 처리, 컴퓨터 비전, 오디오, 멀티모달(표, 문서, 비디오 등) 지원

- Huggigface Hub

• ML 워크플로우에서 쉽게 협업 가능한 모델, 데이터셋, 데모를 지원
• 버전 관리, 커밋 기록, 분기 등 12개 이상의 라이브러리를 통합적 제공

- API Token 발급

• LLM 학습을 위해서는 PDF 문서를 기반으로 RAG로 학습 가능하지만, 튜닝을 위해서는 데이터 셋 정제하는 작업 필요
• 코랩, 로컬 등 코드 작성/ huggingface에서 데이터셋 다운/ 모델 업로드하는 과정에서 API 사용하려면 토큰 발급 필요

2) Ollama

• Mistral, Llama 3와 같은 오픈 소스 LLM을 로컬에서 실행할 수 있게 하는 도구
• 모델 가중치, 구성 및 데이터를 Modelfile로 정의된 단일 패키지로 번들링
• GPU 사용을 포함하여 설정 및 구성 세부 정보를 최적화

- Ollama 개발 환경

• Colab, T4 GPU

- 사용 방법

• 터미널 창에서 실행 - colab xterm 활용
• 터미널에서 Ollama 설치
• Ollama Pull
• Langchain 설치
  • LangChain: 언어 모델을 활용해 다양한 애플리케이션을 개발할 수 있는 프레임워크
  • 프레임워크: 목적에 필요한 것을 고민할 필요 없이 이용할 수 있도록 일괄로 가져다 쓰도록 만들어 놓은 '구조화된 틀'
• 파이썬 코드 입력
• 실행

3) LangChain

• 언어 모델을 활용해 다양한 어플리케이션을 개발할 수 있는 프레임워크, SDK (Software development kit)
• 한 개 이상의 LLM 사이에 논리적으로 연결된 Chains를 생성할 수 있는 기능 제공
• LangChain을 사용하면 복잡한 데이터 처리, 다양한 모델 연동, 시스템 통합 등 더 체계적이고 유연한 솔루션을 제공 가능
• 장기적으로 확장성과 유지보수 측면에서 유리

https://sunning-10.tistory.com/entry/Langchain

 

* Llama - Meta

* BART : Meta에서 개발한 모델 아키텍쳐, 트랜스포머 아키텍쳐 기반/ 노이즈 제거 오토 인코더(손상된 텍스트 재구성하며 학습 진행)