[AI/머신러닝/딥러닝/llm] 파이프라인(pipeline)

파이프라인(Pipeline)이란?

데이터 처리 및 모델 학습의 여러 단계를 체계적으로 연결하여 일관된 흐름으로 수행할 수 있도록 도와주는 도구

데이터 전처리, 모델 훈련, 예측 및 평가를 효율적으로 관리 가능

• sklearn 라이브러리에서 전처리(pre-processing)용 모듈과 모델의 학습 기능을 파이프라인으로 합칠 수 있음
• 파이프라인으로 결합된 모형은 원래의 모형이 가지는 fit, predict 함수를 가짐
• 파이프라인에 정의된 순서에 따라 전처리 모듈이 먼저 호출되어 전처리 과정을 거친 후 모델이 학습

파이프라인(Pipeline)을 사용하는 이유

1) 일관성 유지

 

• 모든 데이터 처리와 모델링 작업이 순차적으로 일관되게 적용되어 오류를 줄일 수 있음

2) 재사용성

• 데이터 전처리와 모델링 과정을 모듈화하여 코드의 재사용성을 높임, 동일한 전처리 단계를 여러 모델에 쉽게 적용 가능

3) 코드 간결화

• 복잡한 데이터 처리와 모델링 과정을 간결하게 작성할 수 있으며, 코드의 가독성이 높아짐

4) 모델 평가 및 튜닝

• 파라미터 튜닝, 교차 검증 등과 같은 모델 평가 및 최적화 작업을 쉽게 통합하여 수행 가능

5) 전체 프로세스 관리

• 데이터 전처리, 변환, 모델 훈련, 예측 및 평가 등의 단계를 한 번에 관리 가능