공공기관

[공정거래위원회] LLM 서비스 운영 효율화를 위한 LLMOps 플랫폼 구축

공정거래위원회는 Fairdata 플랫폼 기반의 LLM 서비스 운영을 위해 치타를 도입하고, 데이터 전처리부터 모델 학습·재배포까지 반복 수행 가능한 AI 개발·서빙 환경을 구축했습니다.

Cheetah

LLM 서비스 운영을 위한 학습·재배포 체계 필요

공정거래위원회는 Fairdata 플랫폼을 통해 LLM 모델을 파인튜닝하여 서비스를 구축했으며, 이를 지속적으로 개선하고 안정적으로 운영할 수 있는 후속 플랫폼이 필요했습니다. 특히 데이터 전처리, 모델 학습, 재배포가 반복되는 환경에서 분석가와 모델러가 함께 활용할 수 있는 통합 체계가 요구되었습니다.

LLM 학습 자동화와 안정적 서비스 배포 체계 확보

빅데이터 분석과 LLM 모델 연구를 병행할 수 있는 개발 환경을 마련하고, 반복적인 전처리와 대규모 모델 배포를 효율적으로 수행할 수 있는 체계를 확보하는 것이 핵심 과제였습니다.

  • LLM 운영 환경 필요: LLM 모델을 개발·학습·배포할 수 있는 통합 환경 필요

  • LLM 데이터 전처리 자동화 필요:  LLM 학습용 데이터의 주기적 전처리를 안정적으로 반복 수행할 수 있는 체계 필요

  • 대규모 LLM 배포 체계 필요: 대규모 언어모델 (LLM)을 실제 서비스 환경에 빠르게 배포 및 재배포가 가능한 운영 기반 필요

LLM 학습과 배포 자동화를 지원하는 통합 플랫폼 구축

치타를 통해 데이터 분석과 모델 연구를 위한 개발 환경을 제공하고, 워크플로우 기반 전처리·배포 자동화와 원클릭 서빙 기능을 결합해 LLM 서비스 운영 체계를 구축했습니다.

  • 전처리 워크플로우 자동화: 치타 워크플로우 기능을 통해 학습 데이터 전처리 과정을 자동화하고 반복 작업 부담 최소화

  • 대용량 모델 배포 체계 제공: 대형 모델 파일 저장과 원클릭 배포를 지원하며 자동 Endpoint 생성으로 빠른 서비스 연계 가능

  • 배포 자동화 기반 운영 지원: 워크플로우 기반 모델 재배포 체계를 마련해 서비스 운영과 모델 업데이트를 효율적으로 수행

LLM 서비스 운영 효율과 재배포 대응력 향상

공정거래위원회는 치타를 통해 파인튜닝에 필요한 데이터 전처리와 모델 재배포를 반복적으로 수행할 수 있는 자동화 체계를 마련하게 되었습니다. 이를 통해 LLM 서비스 운영 과정의 효율을 높이고, 모델 개선 사항을 보다 빠르게 서비스에 반영할 수 있는 기반을 확보했습니다.

  • 반복 업무 자동화 실현: 데이터 전처리와 모델 재배포 등 반복 작업을 자동화해 운영 효율 향상

  • 서비스 반영 속도 향상: 모델 배포 절차를 단순화해 개선된 모델을 보다 빠르게 서비스에 적용 가능

  • 운영 안정성 강화: LLM 서비스 운영에 필요한 학습·배포 체계를 표준화해 안정적인 운영 기반 확보

  • 쿠버네티스 기반의 AI 개발 통합 플랫폼이 궁금하다면? → Cheetah

더 궁금한 점이 있으신가요?

에이프리카의 솔루션에 대해 상담이 필요하시면
언제든지 문의해주세요.

문의하기