Language
MLOps 실행에 큰 도움이 되는 LLM, 생성적 AI
홈페이지홈페이지 > 블로그 > MLOps 실행에 큰 도움이 되는 LLM, 생성적 AI
최근 뉴스

MLOps 실행에 큰 도움이 되는 LLM, 생성적 AI

Sep 23, 2023

기사/분석

인공 지능(AI) 개발에 대한 고유한 요구 사항으로 인해 기계 학습 모델 구축 및 배포에 맞춰진 MLOps 사례가 탄생했습니다. 항상 유동적이지만, 생성 AI와 LLM(대형 언어 모델)이 새로운 애플리케이션을 지원함에 따라 이러한 관행은 또 다른 변화를 가져올 수 있습니다.

과거 머신러닝(ML) 모델에서 획기적인 발전이 이루어졌을 때 그 소식은 AI 전문가들로 구성된 소규모 커뮤니티에만 국한되었습니다. 2012년 Image Net 객체 인식 데이터베이스와 2017년 Google이 설명한 Transformer 신경 아키텍처는 기술 의식에 작은 파급력을 미쳤습니다.

ChatGPT에서는 그렇지 않습니다. Bing과 Edge 브라우저에 추가되었을 때 전 세계적으로 큰 반향을 불러일으켰습니다. 최고 경영진은 생성 AI, LLM 및 기초 모델이 중요한 혁신을 가리키는 것처럼 보임에 주목해야 했습니다. 생성적 AI는 새로운 형태의 챗봇 상호 작용, 콘텐츠 요약 및 생성, 소프트웨어 코드 생성 등을 보여줍니다.

컨설팅 딜로이트(Deloitte)는 생성적 AI가 파괴의 물결을 일으키고 있다고 말합니다. 143명의 CEO를 대상으로 한 2023년 Deloitte/Forbes 설문조사에서 질문한 사람 중 무려 55%가 생성 AI를 평가하거나 실험하고 있습니다.

한편, 79%는 생성 AI가 효율성을 높일 것이라는 데 동의하고, 조사 대상자의 52%는 성장 기회가 늘어날 것이라고 믿고 있습니다. 딜로이트는 응답자의 37%가 이미 생성 AI를 어느 정도 구현하고 있다고 말했습니다.

LLM을 향한 돌진과 최고 수준의 ML 개발 도구에 대한 필요성으로 인해 ML Ops 공간에서 인수가 가속화되었습니다. 일부 시청자도 "LLM Ops 공간"을 구별하기 시작했습니다.

많은 사람들은 이러한 유형의 구매를 인재 확보 활동으로 보고 생성 AI의 전망을 어둡게 하는 기술 문제를 강조합니다.

이제 팀은 훈련 및 추론 모드 모두에서 새로운 기술을 길들이기 위해 노력하고 있습니다. 생성 AI 혁신의 핵심인 LLM에는 분산 컴퓨팅을 지원하는 대규모 하드웨어 및 소프트웨어 아키텍처가 필요합니다. 인간-기계 상호 작용의 대기 시간을 줄이려면 메모리와 컴퓨팅 리소스를 조정해야 합니다. 이 모든 것은 일부 희망적인 프로젝트를 방해하는 비용으로 빠르게 해석됩니다.

더욱이 LLM은 선별되고 관리되어야 하는 엄청난 교육 데이터를 제공합니다. LLM 출력이 불안정할 수 있습니다. 때때로 개발자는 반복적인 프롬프트 엔지니어링에 의존하여 모델에 반복적으로 쿼리한 다음 도착하는 응답의 무작위 특성을 숙고합니다. 그럼에도 불구하고 모든 규모의 독립 개발자와 공급업체는 문제 해결 방법을 찾고 있습니다.

최근 Databricks Data and AI Summit 2023에서 연설한 Shreya Rajpal은 "대형 언어 모델은 범용 추론에서는 훌륭하지만 매우 취약합니다."라고 말했습니다. "대형 언어 모델에서 올바른 출력을 얻는 것은 어렵습니다."

그녀는 데이터 및 AI 서밋 참석자들에게 “규모를 확장하면 예상대로 작동할 것이라는 보장이 없습니다.”라고 말했습니다.

Rajpal은 전 Apple ML 엔지니어였으며 현재 LLM 출력의 품질을 더 잘 보장하는 소프트웨어를 만드는 스타트업 Guardrails AI의 창립자입니다.

Rajpal에 따르면 LLM은 정확성이 중요한 기업용으로 적용되므로 입력을 검증해야 하는 필요성이 절실히 필요하다고 합니다. 유효성 검사는 언어 구조 및 유형을 중심으로 이루어지며, 욕설이나 응답 길이 등을 확인합니다. Guardrails AI에서 Rajpal은 LLM 출력의 품질을 더 잘 보장하기 위해 검증 도구를 추구합니다.

컨테이너 기술은 계속해서 자동화된 ML 개발을 주도하고 있습니다. 이는 데이터 과학자와 운영 간의 중요한 협업을 촉진합니다. Domino Data Lab의 수석 현장 데이터 과학자인 Josh Poduska에 따르면 LLM의 고유한 과제에는 향상된 컨테이너 관리가 필요하다고 합니다. Domino Data Lab은 2013년 창립 이후 다양한 Fortune 100대 고객을 위한 분석 기술을 연마해 왔습니다.

“오늘날 데이터 과학은 컨테이너를 기반으로 합니다. 기업 수준에서는 데이터 과학 플랫폼의 기반을 구축하는 데 큰 역할을 합니다. LLM에는 기존 기계 학습과 다른 컨테이너 유형이 필요하며 이는 더 나은 재현성을 위해 더 나은 협업을 지원하는 컨테이너 관리 프레임워크에 대한 새로운 요구 사항을 제시합니다.”라고 그는 말했습니다.