업종에 상관없이 AI가 비즈니스 운영, 영업, 마케팅, 법률 서비스를 위해 기존 데이터에서 새로운 형태의 가치를 추출하고 창출할 수 있는 가능성이 점점 더 커지고 있습니다. IDC(International Data Corporation)의 글로벌 생성 AI 사용 사례 및 투자에 대한 시장 인텔리전스에 따르면 소프트웨어 개발 및 제품 설계에 대한 지식 관리가 가장 큰 영향을 받으며, 개발자를 위한 마케팅 및 코드 생성을 위한 스토리라인 생성이 그 뒤를 이라고 합니다. 의료 분야에서는 임상 연구 조직이 의료 분야의 새로운 지평을 열고 있습니다. ProteinBERT와 같은 사전 훈련된 모델은 Gene Ontology(GO) 주석을 통합하여 약물의 단백질 구조를 신속하게 설계함으로써 약물 발견, 생물정보학 및 분자 생물학 분야에서 중요한 이정표를 제시합니다. 생명공학 기업들은 폐조직의 비가역적 흉터를 유발하는 폐섬유증(IPF)과 같은 질병을 치료하기 위한 목적으로 AI에서 발견된 신약 개발에 대한 인간 실험을 시작했습니다.

그림 1: 생성 AI를 이끄는 사용 사례

생성 AI를 통한 자동화 채택의 증가는 많은 직업의 업무 활동의 공급과 수요도 변화시키고 있습니다. McKinsey에 따르면 미국 노동 시장(아래 다이어그램)은 AI의 영향을 고려할 때만 지속되는 급속한 전환을 겪었습니다.

출처: McKinsey & Company

LLM은 주로 딥 러닝, GPU 및 컴퓨팅에 의존하고 있습니다. 하지만 GPU 버퍼가 가득 차면 데이터를 스토리지에 빠르게 기록해야 합니다. 일부 AI 모델은 메모리에서 실행될 수 있을 만큼 작지만, LLM에는 대규모 데이터 세트에 신속하게 액세스할 수 있도록 높은 IOPS와 높은 처리량 스토리지가 필요합니다. 특히 수십억 개의 토큰 또는 수백만 개의 이미지가 필요한 경우 그렇습니다. LLM의 일반적인 GPU 메모리 요구 사항에서 10억 개의 매개 변수를 가진 모델을 훈련하는 데 필요한 메모리는 최대 80GB @ 32비트 정밀도로 작동할 수 있습니다. 이 경우 70억 - 700억 개 매개 변수의 LLM 제품군인 Meta의 Llama 2는 약 70x80이 필요할 수 있습니다 5600GB 또는 5.6TB의 GPU RAM 또한 필요한 메모리 양은 생성하려는 최대 토큰 수에 직접 비례합니다. 예를 들어, 최대 512개의 토큰(약 380 단어)의 출력을 생성하려는 경우 이 필요합니다 "512MB". 이것은 비순차적인 것처럼 보일 수 있지만, 더 큰 배치를 실행하려는 경우 누적되기 시작합니다. 따라서 기업에서는 메모리의 LLM을 훈련하거나 미세 조정하는 데 비용이 매우 많이 들기 때문에 스토리지가 생성 AI의 토대가 되고 있습니다.

대부분의 기업에서 최신 동향을 바탕으로 LLM을 구축하는 접근 방식을 세 가지 기본 시나리오로 요약할 수 있습니다. 최근 에 설명된 대로 ""하버드 비즈니스 리뷰"" 기사: (1) LLM을 처음부터 완전히 교육(사전 교육) - 비용이 많이 들고 전문 AI/ML 기술이 필요함, (2) 복잡하고 실현 가능한 엔터프라이즈 데이터로 기반 모델 미세 조정, (3) 검색 증강 생성(RAG)을 사용하여 회사 데이터가 포함된 문서 저장소, API 및 벡터 데이터베이스를 쿼리합니다. 이러한 각 요소에는 서로 다른 유형의 문제를 해결하는 데 사용되는 노력, 반복 속도, 비용 효율성 및 모델 정확성이 서로 상충됩니다(아래 다이어그램).

그림 3: 문제 유형

기본 모델이라고도 하는 기초 모델(FM)은 광범위한 다운스트림 NLP 작업에 맞게 일반적으로 조정되는 방대한 양의 레이블 없는 데이터에 대해 훈련된 대규모 AI 모델(LLM)입니다. 훈련 데이터는 인간이 라벨링하지 않기 때문에 모델이 명시적으로 인코딩되는 것이 아니라 등장한다. 즉, 모델은 명시적으로 프로그래밍되지 않고 자신의 이야기 또는 설명을 생성할 수 있습니다. 따라서 FM의 중요한 특징은 여러 도메인에서 동일한 방법이 사용된다는 것을 의미하는 균질화입니다. 그러나 개인화 및 미세 조정 기술을 통해 오늘날 등장하는 제품에 통합된 FMS는 텍스트, 텍스트-이미지 및 텍스트-코드 생성 기능뿐만 아니라 도메인별 작업 또는 디버깅 코드를 설명하는 데도 유용합니다. 예를 들어, OpenAI의 Codex 또는 Meta의 Code Llama와 같은 FMS는 프로그래밍 작업의 자연어 설명을 기반으로 여러 프로그래밍 언어로 코드를 생성할 수 있습니다. 이러한 모델은 파이썬, C#, 자바스크립트, 펄, 루비, 및 SQL. 이들은 사용자의 의도를 이해하고 소프트웨어 개발, 코드 최적화 및 프로그래밍 작업의 자동화에 유용한 원하는 작업을 수행하는 특정 코드를 생성합니다.

데이터 준비 및 데이터 사전 처리 이후 LLM 구축의 일반적인 사례 중 하나는 크고 다양한 데이터 세트에 대해 교육을 받은 사전 훈련된 모델을 선택하는 것입니다. 세부 조정이라는 맥락에서, 과 같은 오픈 소스 대형 언어 모델이 될 수 있습니다 "메타의 라마 2" 700억 개의 매개 변수와 2조 개의 토큰에 대한 교육을 받았습니다. 사전 학습된 모델을 선택한 후 다음 단계는 도메인별 데이터에 맞게 세부 조정하는 것입니다. 이를 위해서는 모델의 매개 변수를 조정하고 새로운 데이터에 대해 훈련하여 특정 도메인 및 작업에 적응해야 합니다. 예를 들어, 금융 업계를 지원하는 광범위한 금융 데이터에 대한 교육을 받은 독점 LLM인 BloombergGPT가 있습니다. 특정 작업을 위해 설계 및 훈련된 도메인별 모델은 일반적으로 범위 내에서 정확성과 성능이 높지만 다른 작업 또는 도메인 간 전송 가능성은 낮습니다. 일정 기간 동안 비즈니스 환경과 데이터가 변경될 경우 테스트 중 FM의 예측 정확도가 성능에 비해 떨어지기 시작할 수 있습니다. 이 경우 모델을 재훈련하거나 미세 조정하는 것이 중요합니다. 기존 AI/ML에서 모델 재훈련은 배포된 ML 모델을 새 데이터로 업데이트하는 것을 의미하며, 일반적으로 두 가지 유형의 드리프트를 없애기 위해 수행됩니다. (1) 컨셉 드리프트 – 입력 변수와 목표 변수 사이의 링크가 시간에 따라 변경되면, 우리가 변화를 예측하고자 하는 것에 대한 설명 이후 모델은 부정확한 예측을 생성할 수 있습니다. (2) 데이터 드리프트 – 시간이 지남에 따라 고객 습관 또는 행동의 변화와 같이 입력 데이터의 특성이 변화하여 모델이 이러한 변화에 대응하지 못하는 경우에 발생합니다. 마찬가지로 재교육은 FMS/LLM에도 적용되지만 비용이 많이 들기 때문에(수백만 달러) 대부분의 조직이 고려할 만한 것은 아닙니다. 현재 활발한 연구 중에 있으며, LLMOps 영역에서 여전히 나타나고 있습니다. 따라서 미세 조정된 FMS에서 모델이 붕괴될 경우 재교육을 받는 대신 기업은 새로운 데이터 세트를 사용하여 다시 미세 조정을 선택할 수 있습니다(훨씬 저렴함). 비용 측면에서 아래에 나열된 것은 Azure-OpenAI Services의 모델 가격 표의 예입니다. 고객은 각 작업 범주에 대해 특정 데이터 세트에서 모델을 미세 조정하고 평가할 수 있습니다.

출처: Microsoft Azure

신속한 엔지니어링은 모델 가중치를 업데이트하지 않고 원하는 작업을 수행하기 위해 LLM과 통신하는 효과적인 방법을 의미합니다. AI 모델 훈련 및 미세 조정이 NLP 애플리케이션에 중요합니다. 하지만 추론도 마찬가지로 중요합니다. 훈련된 모델이 사용자 프롬프트에 응답합니다. 추론을 위한 시스템 요구사항은 일반적으로 수십억 개의 저장된 모델 매개 변수를 적용하여 최상의 응답을 이끌어낼 수 있어야 하기 때문에 LLM에서 GPU에 데이터를 제공하는 AI 스토리지 시스템의 읽기 성능에 훨씬 더 큰 영향을 줍니다.

기존의 MLOps(Machine Learning Ops)와 마찬가지로 LLMOps(Large Language Model Operations)도 데이터 과학자와 DevOps 엔지니어의 협업이 필요하며, 생산 환경에서 LLM 관리를 위한 도구와 모범 사례가 필요합니다. 그러나 LLM에 대한 워크플로와 기술 스택은 어떤 면에서 다를 수 있습니다. 예를 들어, LangChain 문자열과 같은 프레임워크를 사용하여 구축된 LLM 파이프라인은 벡터스토어 또는 벡터 데이터베이스와 같은 외부 임베디드 엔드포인트에 대한 여러 LLM API 호출을 함께 통합합니다. 벡터 데이터베이스와 같은 다운스트림 커넥터에 임베드된 끝점 및 벡터스토어를 사용하는 것은 데이터를 저장하고 액세스하는 방식에 있어 상당한 발전을 나타냅니다. 처음부터 개발된 기존의 ML 모델과 달리 LLM은 전송 학습에 의존하는 경우가 많습니다. 이러한 모델은 보다 구체적인 영역에서 성능을 향상시키기 위해 새로운 데이터로 미세 조정된 FMS로 시작되기 때문입니다. 따라서 LLMOps는 위험 관리 및 모델 붕괴 모니터링 기능을 제공하는 것이 중요합니다.

“ChatGPT – 그것은 매끈하지만 여전히 무의미한.” – MIT 기술 리뷰. 가비지 입력 – 가비지 유출은 항상 컴퓨팅 측면에서 어려운 문제였습니다. Generative AI의 유일한 차이점은 쓰레기를 매우 신뢰할 수 있게 만들어 부정확한 결과를 도출하는 데 탁월하다는 것입니다. LLM은 자신이 만든 이야기에 맞게 사실을 발명한 경향이 있습니다. 따라서 세대 AI를 AI 등가물로 비용을 낮출 수 있는 좋은 기회로 간주하는 기업은 시스템을 정직하고 윤리적으로 유지하기 위해 심층적인 추측을 효율적으로 탐지하고 편견을 줄이며 위험을 낮춰야 합니다. 엔드 투 엔드 암호화 및 AI 가드레일을 통한 데이터 이동성, 데이터 품질, 데이터 거버넌스 및 데이터 보호를 지원하는 강력한 AI 인프라를 통해 유입되는 데이터 파이프라인은 책임지고 설명 가능한 생성 AI 모델의 설계에 포함되어 있습니다.

NVIDIA DGX BasePOD가 포함된 NetApp ® ONTAP ® AI 참조 아키텍처는 머신 러닝(ML) 및 인공 지능(AI) 워크로드를 위한 확장 가능한 아키텍처입니다. 일반적으로 LLM의 중요 교육 단계에서는 데이터 스토리지에서 교육 클러스터로 데이터가 정기적으로 복사됩니다. 이 단계에 사용되는 서버는 GPU를 사용해 컴퓨팅을 병렬화하여 방대한 양의 데이터를 수용합니다. 물리적 I/O 대역폭 요구사항을 충족하는 것은 높은 GPU 활용률을 유지하는 데 매우 중요합니다.

NVIDIA AI Enterprise는 NVIDIA 인증 시스템과 함께 VMware vSphere에서 실행하도록 NVIDIA에서 최적화, 인증 및 지원하는 엔드 투 엔드 클라우드 네이티브 AI 및 데이터 분석 소프트웨어 제품군입니다. 이 소프트웨어를 사용하면 최신 하이브리드 클라우드 환경에서 AI 워크로드를 쉽고 빠르게 구축, 관리, 확장할 수 있습니다. NetApp 및 VMware를 기반으로 하는 NVIDIA AI Enterprise는 단순하고 친숙한 패키지로 엔터프라이즈급 AI 워크로드 및 데이터 관리를 제공합니다.

완전 관리형 클라우드 스토리지 오퍼링은 Microsoft Azure As ANF(Azure NetApp Files), AWS FSxN(Amazon FSx for NetApp ONTAP), Google GNCV(Google Cloud NetApp Volumes)로 기본 제공됩니다. 1P는 고객이 퍼블릭 클라우드의 향상된 데이터 보안으로 고가용성 AI 워크로드를 실행하고 AWS SageMaker, Azure-OpenAI Services, Google의 Vertex AI와 같은 클라우드 네이티브 ML 플랫폼으로 LLM/FMS를 미세 조정할 수 있도록 지원하는 고성능 파일 관리 시스템입니다.