많은 조직에서 생성적 AI를 사용하여 새로운 제품 기능을 구축하고, 엔지니어링 생산성을 개선하고, 더 나은 결과와 고객 경험을 제공하는 AI 기반 애플리케이션의 프로토타입을 개발하고 있습니다. GPT(Generative Pre-trained Transformers)와 같은 생성적 AI는 신경망을 사용하여 텍스트, 오디오, 비디오 등 다양한 새로운 콘텐츠를 생성합니다. 대규모 언어 모델(LLM)과 관련된 극단적인 규모와 엄청난 양의 데이터 세트를 고려할 때, 기업이 AI 솔루션을 설계하기 전에 온프레미스, 하이브리드 및 멀티클라우드 배포 옵션의 매력적인 데이터 저장 기능을 활용하고 데이터 이동성, 데이터 보호 및 거버넌스와 관련된 위험을 줄이는 강력한 AI 인프라를 구축하는 것이 중요합니다. 이 논문에서는 이러한 고려 사항과 학습, 재학습, 미세 조정 및 생성 AI 모델 추론을 위한 AI 데이터 파이프라인 전반의 원활한 데이터 관리 및 데이터 이동을 가능하게 하는 해당 NetApp AI 기능에 대해 설명합니다.

가장 최근에는 2022년 11월 GPT-3의 분사 기업인 ChatGPT가 출시된 이후, 사용자 프롬프트에 따라 텍스트, 코드, 이미지, 심지어 치료용 단백질까지 생성하는 데 사용되는 새로운 AI 도구가 상당한 명성을 얻었습니다. 이는 사용자가 자연어를 사용하여 요청을 하면 AI가 사용자 요청을 반영하는 뉴스 기사나 제품 설명과 같은 텍스트를 해석하고 생성하거나, 이미 존재하는 데이터로 훈련된 알고리즘을 사용하여 코드, 음악, 음성, 시각 효과, 3D 자산을 생성한다는 것을 의미합니다. 그 결과, 안정적 확산, 환각, 신속한 엔지니어링, 가치 정렬과 같은 문구가 AI 시스템 설계에 빠르게 등장하고 있습니다. 이러한 자기 지도 또는 반지도 머신 러닝(ML) 모델은 클라우드 서비스 공급업체와 기타 AI 회사 공급업체를 통해 사전 학습된 기반 모델(FM)로 널리 제공되고 있으며, 다양한 산업 전반의 기업에서 광범위한 다운스트림 NLP(자연어 처리) 작업에 채택되고 있습니다. 맥킨지와 같은 연구 분석 회사가 주장한 것처럼 "생성적 AI가 생산성에 미치는 영향은 글로벌 경제에 수조 달러의 가치를 더할 수 있습니다." 기업들이 AI를 인간의 사고 파트너로 재구성하고, FM이 기업과 기관이 생성적 AI를 통해 할 수 있는 일을 확대하는 동시에, 엄청난 양의 데이터를 관리할 수 있는 기회도 계속해서 늘어날 것입니다. 이 문서에서는 온프레미스와 하이브리드 또는 멀티클라우드 환경 모두에서 NetApp 고객에게 가치를 제공하는 NetApp 기능과 관련된 생성적 AI 및 설계 개념에 대한 소개 정보를 제공합니다.

그렇다면 고객이 AI 환경에서 NetApp 사용하면 어떤 이점이 있을까요? NetApp 조직이 급속한 데이터 및 클라우드 성장, 멀티 클라우드 관리, AI와 같은 차세대 기술 도입으로 인해 발생하는 복잡성을 해결할 수 있도록 지원합니다. NetApp 다양한 기능을 지능형 데이터 관리 소프트웨어와 스토리지 인프라로 결합했으며, 이는 AI 워크로드에 최적화된 고성능과 균형을 이루고 있습니다. LLM과 같은 생성적 AI 솔루션은 지능을 강화하기 위해 저장소에서 소스 데이터 세트를 여러 번 읽어 메모리로 처리해야 합니다. NetApp 엣지에서 코어, 클라우드에 이르는 생태계 전반에 걸쳐 데이터 이동성, 데이터 거버넌스 및 데이터 보안 기술을 선도해 왔으며, 기업 고객에게 대규모 AI 솔루션을 구축할 수 있는 서비스를 제공합니다. 강력한 파트너 네트워크를 갖춘 NetApp 은 최고 데이터 책임자, AI 엔지니어, 엔터프라이즈 아키텍트, 데이터 과학자가 AI 모델 학습 및 추론에 대한 데이터 준비, 데이터 보호, 전략적 데이터 관리 책임을 위한 자유로운 데이터 파이프라인을 설계하고 AI/ML 수명 주기의 성능과 확장성을 최적화하도록 지원해 왔습니다. NetApp ONTAP AI ( 딥 러닝 데이터 파이프라인), NetApp SnapMirror( 스토리지 엔드포인트 간에 데이터를 원활하고 효율적으로 전송), NetApp FlexCache( 배치에서 실시간으로 데이터 흐름이 전환되고 데이터 엔지니어링이 신속하게 수행될 때 실시간 렌더링)와 같은 NetApp 데이터 기술과 기능은 실시간 생성 AI 모델 배포에 가치를 더해줍니다. 모든 유형의 기업이 새로운 AI 도구를 도입함에 따라 엣지에서 데이터 센터, 클라우드에 이르기까지 확장 가능하고 책임감 있으며 설명 가능한 AI 솔루션을 요구하는 데이터 과제에 직면하게 됩니다. 하이브리드 및 멀티 클라우드 분야의 데이터 기관으로서 NetApp 생성적 AI 모델 학습(사전 학습), 미세 조정, 컨텍스트 기반 추론 및 LLM의 모델 붕괴 모니터링을 위한 데이터 파이프라인 및 데이터 레이크 구축의 모든 측면을 지원할 수 있는 파트너 및 공동 솔루션 네트워크를 구축하는 데 전념하고 있습니다.

생성적 AI는 콘텐츠를 만드는 방식, 새로운 디자인 컨셉을 창출하는 방식, 참신한 구성을 탐구하는 방식을 바꾸고 있습니다. 여기에는 텍스트, 코드, 이미지, 오디오, 비디오 및 합성 데이터와 같은 새로운 콘텐츠를 생성할 수 있는 GAN(Generative Adversarial Network), VAE(Variational Autoencoders), GPT(Generative Pre-Trained Transformers)와 같은 신경망 프레임워크가 설명되어 있습니다. OpenAI의 Chat-GPT, Google의 Bard, Hugging Face의 BLOOM, Meta의 LLaMA와 같은 트랜스포머 기반 모델은 대규모 언어 모델의 많은 발전을 뒷받침하는 기반 기술로 떠올랐습니다. 마찬가지로 OpenAI의 Dall-E, Meta의 CM3leon, Google의 Imagen은 텍스트-이미지 확산 모델의 예입니다. 이러한 모델은 고객에게 데이터 세트 증강 및 텍스트-이미지 합성을 사용하여 텍스트와 시각적 의미를 연결하여 고품질의 상황 인식 이미지를 생성하거나 기존 이미지를 편집하여 새롭고 복잡한 이미지를 처음부터 만들 수 있는 전례 없는 수준의 포토리얼리즘을 제공합니다. 디지털 아티스트는 NeRF(Neural Radiance Field)와 같은 렌더링 기술과 생성 AI를 결합하여 정적인 2D 이미지를 몰입형 3D 장면으로 변환하기 시작했습니다. 일반적으로 LLM은 크게 4가지 매개변수로 특징지어집니다. (1) 모델 크기(일반적으로 수십억 개의 매개변수), (2) 학습 데이터 세트 크기, (3) 학습 비용, (4) 학습 후 모델 성능. LLM도 주로 3가지 변압기 아키텍처로 분류됩니다. (i) 인코더 전용 모델. 예: BERT(Google, 2018); (ii) 인코더-디코더 예: BART(Meta, 2020) 및 (iii) 디코더 전용 모델. 예를 들어 LLaMA(Meta, 2023), PaLM-E(Google, 2023). 비즈니스 요구 사항에 따라, 회사가 어떤 아키텍처를 선택하든 일반적으로 학습 데이터 세트의 모델 매개변수 수(N)와 토큰 수(D)에 따라 LLM 학습(사전 학습) 또는 미세 조정의 기준 비용이 결정됩니다.

그림 3: 머신 러닝/대규모 언어 모델 워크플로

우리는 훈련을 하고 있는가, 아니면 미세조정을 하고 있는가? (a) LLM 모델을 처음부터 학습시킬지, 미리 학습된 FM을 미세 조정할지, RAG를 사용하여 기초 모델 외부의 문서 저장소에서 데이터를 검색하고 프롬프트를 증강할지, (b) 오픈 소스 LLM(예: Llama 2)이나 독점 FM(예: ChatGPT, Bard, AWS Bedrock)을 활용할지 여부는 조직이 내려야 할 전략적 결정입니다. 각 접근 방식은 비용 효율성, 데이터 중력, 운영, 모델 정확도 및 LLM 관리 간에 상충 관계가 있습니다.

NetApp 회사 내부적으로 업무 문화와 제품 설계 및 엔지니어링 노력에 대한 접근 방식에 AI를 도입했습니다. 예를 들어, NetApp의 자율형 랜섬웨어 보호 기능은 AI와 머신 러닝을 사용하여 구축되었습니다. 이 기능은 파일 시스템 이상을 조기에 감지하여 운영에 영향을 미치기 전에 위협을 식별하는 데 도움이 됩니다. 둘째, NetApp 판매 및 재고 예측과 같은 비즈니스 운영에 예측 AI를 활용하고, 챗봇을 통해 콜센터 제품 지원 서비스, 기술 사양, 보증, 서비스 매뉴얼 등에서 고객을 지원합니다. 셋째, NetApp NetApp ONTAP AI, NetApp SnapMirror, NetApp FlexCache와 같은 NetApp 제품 및 기능을 통해 수요 예측, 의료 영상, 감정 분석, 제조 분야의 산업 이미지 이상 탐지 및 은행 및 금융 서비스의 자금 세탁 방지 및 사기 탐지와 같은 생성 AI 솔루션과 같은 예측 AI 솔루션을 구축하는 고객에게 서비스 NetApp 제품과 솔루션을 통해 AI ONTAP NetApp SnapMirror / NetApp FlexCache 에 고객 가치를 제공합니다.

챗봇, 코드 생성, 이미지 생성 또는 게놈 모델 표현과 같은 생성적 AI 애플리케이션에서 데이터의 이동과 관리가 엣지, 프라이빗 데이터 센터 및 하이브리드 멀티클라우드 생태계 전반에 걸쳐 이루어질 수 있습니다. 예를 들어, ChatGPT와 같은 사전 훈련된 모델의 API를 통해 노출된 최종 사용자 앱에서 승객의 항공권을 비즈니스 클래스로 업그레이드하도록 돕는 실시간 AI 봇은 승객 정보가 인터넷에 공개적으로 제공되지 않기 때문에 그 자체로 해당 작업을 달성할 수 없습니다. API는 하이브리드 또는 멀티클라우드 생태계에 존재할 수 있는 항공사의 승객 개인 정보 및 항공권 정보에 대한 액세스가 필요합니다. 유사한 시나리오는 LLM을 사용하여 일대다 생물의학 연구 기관이 참여하는 약물 발견 전반에 걸쳐 임상 시험을 수행하는 최종 사용자 애플리케이션을 통해 약물 분자와 환자 데이터를 공유하는 과학자에게도 적용될 수 있습니다. FM이나 LLM에 전달되는 민감한 데이터에는 PII, 재무 정보, 건강 정보, 생체 인식 데이터, 위치 데이터, 통신 데이터, 온라인 행동 및 법률 정보가 포함될 수 있습니다. 실시간 렌더링, 즉각적인 실행 및 에지 추론이 발생하는 경우 오픈 소스 또는 독점 LLM 모델을 통해 최종 사용자 앱에서 스토리지 엔드포인트로 데이터가 이동하고, 이를 온프레미스 또는 퍼블릭 클라우드 플랫폼의 데이터 센터로 전송합니다. 이러한 모든 시나리오에서 데이터 이동성과 데이터 보호는 대규모 학습 데이터 세트와 이러한 데이터의 이동에 의존하는 LLM과 관련된 AI 작업에 매우 중요합니다.

그림 4: 생성 AI - LLM 데이터 파이프라인

NetApp의 스토리지 인프라, 데이터 및 클라우드 서비스 포트폴리오는 지능형 데이터 관리 소프트웨어로 구동됩니다.

데이터 준비: LLM 기술 스택의 첫 번째 기둥은 기존의 전통적인 ML 스택과 크게 다르지 않습니다. AI 파이프라인에서 데이터 전처리는 학습이나 미세 조정에 앞서 데이터를 정규화하고 정리하는 데 필요합니다. 이 단계에는 Amazon S3 계층 형태나 파일 저장소 또는 NetApp StorageGRID 와 같은 온프레미스 스토리지 시스템 형태에 있는 데이터를 수집하기 위한 커넥터가 포함됩니다.

NetApp의 제품 보안. LLM은 실수로 답변에서 기밀 데이터를 공개할 수 있으므로 LLM을 활용하는 AI 애플리케이션과 관련된 취약성을 연구하는 CISO에게는 우려스러운 일입니다. OWASP(Open Worldwide Application Security Project)에서 설명한 대로, 데이터 오염, 데이터 유출, 서비스 거부, LLM 내의 즉각적인 주입과 같은 보안 문제는 데이터 노출부터 공격자의 무단 접근까지 기업에 영향을 미칠 수 있습니다. 데이터 저장 요구 사항에는 구조화된 데이터, 반구조화된 데이터, 구조화되지 않은 데이터에 대한 무결성 검사와 변경 불가능한 스냅샷이 포함되어야 합니다. NetApp Snapshots와 SnapLock 데이터 세트 버전 관리에 사용됩니다. 엄격한 역할 기반 액세스 제어(RBAC)와 보안 프로토콜, 업계 표준 암호화를 제공하여 저장 중인 데이터와 전송 중인 데이터를 모두 보호합니다. Cloud Insights 와 Cloud Data Sense는 함께 위협의 근원을 법의학적으로 식별하고 복원할 데이터의 우선순위를 지정하는 데 도움이 되는 기능을 제공합니다.

NetApp 핵심 데이터 제품, 기술 및 기능 외에도 강력한 AI 파트너 네트워크와 긴밀히 협력하여 고객에게 부가가치를 제공합니다.

*Domino Data Lab*은 빠르고 안전하며 경제적인 Generative AI를 구축하고 제품화하기 위한 다목적 엔터프라이즈급 도구를 제공합니다. AI 여정의 어느 단계에 있든 상관없습니다. Domino's Enterprise MLOps 플랫폼을 사용하면 데이터 과학자는 선호하는 도구와 모든 데이터를 사용하고, 어디서나 쉽게 모델을 훈련하고 배포하고, 위험을 관리하고 비용 효율적으로 관리할 수 있습니다. 이 모든 것이 하나의 제어 센터에서 가능합니다.

Edge AI를 위한 Modzy. NetApp 과 Modzy는 이미지, 오디오, 텍스트, 표를 포함한 모든 유형의 데이터에 대규모 AI를 제공하기 위해 협력했습니다. Modzy는 AI 모델을 배포, 통합, 실행하기 위한 MLOps 플랫폼으로, 데이터 과학자에게 모델 모니터링, 드리프트 감지, 설명 가능성 기능을 제공하며, 원활한 LLM 추론을 위한 통합 솔루션을 제공합니다.

*Run:AI*와 NetApp Run:AI 클러스터 관리 플랫폼을 통해 AI 워크로드 오케스트레이션을 간소화하는 NetApp ONTAP AI 솔루션의 고유한 기능을 보여주기 위해 파트너십을 맺었습니다. 이 솔루션은 Spark, Ray, Dask, Rapids를 위한 기본 통합 프레임워크를 통해 수백 대의 머신으로 데이터 처리 파이프라인을 확장하도록 설계되어 GPU 리소스를 자동으로 분할하고 결합합니다.

생성적 AI는 모델이 대량의 고품질 데이터를 통해 훈련될 때에만 효과적인 결과를 낼 수 있습니다. LLM은 놀라운 이정표를 달성했지만 데이터 이동성과 데이터 품질과 관련된 한계, 설계상의 과제 및 위험을 인식하는 것이 중요합니다. LLM은 다양한 데이터 소스의 방대하고 다양한 교육 데이터 세트에 의존합니다. 모델에서 생성된 부정확한 결과나 편향된 결과는 기업과 소비자 모두를 위험에 빠뜨릴 수 있습니다. 이러한 위험은 데이터 품질, 데이터 보안, 데이터 이동성과 관련된 데이터 관리 과제로 인해 잠재적으로 LLM에 발생하는 제약에 해당할 수 있습니다. NetApp 조직이 급속한 데이터 증가, 데이터 이동성, 멀티 클라우드 관리 및 AI 도입으로 인해 발생하는 복잡성을 해결할 수 있도록 지원합니다. 대규모 AI 인프라와 효율적인 데이터 관리는 생성 AI와 같은 AI 애플리케이션의 성공을 정의하는 데 매우 중요합니다. 고객이 비용 효율성, 데이터 거버넌스, 윤리적인 AI 관행을 통제하는 동시에 기업의 필요에 따라 확장할 수 있는 능력을 저하시키지 않고 모든 배포 시나리오를 포괄하는 것이 중요합니다. NetApp 고객이 AI 배포를 간소화하고 가속화할 수 있도록 끊임없이 노력하고 있습니다.