있습니다
변경 제안
PDF
이 지원 센터 솔루션의 아키텍처는 NVIDIA의 사전 구축된 툴과 NetApp DataOps 툴킷을 중심으로 돌아가고 있습니다. NVIDIA의 도구는 사전 구축된 모델 및 파이프라인을 사용하여 고성능 AI 솔루션을 신속하게 배포하는 데 사용됩니다. NetApp DataOps 툴킷은 다양한 데이터 관리 작업을 단순화하여 개발 속도를 높여줍니다.
솔루션 기술
"NVIDIA Riva" GPU에 실시간 성능을 제공하는 멀티모달 대화형 AI 애플리케이션을 구축하기 위한 GPU 가속 SDK NVIDIA Train, 조정 및 최적화(TAO) 툴킷은 교육을 가속화하고 매우 정확하고 성능 높은 도메인 특정 AI 모델을 빠르게 생성할 수 있는 더 빠르고 쉬운 방법을 제공합니다.
NetApp DataOps Toolkit은 개발자, 데이터 과학자, DevOps 엔지니어 및 데이터 엔지니어가 다양한 데이터 관리 작업을 수행할 수 있도록 지원하는 Python 라이브러리입니다. 여기에는 새로운 데이터 볼륨 또는 JupyterLab 작업 공간의 거의 즉각적인 프로비저닝, 데이터 볼륨 또는 JupyterLab 작업 공간의 거의 즉각적인 클론 복제, 추적 및 베이스라인 기능을 위한 데이터 볼륨 또는 JupyterLab 작업 공간의 거의 즉각적인 스냅샷 생성이 포함됩니다.
아키텍처 다이어그램
다음 다이어그램에서는 솔루션 아키텍처를 보여 줍니다. 클라우드, 코어, 에지의 세 가지 주요 환경 범주가 있습니다. 각 범주는 지리적으로 분산될 수 있습니다. 예를 들어, 클라우드에는 여러 지역의 버킷에 오디오 파일이 있는 오브젝트 저장소가 포함되어 있는 반면, 코어에는 고속 네트워크 또는 NetApp BlueXP 복사본 및 동기화 를 통해 연결된 데이터 센터가 포함될 수 있습니다. 에지 노드는 개별 상담원의 일상 업무 플랫폼을 나타내며, 대화형 대시보드 도구 및 마이크를 사용하여 감정을 시각화하고 고객과의 대화에서 오디오 데이터를 수집할 수 있습니다.
GPU 가속 데이터 센터에서 기업은 NVIDIA를 사용할 수 있습니다 "리바" 대화형 AI 애플리케이션을 구축하기 위한 프레임워크로, 이 애플리케이션은 에서 사용할 수 있습니다 "Tao 툴킷" TRANSFER L-Learning 기술을 사용하여 모델 마무리 및 재교육을 위한 연결 이러한 컴퓨팅 애플리케이션과 워크플로우가 에서 제공됩니다 "NetApp DataOps 툴킷"ONTAP이 제공하는 최고의 데이터 관리 기능을 활용할 수 있습니다. 이 툴킷은 기업 데이터 팀이 추적 가능성, 버전 관리, A/B 테스트를 위해 스냅샷 및 클론을 통해 관련 정형 및 비정형 데이터와 함께 모델을 신속하게 프로토타입화할 수 있도록 해 줍니다. 따라서 보안, 거버넌스, 및 규정 준수: 섹션을 참조하십시오 "스토리지 설계" 를 참조하십시오.
이 솔루션은 오디오 파일 처리, NLP 모델 교육, 전송 학습 및 데이터 관리 세부 정보 단계를 보여 줍니다. 결과적으로 전체 파이프라인은 인적 지원 상담원의 대시보드에 실시간으로 표시되는 정서 요약을 생성합니다.
하드웨어 요구 사항
다음 표에는 솔루션을 구현하는 데 필요한 하드웨어 구성요소가 나와 있습니다. 이 솔루션을 구체적으로 구축하는 데 사용되는 하드웨어 구성요소는 고객 요구사항에 따라 다를 수 있습니다.
| 응답 지연 시간 테스트 | 시간(밀리초) |
|---|---|
데이터 처리 |
10 |
추론 |
10 |
이러한 응답 시간 테스트는 560건의 대화에서 50,000개 이상의 오디오 파일로 실행되었습니다. 각 오디오 파일의 크기는 MP3로 최대 100KB, WAV로 변환될 경우 최대 1MB였습니다. 데이터 처리 단계에서는 MP3를 WAV 파일로 변환합니다. 추론 단계에서는 오디오 파일을 텍스트로 변환하고 텍스트에서 감정을 추출합니다. 이러한 단계는 모두 서로 독립적이며 병렬화를 통해 프로세스 속도를 높일 수 있습니다.
매장 간의 데이터 전송 지연 시간을 고려하여 관리자는 문장의 끝 후 1초 이내에 실시간 감정 분석에 대한 업데이트를 볼 수 있어야 합니다.
NVIDIA Riva 하드웨어
| 하드웨어 | 요구 사항 |
|---|---|
OS |
Linux x86_64 |
GPU 메모리(ASR) |
스트리밍 모델: ~5600 MB 비스트리밍 모델: ~3100 MB |
GPU 메모리(NLP) |
BERT 모델당 최대 500MB |
NVIDIA TAO 툴킷 하드웨어
| 하드웨어 | 요구 사항 |
|---|---|
시스템 RAM |
32GB |
GPU RAM |
32GB |
CPU |
8코어 |
GPU |
NVIDIA(A100, V100 및 RTX 30x0) |
SSD를 지원합니다 |
100GB |
플래시 스토리지 시스템
NetApp ONTAP 9
NetApp의 최신 세대 스토리지 관리 소프트웨어인 ONTAP 9.9를 통해 기업은 인프라를 현대화하고 클라우드 지원 데이터 센터로 전환할 수 있습니다. ONTAP는 업계 최고 수준의 데이터 관리 기능을 활용하여 데이터가 상주하는 위치와 상관없이 단일 툴셋으로 데이터를 관리하고 보호할 수 있습니다. 필요에 따라 에지, 코어, 클라우드 등 어느 위치로도 데이터를 자유롭게 이동할 수 있습니다. ONTAP 9.9에는 데이터 관리를 단순화하고, 중요 데이터를 더 빨리 처리하고, 보호하며, 하이브리드 클라우드 아키텍처 전체에서 차세대 인프라 기능을 지원하는 다양한 기능이 포함되어 있습니다.
NetApp BlueXP 복사 및 동기화
"BlueXP 복사 및 동기화" 은(는) 빠르고 안전한 데이터 동기화를 제공하는 NetApp 서비스로, 사용자는 온프레미스 NFS 또는 SMB 파일 공유 간에 파일을 다음 타겟으로 전송할 수 있습니다.
-
NetApp StorageGRID를 참조하십시오
-
NetApp ONTAP S3
-
Google Cloud NetApp 볼륨
-
Azure NetApp Files
-
Amazon Simple Storage Service(Amazon S3)
-
Amazon Elastic File System(Amazon EFS)
-
Azure Blob
-
Google 클라우드 스토리지
-
IBM 클라우드 오브젝트 스토리지
BlueXP 복사 및 동기화는 필요한 파일을 빠르고 안전하게 이동합니다. 데이터가 전송되면 소스와 타겟 모두에서 사용할 수 있습니다. BlueXP 복사 및 동기화는 미리 정의된 일정에 따라 데이터를 지속적으로 동기화하므로 변경된 부분만 이동하므로 데이터 복제에 소비되는 시간과 비용이 최소화됩니다. BlueXP Copy and Sync는 간편하게 설정하고 사용할 수 있는 서비스형 소프트웨어(SaaS) 툴입니다. BlueXP Copy 및 Sync에 의해 트리거되는 데이터 전송은 데이터 브로커에 의해 수행됩니다. AWS, Azure, Google Cloud Platform 또는 사내에 BlueXP Copy 및 Sync 데이터 브로커를 배포할 수 있습니다.
NetApp StorageGRID를 참조하십시오
StorageGRID 소프트웨어 정의 오브젝트 스토리지 제품군은 퍼블릭, 프라이빗, 하이브리드 멀티 클라우드 환경에서 다양한 사용 사례를 원활하게 지원합니다. 업계 최고 수준의 혁신적인 NetApp StorageGRID은 오랫동안 자동 라이프사이클 관리를 포함하여 다목적 사용을 위해 비정형 데이터를 저장, 보안, 보호 및 보존합니다. 자세한 내용은 사이트를 참조하십시오 "NetApp StorageGRID를 참조하십시오".
소프트웨어 요구 사항
다음 표에는 이 솔루션을 구축하는 데 필요한 소프트웨어 구성요소가 나와 있습니다. 이 솔루션을 구체적으로 구축하는 데 사용되는 소프트웨어 구성요소는 고객 요구사항에 따라 다를 수 있습니다.
| 호스트 시스템 | 요구 사항 |
|---|---|
Riva(이전 명칭 JARVIS) |
1.4.0 |
Tao 툴킷(이전 명칭: 학습 툴킷) |
3.0 |
ONTAP |
9.9.1 |
DGX OS |
5.1 |
생년월일 |
2.0.0 |
NVIDIA Riva 소프트웨어
| 소프트웨어 | 요구 사항 |
|---|---|
Docker 를 참조하십시오 |
>19.02(NVIDIA-Docker 설치 시) >=19.03(DGX를 사용하지 않는 경우 |
NVIDIA 드라이버 |
465.19.01 + 418.40+, 440.33+, 450.51+, 460.27+(데이터 센터 GPU용 |
컨테이너 OS |
Ubuntu 20.04 |
CUDA |
11.3.0 |
큐블라스 |
11.5.1.101 |
큐드NN |
8.2.0.41 |
NCCL |
2.9.6 |
TensorRT |
7.2.3.4 |
Triton Inference Server를 참조하십시오 |
2.9.0 |
NVIDIA TAO 툴킷 소프트웨어
| 소프트웨어 | 요구 사항 |
|---|---|
Ubuntu 18.04 LTS |
18.04 |
파이썬 |
>= 3.6.9 |
Docker-CE 를 참조하십시오 |
>19.03.5 |
Docker-API를 지원합니다 |
1.40 |
NVIDIA - 컨테이너 - 툴킷 |
>1.3.0-1 |
nvidia-container-runtime |
3.4.0-1 |
nVidia-docker2 |
2.5.0-1 |
nVidia - 드라이버 |
>455 |
Python-PIP |
>21.06 |
nVidia-pyindex |
최신 버전 |
사용 사례 세부 정보
이 솔루션은 다음과 같은 사용 사례에 적용됩니다.
-
텍스트 음성 변환
-
정서 분석
텍스트 음성 변환 사용 사례는 지원 센터의 오디오 파일을 수집하여 시작합니다. 그런 다음 이 오디오는 Riva가 요구하는 구조에 맞게 처리됩니다. 오디오 파일이 아직 분석 단위로 분할되지 않은 경우 Riva에 오디오를 전달하기 전에 이 작업을 수행해야 합니다. 오디오 파일이 처리되면 Riva 서버에 API 호출로 전달됩니다. 서버는 호스팅 중인 여러 모델 중 하나를 사용하고 응답을 반환합니다. 이 텍스트 음성 변환(자동 음성 인식의 일부)은 오디오의 텍스트 표현을 반환합니다. 여기서 파이프라인은 감정 분석 부분으로 전환됩니다.
감정 분석의 경우 자동 음성 인식의 텍스트 출력은 텍스트 분류에 대한 입력 역할을 합니다. 텍스트 분류는 텍스트를 다양한 범주로 분류하는 NVIDIA 구성 요소입니다. 지원 센터 대화의 경우 긍정적 범주에서 부정적 범주에 이르기까지 다양합니다. 미세 조정 단계의 성공을 결정하기 위해 홀드아웃 세트를 사용하여 모델의 성능을 평가할 수 있습니다.
TAO 툴키트의 텍스트 음성 및 정서 분석에 비슷한 파이프라인이 사용됩니다. 주요 차이점은 모델의 미세 조정에 필요한 라벨 사용입니다. TAO 툴킷 파이프라인은 데이터 파일 처리부터 시작합니다. 그런 다음 미리 훈련된 모델(에서 제공)을 사용합니다 "NVIDIA NGC 카탈로그")는 지원 센터 데이터를 사용하여 미세 조정됩니다. 미세 조정된 모델은 해당 성능 메트릭을 기준으로 평가되며, 사전 훈련된 모델보다 성능 기준에 더 적합한 경우 Riva 서버에 배포됩니다.