アーキテクチャ
このサポートセンターの解決策のアーキテクチャは、 NVIDIA が構築したツールと NetApp DataOps ツールキットを中心にしています。NVIDIA のツールを使用すると、構築済みのモデルとパイプラインを使用して、ハイパフォーマンスな AI ソリューションを迅速に導入できます。NetApp DataOps ツールキットにより、さまざまなデータ管理タスクが簡易化され、開発期間が短縮されます。
解決策テクノロジ
"NVIDIA RIVA" GPU でリアルタイムのパフォーマンスを実現する、マルチモーダルな会話型 AI アプリケーションを構築するための GPU アクセラレーション対応 SDK です。NVIDIA Train 、 Adapt 、 Optimize ( TAO )ツールキットは、トレーニングを高速化し、高精度で高性能なドメイン固有の AI モデルをすばやく簡単に作成する方法を提供します。
NetApp DataOps ツールキットは Python ライブラリで、開発者、データサイエンティスト、 DevOps エンジニア、データエンジニアはさまざまなデータ管理タスクを簡単に実行できます。これには、新しいデータボリュームまたは JupyterLab ワークスペースのほぼ瞬時のプロビジョニング、データボリュームまたは JupyterLab ワークスペースのほぼ瞬時のクローニング、データボリュームまたは JupyterLab ワークスペースのほぼ瞬時の Snapshot コピーによるトレーサビリティとベースライン設定が含まれます。
アーキテクチャ図
次の図は、解決策のアーキテクチャを示しています。環境には、クラウド、コア、エッジの 3 つのカテゴリがあります。各カテゴリは地理的に分散させることができます。たとえば、クラウドにはさまざまなリージョンのバケットにオーディオファイルが格納されたオブジェクトストアが含まれていますが、コアには高速ネットワークやNetApp BlueXPのコピーと同期でリンクされたデータセンターが含まれている場合があります。エッジノードは、ヒューマンエージェントの日常的な作業プラットフォームを表しています。このプラットフォームでは、対話型ダッシュボードツールとマイクを使用して感情を視覚化したり、顧客との会話から音声データを収集したりできます。
GPU によって高速化されたデータセンターでは、 NVIDIA を使用できます "リバ" 会話型 AI アプリケーションを構築するためのフレームワーク。それには、があります "Tao ツールキット" Transfer L ラーニング技術を使用して、モデルのフィニッチニングと再トレーニングを接続します。これらのコンピューティングアプリケーションとワークフローは、を基盤としています "NetApp DataOps ツールキット"ONTAP が提供する最高のデータ管理機能を実現します。このツールキットを使用すると、企業のデータチームは、スナップショットやクローンを使用して、構造化データと非構造化データでモデルのプロトタイプを迅速に作成できるため、トレーサビリティ、バージョン管理、 A/B テストを実現し、セキュリティ、ガバナンス、 コンプライアンスを実現できます。を参照してください "ストレージ設計" 詳細:
この解決策では、オーディオファイル処理、 NLP モデルトレーニング、トランスファーラーニング、およびデータ管理の詳細な手順について説明します。最終的なパイプラインが生成され、ヒューマンサポートエージェントのダッシュボードにリアルタイムで表示されるセンチメントの概要が生成されます。
ハードウェア要件
次の表に、解決策の実装に必要なハードウェアコンポーネントを示します。解決策の特定の実装で使用されるハードウェアコンポーネントは、お客様の要件に応じて異なる場合があります。
応答遅延テスト | 時間(ミリ秒) |
---|---|
データ処理 |
10. |
推論 |
10. |
この応答時間テストは、 560 の会話で 50,000 以上のオーディオファイルで実行されました。各オーディオファイルのサイズは、 MP3 の場合は約 100 KB 、 WAV の場合は約 1 MB でした。データ処理手順では、 MP3 を WAV ファイルに変換します。推論の手順では、オーディオファイルをテキストに変換し、テキストから感情を抽出します。これらのステップは互いに独立しており、並列化することでプロセスを高速化できます。
ストア間でのデータ転送の遅延を考慮すると、マネージャは、文章の最後の 2 番目の時間内にリアルタイムの感情分析の更新を確認できるようになります。
NVIDIA Riva ハードウェア
ハードウェア | 要件 |
---|---|
OS |
Linux x86_64 |
GPU メモリ( ASR ) |
ストリーミングモデル:最大 5600 MB の非ストリーミングモデル:約 3100 MB |
GPU メモリ( NLP ) |
1 つの BERT モデルで最大 500MB |
NVIDIA TAO ツールキットハードウェア
ハードウェア | 要件 |
---|---|
システム RAM |
32 GB |
GPU RAM |
32 GB |
CPU |
8 コア |
GPU |
NVIDIA ( A100 、 V100 、 RTX 30x0 ) |
SSD の場合 |
100GB |
フラッシュストレージシステム
NetApp ONTAP 9.
ネットアップの最新世代のストレージ管理ソフトウェア ONTAP 9.9 は、インフラの刷新とクラウド対応データセンターへの移行を可能にします。ONTAP は、業界をリードするデータ管理機能を活用して、データの格納場所に関係なく、単一のツールセットでデータの管理と保護を実現します。エッジ、コア、クラウドなど、必要な場所に自由にデータを移動することもできます。ONTAP 9.9 には、データ管理を簡素化し、重要なデータを高速化および保護し、ハイブリッドクラウドアーキテクチャ全体で次世代のインフラ機能を実現する、多数の機能が含まれています。
NetApp BlueXPのコピーと同期
"BlueXPのコピーと同期" は、高速でセキュアなデータ同期を実現するネットアップのサービスです。オンプレミスの NFS または SMB ファイル共有間で、次のいずれかのターゲットにファイルを転送できます。
-
NetApp StorageGRID
-
NetApp ONTAP S3
-
Google Cloud NetAppボリューム
-
Azure NetApp Files の特長
-
Amazon Simple Storage Service ( Amazon S3 )
-
Amazon Elastic File System ( Amazon EFS )
-
Azure Blob の略
-
Google クラウドストレージ
-
IBM クラウドオブジェクトストレージ
BlueXPのCopy and Syncは、必要な場所に迅速かつ安全にファイルを移動します。転送されたデータは、ソースとターゲットの両方で完全に使用できます。BlueXPのCopy and Syncは、事前定義されたスケジュールに基づいてデータを継続的に同期し、差分のみを移動するため、データレプリケーションにかかる時間とコストを最小限に抑えることができます。BlueXPのCopy and Syncは、セットアップと使用が簡単なソフトウェアサービス(SaaS)ツールです。BlueXPのCopyとSyncによってトリガーされるデータ転送は、データブローカーによって実行されます。BlueXPのCopy and Syncデータブローカーは、AWS、Azure、Google Cloud Platform、オンプレミスに導入できます。
NetApp StorageGRID
StorageGRID の Software-Defined オブジェクトストレージスイートは、パブリッククラウド、プライベートクラウド、ハイブリッドマルチクラウド環境のすべてをシームレスにサポートし、幅広いユースケースに対応しています。業界をリードするイノベーションにより、 NetApp StorageGRID は、非構造化データを長期にわたって自動化されたライフサイクル管理などの多目的に保管、保護、保管します。詳細については、サイトを参照して "NetApp StorageGRID"ください。
ソフトウェア要件
次の表に、この解決策を実装するために必要なソフトウェアコンポーネントを示します。解決策の特定の実装で使用されるソフトウェアコンポーネントは、お客様の要件に応じて異なる場合があります。
ホストマシン | 要件 |
---|---|
Riva ( 以前の開発コード名 Jarv) |
1.4.0 |
Tao ツールキット ( 以前の Transfer Learning Toolkit) |
3.0 |
ONTAP |
9.9.1 |
DGX OS |
5.1 |
DTK |
2.0.0 |
NVIDIA Riva ソフトウェア
ソフトウェア | 要件 |
---|---|
Docker です |
>19.02 ( NVIDIA - Docker をインストール済み) >=19.03 ( DGX を使用していない場合 |
NVIDIA ドライバ |
465.19.01 + 418.40 + 、 440.33 + 、 450.51 + 、 460.27 + (データセンターの GPU の場合 |
コンテナ OS |
Ubuntu 20.04 |
CUDA ( CUDA |
11.3.0 |
cuBLAS |
11.5.1.101 |
cuDNN |
8.2.0.41 |
NCCL |
2.9.6 |
TensorRT |
7.2.3.4. |
Triton Inference サーバ |
2.9.0 |
NVIDIA TAO ツールキットソフトウェア
ソフトウェア | 要件 |
---|---|
Ubuntu 18.04 LTS |
18.04 |
Python |
3.6.9 以上 |
Docker - CE |
19.03.5 |
Docker - API |
1.40 |
nvidia -container-toolkit |
>1.3.0-1 |
nvidia Container - ランタイム |
3.4.0 -1 |
nvidia - docker2 |
2.5.0-1 |
nVidia ドライバ |
> 455 |
python-pip |
>21.06 |
nvidia -pyindex |
最新バージョン |
ユースケースの詳細
この解決策環境のユースケースは次のとおりです。
-
音声テキスト
-
感情分析
音声テキスト変換のユースケースは、まずサポートセンターの音声ファイルを取り込むことから始まります。このオーディオは、 Riva が必要とする構造に合わせて処理されます。オーディオファイルが解析単位に分割されていない場合は、オーディオを Riva に渡す前にこれを行う必要があります。オーディオファイルが処理されると、 API 呼び出しとして Riva サーバーに渡されます。サーバは、ホスティングしている多くのモデルの 1 つを採用し、応答を返します。この音声 / テキスト(自動音声認識の一部)は、音声のテキスト表現を返します。そこから、パイプラインはセンチメント分析部分に切り替わります。
感情分析では、自動音声認識からのテキスト出力がテキスト分類への入力として機能します。Text Classification は、任意の数のカテゴリにテキストを分類するための NVIDIA コンポーネントです。サポートセンターとの会話では、感情のカテゴリがプラスからマイナスになります。モデルのパフォーマンスは、ホールドアウトセットを使用して、微調整ステップの成功を判断することができます。
TAO ツールキット内の音声テキスト分析と感情分析にも、同様のパイプラインが使用されています。主な違いは、モデルの微調整に必要なラベルの使用です。TAO ツールキットパイプラインは、データファイルの処理から始まります。次に、事前にトレーニングされたモデル(から入手可能 "NVIDIA NGC カタログ")は、サポートセンターのデータを使用して微調整されます。微調整されたモデルは、対応するパフォーマンス指標に基づいて評価され、事前トレーニングされたモデルよりもパフォーマンスが高い場合は、 Riva サーバに導入されます。