日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

TR-4886 : Lenovo ThinkSystem-解決策 Design を使用したエッジネットアップでの AI 推論

寄稿者

Lenovo 、 Miroslav Hodak 、 Sathish Thyagarajan 氏

まとめ

先進的なドライバーアシスタンスシステム( ADAS )、インダストリー 4.0 、スマートシティ、モノのインターネット( IoT )など、いくつかの新しいアプリケーションシナリオでは、ほぼゼロのレイテンシで継続的なデータストリームを処理する必要があります。このドキュメントでは、こうした要件を満たすエッジ環境のネットアップストレージコントローラと Lenovo ThinkSystem サーバに GPU ベースの人工知能( AI )推論を導入するためのコンピューティングとストレージのアーキテクチャについて説明します。また、このドキュメントでは、業界標準の MLPerf Inference ベンチマークのパフォーマンスデータも提供し、 NVIDIA T4 GPU を搭載したエッジサーバ上のさまざまな推論タスクを評価します。オフライン、単一ストリーム、マルチストリームの推論のシナリオのパフォーマンスを調査し、コスト効率の高い共有ネットワークストレージシステムを使用したアーキテクチャはハイパフォーマンスであり、複数のエッジサーバのデータとモデルを一元的に管理できることを示します。

はじめに

企業は、ネットワークエッジで大量のデータを生成するケースが増えています。スマートセンサーや IoT データから最大限の価値を引き出すために、企業はエッジコンピューティングを可能にするリアルタイムのイベントストリーミング解決策を求めています。そのため、データセンターの外部にあるエッジでは、処理能力の高い作業がますます実行されるようになっています。AI 推論は、この傾向の推進要因の 1 つです。特にアクセラレータを使用する場合は、エッジサーバがこれらのワークロードに十分な処理能力を発揮しますが、ストレージが制限されることが多いのは、特にマルチサーバ環境では問題です。このドキュメントでは、共有ストレージシステムをエッジ環境に導入する方法と、パフォーマンスに影響を与えずに AI 推論ワークロードにどのようなメリットがあるかを説明します。

このドキュメントでは、エッジでの AI 推論向けのリファレンスアーキテクチャについて説明します。複数の Lenovo ThinkSystem エッジサーバとネットアップストレージシステムを組み合わせることで、導入と管理が容易な解決策を構築これは、複数のカメラと産業用センサーを備えた工場フロア、小売取引における POS システム、自律走行車の視覚的な異常を識別するフル・セルフ・ドライビング( FSD )システムなど、さまざまな状況での実践的な展開のための基本ガイドとなることを目的としています。

本ドキュメントでは、 Lenovo ThinkSystem SE350 Edge Server とエントリレベルの NetApp AFF および EF シリーズストレージシステムで構成された、コンピューティングとストレージの構成のテストと検証について説明します。リファレンスアーキテクチャは、 AI 導入向けの効率的でコスト効率に優れた解決策を提供すると同時に、 NetApp ONTAP と NetApp SANtricity データ管理ソフトウェアを使用して、包括的なデータサービス、統合データプロテクション、シームレスな拡張性、クラウド対応データストレージを提供します。

対象読者

本ドキュメントは、次のような方を対象としています。

  • エッジで AI を生産するビジネスリーダーやエンタープライズアーキテクト。

  • データサイエンティスト、データエンジニア、 AI / 機械学習( ML )研究者、 AI システムの開発者

  • AI / ML モデルとアプリケーションの開発のためのソリューションを設計するエンタープライズアーキテクト。

  • ディープラーニング( DL )モデルや ML モデルを効率的に導入する方法を探しているデータサイエンティストと AI エンジニア。

  • エッジ推論モデルの導入と管理を担当するエッジデバイスマネージャとエッジサーバ管理者。

解決策アーキテクチャ

この Lenovo ThinkSystem サーバと NetApp ONTAP または NetApp SANtricity ストレージ解決策は、従来の CPU に加えて GPU の処理能力を使用して大規模なデータセットで AI 推論を処理するように設計されています。この検証では、次の 2 つの図に示すように、単一または複数の Lenovo SR350 エッジサーバを 1 つの NetApp AFF ストレージシステムと相互接続したアーキテクチャを使用して、パフォーマンスと最適なデータ管理を実現します。

エラー:グラフィックイメージがありません

エラー:グラフィックイメージがありません

次の図の論理アーキテクチャの概要は、このアーキテクチャのコンピューティング要素とストレージ要素の役割を示しています。具体的には、次の情報が表示されます。

  • カメラやセンサーなどから受信したデータを推論しているエッジコンピューティングデバイス。

  • 複数の用途に使用できる共有ストレージ要素:

    • 推論モデルや推論の実行に必要なその他のデータを一元的に格納できます。コンピューティングサーバはストレージに直接アクセスし、ネットワーク全体で推論モデルを使用します。ローカルにコピーする必要はありません。

    • 更新されたモデルはここにプッシュされます。

    • エッジサーバーが受信する入力データをアーカイブして、後で分析します。たとえば、エッジデバイスがカメラに接続されている場合、ストレージエレメントはカメラでキャプチャされたビデオを保持します。

エラー:グラフィックイメージがありません

Lenovo コンピューティングシステム

NetApp AFF ストレージシステム

カメラやセンサーなどからの入力で推論を実行するエッジデバイス。

推論モデルとエッジデバイスからのデータを保持する共有ストレージを使用して、後から分析することができます。

このネットアップと Lenovo 解決策は、主に次のようなメリットをもたらします。

  • エッジでの GPU アクセラレーションコンピューティング。

  • 共有ストレージからバックアップおよび管理される複数のエッジサーバの導入。

  • 堅牢なデータ保護により、データ損失ゼロで目標復旧時点( RPO )と目標復旧時間( RTO )を達成

  • NetApp Snapshot コピーとクローンでデータ管理を最適化し、開発ワークフローを合理化

このアーキテクチャの使用方法

本ドキュメントでは、提案アーキテクチャの設計とパフォーマンスを検証します。ただし、ネットアップでは、コンテナ、ワークロード、モデル管理、クラウドやデータセンターとのデータ同期など、特定のソフトウェアレベルの要素は導入シナリオに固有のものであるため、テストは実施していません。ここには複数の選択肢があります。

コンテナ管理レベルでは、 Kubernetes コンテナ管理が最適な選択肢であり、エンタープライズ環境に適した完全アップストリームバージョン( Canonical )または変更バージョン( Red Hat )のどちらでも十分にサポートされています。。 "NetApp AI コントロールプレーン" NetApp Trident と新たに追加された Trident を使用しています トレーサビリティ、データ管理機能、インターフェイス、ツールが組み込まれており、データサイエンティストやデータエンジニアはネットアップストレージと統合できます。Kubernetes 向け ML ツールキットである Kubeflow は、 TensorFlow サービスや NVIDIA Triton Inference Server などの複数のプラットフォームで、モデルのバージョン管理と KFServing をサポートするほか、 AI 機能も追加します。もう 1 つの選択肢は NVIDIA EGX プラットフォームです。このプラットフォームは、 GPU 対応 AI 推論コンテナのカタログにアクセスしながら、ワークロード管理を提供します。ただし、これらのオプションを使用するには、本番環境に移行するための多大な労力と専門知識が必要になる場合があります。また、サードパーティの独立系ソフトウェアベンダー( ISV )やコンサルタントの支援が必要になる場合もあります。

解決策エリア

AI 推論とエッジコンピューティングの主なメリットは、デバイスがレイテンシなしで高品質のデータを計算、処理、分析できることです。このドキュメントで説明するエッジコンピューティングのユースケースの例は非常に多くありますが、ここではいくつかの重要な例を示します。

自動車:自律走行車

従来のエッジコンピューティングの図は、自律走行車( AV )の先進ドライバーアシスタンスシステム( ADAS )にあります。ドライバーのいない自動車の AI は、カメラやセンサーからの大量のデータを迅速に処理して、安全性を強化する必要があります。物体と人間の間を解釈するのに時間がかかりすぎると、生命や死亡を意味することがあります。そのため、可能な限り車両の近くでそのデータを処理できることが重要です。この場合、 1 つ以上のエッジコンピュートサーバがカメラ、レーダー、 LiDAR などのセンサーからの入力を処理し、共有ストレージには推論モデルが保持されてセンサーからの入力データが格納されます。

ヘルスケア:患者のモニタリング

AI とエッジコンピューティングがもたらす最大の影響の 1 つは、在宅ケアと集中治療ユニット( ICU )の両方において、慢性疾患の患者の継続的なモニタリングを強化できることです。インスリンレベル、呼吸、神経学的活性、心リズム、および消化管機能をモニターするエッジデバイスからのデータは、患者の生命を救うための時間が限られているため、ただちに作用する必要のあるデータを瞬時に分析する必要があります。

小売:現金払い

エッジコンピューティングは AI と ML を強化することで、小売企業はチェックアウト時間を短縮し、足のトラフィックを増加させることができます。キャッシュレスシステムは、次のようなさまざまなコンポーネントをサポートします。

  • 認証とアクセス:物理的な買い物客を検証済みのアカウントに接続し、小売店のスペースへのアクセスを許可する。

  • インベントリの監視:センサー、 RFID タグ、コンピューター・ビジョン・システムを使用して、買い物客による商品の選択や選択解除を確認できます。

    ここで ' 各エッジ・サーバが各チェックアウト・カウンタを処理し ' 共有ストレージ・システムが中央の同期ポイントとして機能します

金融サービス:キオスクでの人間の安全と不正防止

銀行業界では、 AI とエッジコンピューティングを活用して、パーソナライズされた銀行業務を革新し、創出しています。リアルタイムのデータ分析と AI 推論を使用したインタラクティブなキオスクにより、 ATM は顧客がお金を引き出すのを支援できるだけでなく、カメラからキャプチャされた画像を介してキオスクをプロアクティブに監視し、人間の安全や不正行為に対するリスクを特定できるようになりました。このシナリオでは、エッジコンピューティングサーバと共有ストレージシステムが対話型のキオスクやカメラに接続されて、銀行が AI 推論モデルでデータを収集して処理できるようにします。

製造: Industry 4.0

産業革命の 4 つ目(インダストリー 4.0 )は、スマートファクトリーや 3D プリントなどの新たなトレンドとともに始まっています。データ主導の未来に備えるために、大規模な機械間( M2M )通信と IoT が統合されており、人間の介入なしに自動化を強化します。製造はすでに高度に自動化されており、 AI 機能の追加は長期的なトレンドの自然な流れを続けています。AI により、コンピュータビジョンやその他の AI 機能を活用して自動化できる運用を自動化できます。品質管理や、人間のビジョンや意思決定に依存するタスクを自動化して、工場の現場で組み立てライン上の材料を迅速に分析し、製造工場が必要とする ISO 規格の安全性と品質管理に適合できるようにすることができます。ここでは、各コンピュートエッジサーバが、製造プロセスを監視する一連のセンサーと、更新された推論モデルに必要に応じて共有ストレージにプッシュされます。

通信:地殻検出、タワー検査、およびネットワーク最適化

電気通信業界は、コンピュータビジョンと AI 技術を使用して、錆を自動的に検出し、腐食を含む基地局を特定する画像を処理しているため、さらなる検査が必要です。最近では、ドローン画像と AI モデルを使用して、塔の異なる領域を特定し、錆、表面の亀裂、腐食を分析しています。通信インフラやセルタワーを効率的に検査し、定期的に劣化を評価し、必要に応じて迅速に修復できる AI テクノロジの需要は高まり続けています。

さらに、通信業界で新たに登場したユースケースとして、 AI と ML のアルゴリズムを使用して、データトラフィックパターンの予測、 5G 対応デバイスの検出、 MIMO (複数入力 / 複数出力)エネルギー管理の自動化と強化が挙げられます。MIMO ハードウェアは、ネットワーク容量を増やすために無線タワーで使用されていますが、これには追加のエネルギーコストが伴います。セルサイトに導入された「 MIMO スリープモード」用の ML モデルは、無線機の効率的な使用を予測し、モバイルネットワークオペレータ( MNO )のエネルギー消費コストを削減するのに役立ちます。AI 推論とエッジコンピューティングのソリューションは、 MNO がデータセンターにやり取りするデータ量を削減し、 TCO を削減し、ネットワーク運用を最適化し、エンドユーザの全体的なパフォーマンスを向上させるのに役立ちます。