課題: NetApp独自の社内Active IQソリューションは、当初は多数のユースケースをサポートするように設計されていましたが、社内ユーザと顧客の両方に包括的なサービスを提供するように進化していました。しかし、基盤となるHadoop / MapRベースのバックエンドインフラには、データの急増と効率的なデータアクセスの必要性から、コストとパフォーマンスに関する課題がありました。ストレージを拡張すると、不要なコンピューティングリソースが追加され、コストが増加します。

さらに、Hadoopクラスタの管理には時間がかかり、特別な専門知識が必要でした。データのパフォーマンスと管理に問題があるため、クエリの所要時間は平均45分、設定ミスが原因でリソースが枯渇するなど、状況はさらに複雑になりました。これらの課題に対処するため、NetAppは既存の従来型Hadoop環境に代わる選択肢を模索し、Dremioを基盤とした最新のソリューションでコストの削減、ストレージとコンピューティングの分離、パフォーマンスの向上、データ管理の簡易化、きめ細かな制御、ディザスタリカバリ機能の提供を実現できることを判断しました。

ソリューション: Dremioにより、NetAppは段階的なアプローチでHadoopベースのデータインフラストラクチャを最新化し、統合分析のロードマップを提供できるようになりました。Data Processingの大幅な変更を必要とした他のベンダーとは異なり、Dremioは既存のパイプラインとシームレスに統合され、移行中の時間とコストを節約します。NetAppは、完全にコンテナ化された環境に移行することで、管理オーバーヘッドを削減し、セキュリティを強化し、耐障害性を強化します。DremioがApache IcebergやArrowのようなオープンエコシステムを採用したことで、将来を見据えた透明性と拡張性が確保された。

Hadoop / Hiveインフラの代替として、Dremioはセマンティックレイヤを通じてセカンダリユースケース向けの機能を提供しました。既存のSparkベースのETLとデータ取り込みメカニズムは残っていましたが、Dremioは重複することなくデータの検出と探索を容易にするための統合アクセスレイヤを提供しました。このアプローチにより、データレプリケーションの要素が大幅に削減され、ストレージとコンピューティングが分離されました。

メリット: NetAppは、Dremioを使用することで、データ環境のコンピューティング消費量とディスクスペース要件を最小限に抑えることで、大幅なコスト削減を達成しました。新しいActive IQデータレイクは、3ペタバイトのデータを格納する8、900個のテーブルで構成されています。これに対し、以前のインフラでは7ペタバイトを超えるデータが格納されていました。Dremioへの移行には、33個のミニクラスタと4、000コアからKubernetesクラスタ上の16個のExecutorノードへの移行も含まれていました。コンピューティングリソースが大幅に減少したにもかかわらず、NetAppではパフォーマンスが大幅に向上しました。Dremioを介してデータに直接アクセスすることで、クエリの実行時間が45分から2分に短縮され、予測に基づくメンテナンスと最適化のためのインサイト取得までの時間が95%短縮されました。また、コンピューティングコストを60%以上削減し、クエリを20倍以上高速化し、総所有コスト（TCO）を30%以上削減することもできました。

課題:このグローバルな自動車部品販売会社では、エグゼクティブおよび企業の財務計画および分析グループは、売上レポートの統合ビューを取得することができず、個 々 の事業部門の売上メトリックレポートを読み、それらを統合しようとすることを余儀なくされました。その結果、お客様は少なくとも1日前のデータを使用して意思決定を行うことになりました。新しい分析インサイトを取得するためのリードタイムは、通常4週間以上かかります。データパイプラインのトラブルシューティングにはさらに多くの時間が必要になり、すでに長いタイムラインにさらに3日以上かかることになります。レポート開発プロセスとレポートパフォーマンスの遅れにより、アナリストコミュニティは、新しいビジネスインサイトを見つけて新しいビジネス行動を促進するのではなく、データの処理やロードを継続的に待機する必要がありました。このような問題の多い環境では、業務部門ごとに異なる多数のデータベースが混在していたため、データサイロが多数発生していました。環境が低速で断片化しているため、データガバナンスが複雑化しています。1つの情報源ではなく、アナリストが独自の方法で真理を把握することが多すぎたためです。このアプローチでは、データプラットフォームと人員に190万ドル以上のコストがかかっています。従来のプラットフォームを維持し、データ要求に対応するには、年間7人のフィールドテクニカルエンジニア（FTE）が必要です。データの要求が増加しているため、データインテリジェンスチームは将来のニーズに合わせてレガシー環境を拡張することができませんでした。

ソリューション: NetAppオブジェクトストアで大規模なアイスバーグテーブルをコスト効率よく保存、管理できます。Dremioのセマンティックレイヤーを使用してデータドメインを構築し、ビジネスユーザーがデータ製品を簡単に作成、検索、共有できるようにします。

お客様にとってのメリット：•既存のデータアーキテクチャの改善と最適化、インサイト取得までの時間を4週間からわずか数時間に短縮•トラブルシューティング時間を3日からわずか数時間に短縮•データプラットフォームと管理コストを38万ドル以上削減•（2）FTEによるデータインテリジェンスの年間コスト削減