解决方案概述
混合 Iceberg Lakehouse 解决方案提供了独特的优势,以解决数据湖客户面临的客户挑战。通过利用 Dremio Unified Lakehouse 平台和NetApp ONTAP、 StorageGRID和NetApp Cloud 解决方案,公司可以为其业务运营增加显著的价值。该解决方案不仅可以访问包括NetApp源在内的多个数据源,还可以提高整体分析性能并帮助公司获得业务洞察力,从而促进业务增长。
NetApp概述
-
NetApp 的产品(例如ONTAP和StorageGRID)可实现存储和计算的分离,从而根据特定需求实现最佳资源利用率。这种灵活性使客户能够使用NetApp存储解决方案独立扩展其存储
-
通过利用 NetApp 的存储控制器,客户可以使用 NFS 和 S3 协议高效地向其矢量数据库提供数据。这些协议方便了客户数据存储和管理矢量数据库索引,从而无需通过文件和对象方法访问多个数据副本。
-
NetApp ONTAP为 AWS、Azure 和 Google Cloud 等领先的云服务提供商提供对 NAS 和对象存储的原生支持。这种广泛的兼容性确保了无缝集成,实现了客户数据移动性、全球可访问性、灾难恢复、动态可扩展性和高性能。
StorageGRID
我们行业领先的对象存储 storageGRID 提供了强大的策略引擎,用于自动放置数据、灵活的部署选项以及通过分层擦除编码实现的无与伦比的耐用性。它具有可扩展的架构,可在单个命名空间中支持数十亿个对象和 PB 级数据。该解决方案支持混合云集成,允许数据分层到主要云平台。它在 2019 年 IDC Marketscape 全球基于对象的供应商评估中被评为领导者。
此外,storageGRID 还擅长通过软件定义的对象存储、地理冗余和多站点功能大规模管理非结构化数据。它采用基于策略的信息生命周期管理,并提供镜像和搜索等云集成功能。它拥有多项认证,包括通用标准、NF203 数字安全组件、ISO/IEC 25051、毕马威和科哈塞特合规评估。
总之, NetApp storageGRID 提供强大的功能、可扩展性、混合云集成和合规性认证,可高效管理大规模非结构化数据。
NetApp ONTAP
NetApp ONTAP是一款强大的存储解决方案,可提供广泛的企业功能。它包括快照,可提供应用程序一致且防篡改的即时备份。 SnapRestore支持按需近乎即时地恢复备份,而SnapMirror提供集成的远程备份和灾难恢复功能。该解决方案还采用了自主勒索软件保护 (ARP),通过多管理员验证、具有 FIPS 认证的静态数据加密、传输中数据加密、多因素身份验证 (MFA) 和基于角色的访问控制 (RBAC) 等功能确保数据安全。全面的日志记录、审计、板载和外部密钥管理、安全清除以及多租户安全管理进一步增强了数据安全性和合规性。
NetApp ONTAP还具有SnapLock功能,它以较低的总拥有成本提供符合法规的数据保留,具有高水平的完整性、性能和保留。它与NetApp ONTAP 9 完全集成,并提供针对恶意行为、恶意管理员和勒索软件的保护。
该解决方案包括用于动态数据和静态数据加密的 NSE/NVE 加密、多因素管理访问和多管理验证。 Active IQ提供基于 AI 的预测分析和纠正措施,而 QoS 确保服务质量工作负载控制。通过 SysMgr/GUI/CLI/API 可以直观地实现管理和自动化集成。 FabricPool支持自动数据分层,该解决方案通过内联数据压缩、重复数据删除和压缩提供效率。 NetApp保证满足工作负载效率目标,且客户无需承担任何费用。
NetApp ONTAP支持各种协议,包括 NVMe/FC、FC、NVMe/TCP、iSCSI、NFS、SMB 和 S3,使其成为统一的存储解决方案。总体而言, NetApp ONTAP提供广泛的企业功能、强大的安全性、合规性、效率和多功能性,以满足多样化的存储需求。
Dremio 概述
Dremio 是用于自助分析和人工智能的统一 Lakehouse 平台。 Dremio 统一分析平台凭借 Lakehouse 的灵活性、可扩展性和性能,让用户更接近数据,而成本仅为传统数据仓库解决方案的一小部分。 Dremio 支持“左移”分析,以消除复杂且昂贵的数据集成和 ETL,提供无需数据移动的无缝企业级分析。 Dremio 还具有以下特点:
-
通过通用语义层和紧密集成的高性能 SQL 查询引擎实现易于使用的自助服务分析,从而更轻松地连接、管理和分析云端和本地的所有数据。
-
Dremio 的 Apache Iceberg 原生 Lakehouse 管理功能简化了数据发现,并自动化了数据优化,通过受 Git 启发的数据版本控制提供高性能分析。
-
Dremio 建立在开源和开放标准的基础之上,帮助企业避免锁定并保持创新优势。企业公司信赖 Dremio,认为它是最易于使用的 Lakehouse 平台,在所有工作负载下都具有最佳的性价比。
Dremio 和NetApp混合 Iceberg Lakehouse 解决方案为客户带来什么价值?
-
改进的数据管理和可访问性:Dremio 以其数据湖平台而闻名,该平台使组织能够直接从其数据湖中高速查询数据。另一方面, NetApp是云数据服务和数据存储解决方案的领先提供商。该联合产品为客户提供了一套全面的解决方案,用于高效地存储、管理、访问和分析其企业的数据。
-
性能优化:凭借 NetApp 在数据存储方面的专业知识以及 Dremio 在数据处理和数据优化方面的能力,该合作伙伴关系提供了一种解决方案,可以提高数据操作的性能,减少延迟,并提高业务洞察的速度。 Dremio 甚至为 NetApp 自己的内部 IT 分析基础设施带来了性能优势。
-
可扩展性:Dremio 和NetApp都提供了可扩展的解决方案。该联合解决方案为客户提供高度可扩展的数据存储、数据管理和分析环境。在混合 Iceberg Lakehouse 环境中,Dremio SQL 查询引擎与NetApp StorageGRID配对,提供无与伦比的可扩展性、并发性和查询性能,能够满足任何业务的分析需求。
-
数据安全和治理:两家公司都非常重视数据安全和治理。它们共同提供强大的安全和数据治理功能,确保数据受到保护并且满足数据治理要求。基于角色和细粒度的访问控制、全面审计、端到端数据沿袭、统一身份管理以及具有广泛合规性和安全框架的 SSO 等功能可确保公司的分析数据环境安全且受到管理。
-
成本效益:通过将 Dremio 的数据湖引擎与 NetApp 的存储解决方案相结合,客户可以降低与数据管理和数据移动相关的成本。组织还能够从传统的数据湖环境迁移到由NetApp和 Dremio 组成的更现代的 Lakehouse 解决方案。该混合 Iceberg Lakehouse 解决方案提供高速查询性能和市场领先的查询并发性,可降低 TCO 并缩短业务洞察时间。