기존 Hadoop 구축에는 일반적으로 일반 하드웨어가 사용됩니다. 성능을 향상시키려면 네트워크, 운영 체제, Hadoop 클러스터, Spark와 같은 에코시스템 구성 요소 및 하드웨어를 조정해야 합니다. 각 계층을 튜닝하더라도 Hadoop은 사용자 환경에서 고성능을 발휘하도록 설계되지 않은 상용 하드웨어에서 실행되기 때문에 원하는 성능 수준을 달성하는 것이 어려울 수 있습니다.

정상적인 조건에서 상용 하드웨어는 장애가 발생하기 쉽습니다. 데이터 노드의 한 디스크에 장애가 발생하면 기본적으로 Hadoop 마스터는 해당 노드가 정상 상태가 아닌 것으로 간주합니다. 그런 다음 네트워크를 통해 해당 노드의 특정 데이터를 복제본에서 정상 노드로 복제합니다. 이 프로세스는 모든 Hadoop 작업에 대한 네트워크 패킷의 속도를 늦춥니다. 그런 다음, 정상적인 상태가 아닌 노드가 정상 상태가 될 때 클러스터가 데이터를 다시 복제하고 초과 복제된 데이터를 제거해야 합니다.

Hadoop 총판은 자체 버전 관리 기능을 통해 Hadoop을 직접 배포하며, 고객은 이 버전을 통해 해당 배포판에 종속됩니다. 그러나 많은 고객들은 특정 Hadoop 배포와 고객을 연계하지 않는 인메모리 분석에 대한 지원을 필요로 합니다. 따라서 고객이 원하는 대로 배포를 변경하고 분석을 실행할 수 있어야 합니다.

고객은 업무를 실행하기 위해 MapReduce Java 프로그램 외에 여러 언어에 대한 지원을 필요로 하는 경우가 많습니다. SQL 및 스크립트와 같은 옵션을 사용하면 답변을 보다 유연하게 얻고, 데이터를 구성 및 검색하는 더 많은 옵션을 사용할 수 있으며, 데이터를 분석 프레임워크로 신속하게 이동할 수 있습니다.

Hadoop을 사용하기 어렵다고 불만을 토로하는 사람들이 있습니다. 새로운 버전이 출시될 때마다 Hadoop이 더욱 단순해지고 강력해지기는 했지만 이러한 비판은 지속되었습니다. Hadoop을 사용하려면 Java 및 MapReduce 프로그래밍 패턴을 이해해야 합니다. 이는 데이터베이스 관리자와 기존 스크립팅 기술을 사용하는 사람들에게 어려운 과제입니다.

엔터프라이즈 AI 팀은 여러 가지 과제에 직면합니다. 전문 데이터 과학 지식을 갖추고 있더라도 다양한 구축 에코시스템과 애플리케이션을 위한 툴과 프레임워크에서 다른 에코시스템으로 변환되지 않을 수 있습니다. 데이터 과학 플랫폼은 Spark 기반의 해당 빅 데이터 플랫폼과 원활하게 통합되어야 하며, 간편한 데이터 이동, 재사용 가능 모델, 즉시 사용 가능한 코드, 프로토타입 제작, 검증, 버전 관리, 공유, 재사용, 운영 환경에 모델을 빠르게 구축할 수 있습니다.

Hadoop 스토리지 계층화를 사용하면 스토리지 정책에 따라 다양한 스토리지 유형의 파일을 저장할 수 있습니다. 스토리지 유형으로는 핫, 콜드, 웜, 올 SSD, 원 SSD 등이 있습니다. 그리고 게으른 유영이 있습니다.

NetApp AFF 스토리지 컨트롤러에서 Hadoop 스토리지 계층화를 검증하고 SSD 및 SAS 드라이브를 사용하는 E-Series 스토리지 컨트롤러를 다양한 스토리지 정책으로 수행했습니다. AFF-A800의 Spark 클러스터에는 4개의 컴퓨팅 작업자 노드가 있는 반면 E-Series를 사용하는 클러스터는 8개의 노드를 가지고 있습니다. 주로 SSD(Solid-State Drive)와 HDD(하드 드라이브 디스크)의 성능을 비교합니다.

다음 그림은 Hadoop SSD를 위한 NetApp 솔루션의 성능을 보여줍니다.

AFF 솔루션에서 Hadoop 클러스터의 컴퓨팅 성능이 더 많이 필요한 경우 적절한 수의 스토리지 컨트롤러를 사용하여 데이터 노드를 추가할 수 있습니다. 스토리지 컨트롤러 어레이당 4개의 데이터 노드로 시작하고 워크로드 특성에 따라 스토리지 컨트롤러당 8개의 데이터 노드로 숫자를 늘리는 것이 좋습니다.

AFF와 FAS는 데이터 이동 없는 분석에 적합합니다. 계산 요구사항에 따라 노드 관리자를 추가할 수 있으며 무중단 운영을 통해 다운타임 없이 스토리지 컨트롤러를 온디맨드 방식으로 추가할 수 있습니다. NetApp은 AFF NVMe 미디어 지원, 효율성 보장, 데이터 축소, QoS, 예측 분석, FAS 클라우드 계층화, 복제, 클라우드 구축, 보안 고객의 요구사항을 충족할 수 있도록 NetApp에서는 추가 라이센스 비용 없이 파일 시스템 분석, 할당량, 온박스 로드 밸런싱과 같은 기능을 제공합니다. NetApp은 동시 작업 수, 낮은 지연 시간, 단순한 운영, 경쟁업체보다 더 높은 초당 처리 성능 등의 이점을 제공합니다. 또한 NetApp Cloud Volumes ONTAP은 3가지 주요 클라우드 공급자 모두에서 실행됩니다.

스케일업 기능을 사용하면 스토리지 용량이 더 필요할 때 AFF, FAS, E-Series 시스템에 디스크 드라이브를 추가할 수 있습니다. Cloud Volumes ONTAP를 사용하면 자주 사용되지 않는 데이터를 블록 스토리지의 오브젝트 스토리지로 계층화하고, 추가 컴퓨팅 없이 Cloud Volumes ONTAP 라이센스를 스태킹하는 두 가지 요소의 조합으로 스토리지를 PB 수준으로 확장할 수 있습니다.

NetApp 시스템은 SAS, iSCSI, FCP, InfiniBand를 비롯한 대부분의 Hadoop 구현 프로토콜을 및 NFS 로 이동합니다.

이 문서에 설명된 Hadoop 솔루션은 NetApp에서 지원됩니다. 또한 이러한 솔루션은 주요 Hadoop 총판에서도 인증되었습니다. 자세한 내용은 "Hortonworks의" 사이트, Cloudera "인증" 및 "파트너" 사이트를 참조하십시오.