Apache Spark는 스트리밍 데이터를 처리할 수 있으며, 이 데이터는 스트리밍 추출, 변환 및 로드(ETL) 프로세스, 데이터 강화, 이벤트 감지 트리거, 복잡한 세션 분석에 사용됩니다.

스트리밍 데이터 구성, Confluent Kafka 검증 및 성능 테스트에 대한 자세한 내용은 다음을 참조하세요."TR-4912: NetApp 사용한 Confluent Kafka 계층형 스토리지에 대한 모범 사례 가이드라인" .

Spark 통합 프레임워크는 머신 러닝 라이브러리(MLlib)를 사용하여 데이터 세트에 대한 반복 쿼리를 실행하는 데 도움이 됩니다. MLlib은 예측 인텔리전스, 마케팅 목적을 위한 고객 세분화, 감정 분석 등 일반적인 빅데이터 기능에 대한 클러스터링, 분류, 차원 축소와 같은 분야에서 사용됩니다. MLlib은 네트워크 보안에서 악의적인 활동을 나타내는 데이터 패킷의 실시간 검사를 수행하는 데 사용됩니다. 보안 서비스 제공업체가 새로운 위협에 대해 알아내고 해커보다 앞서 나가는 동시에 실시간으로 고객을 보호하는 데 도움이 됩니다.

TensorFlow는 업계 전반에서 사용되는 인기 있는 딥 러닝 프레임워크입니다. TensorFlow는 CPU 또는 GPU 클러스터에서의 분산 학습을 지원합니다. 이 분산형 학습을 통해 사용자는 많은 심층 레이어가 있는 대량의 데이터에서 학습을 실행할 수 있습니다.

얼마 전까지만 해도 Apache Spark에서 TensorFlow를 사용하려면 PySpark에서 TensorFlow에 대한 모든 필수 ETL을 수행한 다음 중간 저장소에 데이터를 써야 했습니다. 그런 다음 해당 데이터는 실제 학습 과정을 위해 TensorFlow 클러스터에 로드됩니다. 이 워크플로를 사용하려면 사용자가 두 개의 서로 다른 클러스터를 유지해야 합니다. 하나는 ETL용이고 다른 하나는 TensorFlow의 분산 학습용입니다. 여러 개의 클러스터를 실행하고 유지 관리하는 일은 일반적으로 지루하고 시간이 많이 걸렸습니다.

이전 Spark 버전의 DataFrames와 RDD는 무작위 접근이 제한되어 있어 딥러닝에 적합하지 않았습니다. Spark 3.0과 Project Hydrogen에서는 딥러닝 프레임워크에 대한 기본 지원이 추가되었습니다. 이 접근 방식을 사용하면 Spark 클러스터에서 MapReduce 기반이 아닌 스케줄링이 가능합니다.

Apache Spark는 SQL, R, Python 등 Spark 이외의 개발 언어로 샘플링하지 않고도 탐색적 쿼리를 수행할 만큼 빠릅니다. Spark는 시각화 도구를 사용하여 복잡한 데이터를 처리하고 대화형으로 시각화합니다. 구조화된 스트리밍을 탑재한 Spark는 웹 분석에서 라이브 데이터에 대한 대화형 쿼리를 수행하여 웹 방문자의 현재 세션에 대한 대화형 쿼리를 실행할 수 있습니다.

수년에 걸쳐 추천 시스템은 우리 삶에 엄청난 변화를 가져왔습니다. 기업과 소비자는 온라인 쇼핑, 온라인 엔터테인먼트 등 여러 산업의 극적인 변화에 대응해 왔습니다. 실제로 이러한 시스템은 생산 현장에서 AI를 활용한 가장 확실한 성공 사례 중 하나입니다. 많은 실제 사용 사례에서 추천 시스템은 NLP 백엔드와 인터페이스된 대화형 AI 또는 챗봇과 결합되어 관련 정보를 얻고 유용한 추론을 생성합니다.

오늘날 많은 소매업체가 온라인에서 구매하고 매장에서 픽업하는 방식, 연석 픽업, 셀프 체크아웃, 스캔 앤 고 등 새로운 비즈니스 모델을 도입하고 있습니다. 이러한 모델은 소비자의 쇼핑을 더 안전하고 편리하게 만들어줌으로써 COVID-19 팬데믹 기간 동안 두각을 나타냈습니다. 소비자 행동에 영향을 받는 이러한 성장하는 디지털 트렌드에 AI는 매우 중요합니다. 소비자의 증가하는 요구를 충족하고, 고객 경험을 강화하고, 운영 효율성을 개선하고, 수익을 늘리기 위해 NetApp 기업 고객과 사업체가 머신 러닝과 딥 러닝 알고리즘을 사용하여 더 빠르고 정확한 추천 시스템을 설계할 수 있도록 지원합니다.

추천을 제공하는 데 사용되는 여러 가지 인기 있는 기술이 있는데, 여기에는 협업 필터링, 콘텐츠 기반 시스템, 딥러닝 추천 모델(DLRM), 하이브리드 기술이 포함됩니다. 이전에 고객들은 PySpark를 활용해 추천 시스템을 만드는 협업 필터링을 구현했습니다. Spark MLlib은 DLRM이 등장하기 전에 기업에서 매우 인기 있는 알고리즘인 협업 필터링을 위한 교대 최소 제곱법(ALS)을 구현합니다.

자연어 처리(NLP)를 통해 가능해진 대화형 AI는 컴퓨터가 인간과 소통하는 데 도움이 되는 AI의 한 분야입니다. NLP는 모든 산업 분야에서 널리 사용되고 있으며, 스마트 어시스턴트와 챗봇부터 Google 검색과 예측 텍스트에 이르기까지 다양한 사용 사례가 있습니다. 에 따르면 "가트너" 예측에 따르면 2022년까지 70%의 사람들이 매일 대화형 AI 플랫폼과 상호작용하게 될 것입니다. 인간과 기계가 고품질 대화를 하려면 응답이 빠르고, 지능적이며, 자연스럽게 들려야 합니다.

고객은 NLP 및 자동 음성 인식(ASR) 모델을 처리하고 훈련하기 위해 대량의 데이터가 필요합니다. 또한 엣지, 코어, 클라우드 전반에서 데이터를 이동해야 하며, 인간과 자연스러운 소통을 구축하기 위해 밀리초 단위로 추론을 수행할 수 있는 능력이 필요합니다. NetApp AI와 Apache Spark는 컴퓨팅, 스토리지, 데이터 처리, 모델 학습, 미세 조정 및 배포에 이상적인 조합입니다.

감정 분석은 NLP 내의 연구 분야로, 텍스트에서 긍정적, 부정적 또는 중립적 감정을 추출합니다. 감정 분석은 통화자와의 대화에서 지원 센터 직원의 성과를 파악하는 것부터 적절한 자동화된 챗봇 응답을 제공하는 것까지 다양한 사용 사례에 적용됩니다. 또한 분기별 실적 발표에서 회사 대표와 청중 간의 상호 작용을 기반으로 회사 주가를 예측하는 데 사용되었습니다. 더욱이, 감정 분석은 브랜드가 제공하는 제품, 서비스 또는 지원에 대한 고객의 견해를 파악하는 데 사용될 수 있습니다.

우리는 사용했다 "스파크 NLP" 도서관에서 "존 스노우 랩스" BERT(Transformers) 모델을 포함하여 사전 학습된 파이프라인 및 양방향 인코더 표현을 로드하려면 "금융 뉴스 감정" 그리고 "핀버트" 대규모로 토큰화, 명명된 엔터티 인식, 모델 학습, 피팅 및 감정 분석을 수행합니다. Spark NLP는 BERT, ALBERT, ELECTRA, XLNet, DistilBERT, RoBERTa, DeBERTa, XLM- RoBERTa, Longformer, ELMO, Universal Sentence Encoder, Google T5, MarianMT, GPT2와 같은 최첨단 변환기를 제공하는 유일한 오픈 소스 NLP 라이브러리입니다. 이 라이브러리는 Python과 R에서 작동할 뿐만 아니라 Apache Spark를 기본적으로 확장하여 JVM 생태계(Java, Scala, Kotlin)에서도 대규모로 작동합니다.