솔루션 개요
이 아키텍처에서 초점은 AI 또는 머신 러닝(ML) 분산 훈련 프로세스 중 가장 컴퓨팅 집약적인 레인 감지 프로세스에 있습니다. 차선 감지는 자동 주행에서 가장 중요한 작업 중 하나로서, 차선 표시를 현지화함으로써 차량을 인도하는 데 도움이 됩니다. 차선 표시와 같은 정적 구성 요소는 차량이 고속도로를 대화식으로 안전하게 주행하도록 안내합니다.
합성신경망(CNN) 기반 접근 방식은 장면에 대한 이해와 세그멘테이션을 새로운 차원으로 끌어올려 왔습니다. 폐쇄될 수 있는 긴 구조 및 영역(예: 폴, 차선의 음영 등)이 있는 물체에는 이 기능이 제대로 작동하지 않습니다. 공간 컨벌루ional Neural Network(SCNN)는 CNN을 풍부한 공간 수준으로 일반화합니다. 동일한 레이어에서 뉴런 간에 정보를 전달할 수 있으므로 폐색이 있는 레인, 폴 또는 트럭과 같은 구조적 개체에 가장 적합합니다. 이러한 호환성은 공간 정보를 보강할 수 있고 매끄러움과 지속성을 유지하기 때문입니다.
모델이 데이터세트의 다양한 구성 요소를 학습하고 구분할 수 있도록 시스템에 수천 개의 화면 이미지를 삽입해야 합니다. 이러한 이미지에는 날씨, 주간 또는 야간, 다차선 고속도로 도로 및 기타 교통 상황이 포함됩니다.
교육에는 양질의 데이터와 많은 양의 데이터가 필요합니다. 단일 GPU 또는 여러 GPU를 사용하여 교육을 완료하는 데 며칠~몇 주가 걸릴 수 있습니다. 데이터 분산 교육을 통해 여러 노드 및 GPU를 사용하여 프로세스를 가속화할 수 있습니다. Horovod는 분산 교육을 제공하지만 GPU 클러스터 간에 데이터를 읽는 것이 방해가 될 수 있는 프레임워크 중 하나입니다. Azure NetApp Files은 컴퓨팅 용량의 최고에 GPU를 활용할 수 있도록 초고속, 높은 처리량, 지속적으로 짧은 지연 시간을 제공합니다. 이번 실험에서 클러스터 전체의 모든 GPU가 SCNN을 사용하여 차선 감지를 교육하기 위해 평균 96% 이상 사용되고 있다는 것을 확인했습니다.
대상
데이터 과학은 IT 및 비즈니스 분야의 여러 분야를 통합하므로 여러 페르소나가 대상 고객을 대상으로 합니다.
-
데이터 과학자는 자신이 선택한 도구와 라이브러리를 사용할 수 있는 유연성이 필요합니다.
-
데이터 엔지니어는 데이터 흐름과 데이터 위치를 알아야 합니다.
-
자율 주행 사용 사례 전문가
-
클라우드 관리자 및 설계자는 Azure(클라우드) 리소스를 설정하고 관리합니다.
-
DevOps 엔지니어는 새로운 AI/ML 애플리케이션을 CI/CD(Continuous Integration and Continuous Deployment) 파이프라인에 통합하는 툴을 필요로 합니다.
-
비즈니스 사용자는 AI/ML 애플리케이션에 액세스할 수 있기를 원합니다.
이 문서에서는 Azure NetApp Files, RUN:AI 및 Microsoft Azure가 각 역할이 비즈니스에 제공하는 데 어떤 도움이 되는지 설명합니다.
솔루션 기술
이 섹션에서는 Azure 클라우드에서 완벽하게 실행되는 분산 교육 솔루션을 구현하여 레인 감지 사용 사례에 대한 기술 요구 사항을 다룹니다. 아래 그림은 솔루션 아키텍처를 간략하게 보여 줍니다.
이 솔루션에 사용되는 요소는 다음과 같습니다.
-
Azure Kubernetes 서비스(AKS)
-
NVIDIA GPU를 사용하는 Azure Compute SKU
-
Azure NetApp Files
-
실행: AI
-
NetApp 트라이던트
여기에 언급된 모든 요소에 대한 링크는 에 나와 있습니다 "추가 정보" 섹션을 참조하십시오.
클라우드 리소스 및 서비스 요구사항
다음 표에는 솔루션을 구현하는 데 필요한 하드웨어 구성요소가 나와 있습니다. 솔루션 구현에 사용되는 클라우드 구성요소는 고객 요구사항에 따라 다를 수 있습니다.
클라우드 | 수량 |
---|---|
AKS |
최소 3개의 시스템 노드 및 3개의 GPU 작업자 노드 |
가상 머신(VM) SKU 시스템 노드입니다 |
Standard_DS2_v2 3개 |
VM SKU GPU 작업자 노드입니다 |
표준 _NC6s_v3 3개 |
Azure NetApp Files |
4TB 표준 계층 |
소프트웨어 요구 사항
다음 표에는 솔루션을 구현하는 데 필요한 소프트웨어 구성요소가 나와 있습니다. 솔루션 구현에 사용되는 소프트웨어 구성요소는 고객 요구사항에 따라 다를 수 있습니다.
소프트웨어 | 버전 또는 기타 정보 |
---|---|
AKS - Kubernetes 버전 |
1.18.14 |
실행: AI CLI |
v2.2.25 |
실행: AI Orchestration Kubernetes Operator version |
1.0.109 |
호로브 |
0.21.2 |
NetApp 트라이던트 |
20.01.1 |
헬름 |
3.0.0 |