Skip to main content
NetApp Solutions
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Información general sobre la verificación de la solución

Colaboradores
PDF

En esta sección, hemos ejecutado consultas de prueba de SQL procedentes de diversas fuentes para verificar la funcionalidad, probar y verificar la transferencia al almacenamiento de NetApp.

Consulta SQL en almacenamiento de objetos

  1. Establezca la memoria en 250GB GB por servidor en dremio.env

    root@hadoopmaster:~# for i in hadoopmaster hadoopnode1 hadoopnode2 hadoopnode3 hadoopnode4; do ssh $i "hostname; grep -i  DREMIO_MAX_MEMORY_SIZE_MB /opt/dremio/conf/dremio-env; cat /proc/meminfo  | grep -i memtotal"; done
hadoopmaster
#DREMIO_MAX_MEMORY_SIZE_MB=120000
DREMIO_MAX_MEMORY_SIZE_MB=250000
MemTotal:       263515760 kB
hadoopnode1
#DREMIO_MAX_MEMORY_SIZE_MB=120000
DREMIO_MAX_MEMORY_SIZE_MB=250000
MemTotal:       263515860 kB
hadoopnode2
#DREMIO_MAX_MEMORY_SIZE_MB=120000
DREMIO_MAX_MEMORY_SIZE_MB=250000
MemTotal:       263515864 kB
hadoopnode3
#DREMIO_MAX_MEMORY_SIZE_MB=120000
DREMIO_MAX_MEMORY_SIZE_MB=250000
MemTotal:       264004556 kB
node4
#DREMIO_MAX_MEMORY_SIZE_MB=120000
DREMIO_MAX_MEMORY_SIZE_MB=250000
MemTotal:       263515484 kB
root@hadoopmaster:~#

  2. Compruebe la ubicación (${DREMIO_HOME}) en el archivo dremio.conf y los detalles de almacenamiento.

    paths: {
  # the local path for dremio to store data.
  local: ${DREMIO_HOME}"/dremiocache"

  # the distributed path Dremio data including job results, downloads, uploads, etc
  #dist: "hdfs://hadoopmaster:9000/dremiocache"
  dist: "dremioS3:///dremioconf"
}

services: {
  coordinator.enabled: true,
  coordinator.master.enabled: true,
  executor.enabled: false,
  flight.use_session_service: false
}

zookeeper: "10.63.150.130:2181,10.63.150.153:2181,10.63.150.151:2181"
services.coordinator.master.embedded-zookeeper.enabled: false

  3. Dirija la ubicación de Dremio al almacenamiento NFS de NetApp

    root@hadoopnode1:~# ls -ltrh /dremiocache
total 4.0K
drwx------ 3 nobody nogroup 4.0K Sep 13 16:00 spilling_stlrx2540m4-12-10g_45678
root@hadoopnode1:~# ls -ltrh /opt/dremio/dremiocache/
total 8.0K
drwxr-xr-x 3 dremio dremio 4.0K Aug 22 18:19 spill_old
drwxr-xr-x 4 dremio dremio 4.0K Aug 22 18:19 cm
lrwxrwxrwx 1 root   root     12 Aug 22 19:03 spill -> /dremiocache
root@hadoopnode1:~# ls -ltrh /dremiocache
total 4.0K
drwx------ 3 nobody nogroup 4.0K Sep 13 16:00 spilling_stlrx2540m4-12-10g_45678
root@hadoopnode1:~# df -h /dremiocache
Filesystem                              Size  Used Avail Use% Mounted on
10.63.150.159:/dremiocache_hadoopnode1  2.1T  209M  2.0T   1% /dremiocache
root@hadoopnode1:~#

  4. Seleccione el contexto. En nuestra prueba, ejecutamos la prueba contra los archivos de parquet generados por TPCDS que residen en ONTAP S3. Dremio Dashboard → SQL runner → Context → NetAppONTAPS3→Parquet1TB

establezca el contex en ontaps3 carpeta de parquet

  1. Ejecute el TPC-DS query67 desde el panel de Dremio

Ejecute la consulta 67, que es una de las 99 consultas en TPC-DS

  1. Compruebe que el trabajo se está ejecutando en todos los ejecutores. Cuadro de mandos de Dremio → jobs → <jobid> → raw profile → select EXTERNAL_SORT → Hostname

Lista de nodos de la consulta Q67

  1. Cuando se ejecuta la consulta SQL, puedes comprobar la carpeta de división para almacenar los datos en caché en el controlador de almacenamiento de NetApp.

    root@hadoopnode1:~# ls -ltrh /dremiocache
total 4.0K
drwx------ 3 nobody nogroup 4.0K Sep 13 16:00 spilling_stlrx2540m4-12-10g_45678
root@hadoopnode1:~# ls -ltrh /dremiocache/spilling_stlrx2540m4-12-10g_45678/
total 4.0K
drwxr-xr-x 2 root daemon 4.0K Sep 13 16:23 1726243167416

  2. La consulta SQL finalizó con el desbordamiento derrame los detalles cuando finalice la consulta 67

  3. Resumen de finalización de trabajo. Resumen del trabajo de la consulta completada 67

  4. Compruebe el tamaño de los datos desbordados detalles de los datos distribuidos del resultado de la consulta

El mismo procedimiento se aplica para el almacenamiento de objetos NAS y StorageGRID.