Publicamos "TR-4910: Análisis de sentimiento en las comunicaciones de los clientes con IA de NetApp", En el que se ha creado una canalización de IA conversacional integral con el "Kit de herramientas de operaciones de datos de NetApp", Almacenamiento AFF y NVIDIA DGX System. La canalización realiza el procesamiento de señales de audio por lotes, el reconocimiento automático de voz (ASR), el aprendizaje de transferencia y el análisis de sentimiento con el conjunto de herramientas DataOPS, "SDK de NVIDIA Riva", y la "Marco Tao". Ampliando el caso de uso del análisis de sentimiento al sector de los servicios financieros, construimos un flujo de trabajo SparkNLP, cargamos tres modelos BERT para diversas tareas de NLP, como el reconocimiento de entidades con nombre, y obtuvimos un sentimiento a nivel de frase para las llamadas trimestrales de beneficios de las empresas incluidas en el NASDAQ Top 10.

El siguiente script sentiment_analysis_spark. py Utiliza el modelo FinBERT para procesar transcripciones en HDFS y producir recuentos de sentimientos positivos, neutros y negativos, como se muestra en la siguiente tabla:

En la tabla siguiente se enumera el análisis del sentimiento de «llamada a los beneficios» a nivel de frase de las empresas NASDAQ Top 10 de 2016 a 2020.

En términos de porcentajes, la mayoría de las sentencias pronunciadas por los CEOs y CFO son fácticas y, por lo tanto, tienen un sentimiento neutral. Durante una llamada de beneficios, los analistas hacen preguntas que podrían transmitir un sentimiento positivo o negativo. Vale la pena investigar cuantitativamente cómo la confianza negativa o positiva afecta los precios de las acciones el mismo día o día siguiente de las operaciones.

En la siguiente tabla se enumera el análisis de sentimiento a nivel de frase para las empresas NASDAQ Top 10, expresado en porcentaje.

En cuanto al tiempo de ejecución del flujo de trabajo, observamos una mejora significativa de 4.78x con respecto a local Mode a un entorno distribuido en HDFS y una mejora adicional del 0.14 % gracias al aprovechamiento de NFS.

Como se muestra en la siguiente figura, el paralelismo de datos y modelos mejoró el procesamiento de datos y la velocidad de inferencia del modelo TensorFlow distribuido. La ubicación de los datos en NFS produjo un tiempo de ejecución ligeramente mejor porque el cuello de botella del flujo de trabajo es la descarga de modelos preentrenados. Si aumentamos el tamaño de los conjuntos de datos de transcripciones, la ventaja de NFS es más evidente.

El siguiente comando produjo información de tiempo de ejecución y un archivo de registro en nuestro clúster de Spark mediante una sola master nodo con 160 ejecutores cada uno con un núcleo. La memoria del ejecutor estaba limitada a 5 GB para evitar errores de memoria insuficiente. Consulte la sección "“Guiones de Python para cada caso de uso principal”" para obtener más información sobre el procesamiento de datos, el entrenamiento de modelos y el cálculo de precisión de modelos en keras_spark_horovod_rossmann_estimator.py.

El tiempo de ejecución resultante con diez épocas de entrenamiento fue el siguiente:

Se necesitaron más de 43 minutos para procesar datos de entrada, entrenar un modelo DNN, calcular la precisión y generar puntos de control TensorFlow y un archivo CSV para resultados de predicción. Limitamos el número de épocas de entrenamiento a 10, que en la práctica a menudo se establece a 100 para garantizar una precisión satisfactoria del modelo. El tiempo de entrenamiento se escala linealmente con el número de épocas.

A continuación, utilizamos los cuatro nodos de trabajo disponibles en el clúster y ejecutamos el mismo script en yarn Modo con datos en HDFS:

El tiempo de ejecución resultante se mejoró de la siguiente manera:

Con el modelo y paralelismo de datos de Horovod en Spark, vimos una aceleración del tiempo de ejecución de 5.29x de yarn vs local modo con diez épocas de entrenamiento. Se muestra en la siguiente figura con las leyendas HDFS y.. Local. El entrenamiento del modelo TensorFlow DNN subyacente puede acelerarse más con GPU, si está disponible. Tenemos pensado llevar a cabo estas pruebas y publicar los resultados en un futuro informe técnico.

En nuestra siguiente prueba se compararon los tiempos de ejecución con los datos de entrada almacenados en NFS frente a HDFS. Se montó el volumen NFS en el AFF A800 /sparkdemo/horovod En los cinco nodos (un maestro, cuatro trabajadores) de nuestro clúster de Spark. Hicimos un comando similar al de pruebas anteriores, con el --data- dir Ahora el parámetro señala el montaje NFS:

El tiempo de ejecución resultante con NFS fue el siguiente:

Hubo otro 1,3x de aceleración, como se muestra en la siguiente figura. Por lo tanto, con un almacenamiento all-flash de NetApp conectado a su clúster, los clientes disfrutan de las ventajas de una transferencia y distribución de datos rápidas para flujos de trabajo de Horovod Spark, obteniendo una aceleración de 7,55 veces superior en comparación con ejecutarse en un único nodo.

Para sistemas de recomendación diseñados para maximizar CTR, debe aprender sofisticadas interacciones de funciones detrás de comportamientos de usuario que se pueden calcular matemáticamente desde orden bajo hasta orden alto. Tanto las interacciones de funciones de bajo orden como las de alto nivel deben ser igualmente importantes para un buen modelo de aprendizaje profundo sin orientarse hacia uno o hacia otro. DeepFM, una red neuronal basada en máquinas para la factorización profunda, combina máquinas de factorización para recomendaciones y aprendizaje profundo para el aprendizaje de funciones en una nueva arquitectura de redes neuronales.

Aunque las máquinas de factorización convencionales modelan las interacciones de funciones emparejadas como producto interno de vectores latentes entre las características y pueden teóricamente capturar información de alto orden, en la práctica, los profesionales de aprendizaje automático normalmente solo utilizan interacciones de funciones de segundo orden debido a la alta complejidad del almacenamiento y la computación. Variantes de redes neuronales profundas como las de Google "Modelos amplios profundos" por otro lado, aprende sofisticadas interacciones de características en una estructura de red híbrida combinando un modelo lineal amplio y un modelo profundo.

Hay dos entradas para este modelo ancho y profundo, uno para el modelo ancho subyacente y el otro para el profundo, la última parte de la cual todavía requiere ingeniería de características expertas y por lo tanto hace la técnica menos generalizable a otros dominios. A diferencia del modelo ancho y profundo, DeepFM puede ser entrenado eficientemente con características RAW sin ninguna ingeniería de características porque su gran parte y la parte profunda comparten la misma entrada y el vector de incrustación.

Primero procesamos el Criteo train.txt (11 GB) en un archivo CSV denominado ctr_train.csv Almacenados en un montaje NFS /sparkdemo/tr-4570-data uso run_classification_criteo_spark.py de la sección "“Guiones de Python para cada caso de uso principal”." Dentro de este script, la función process_input_file realiza varios métodos de cadena para quitar fichas e insertar ‘,’ como delimitador y. ‘\n’ como nueva línea. Tenga en cuenta que sólo necesita procesar el original train.txt una vez, para que el bloque de código se muestre como comentarios.

Para las siguientes pruebas de distintos modelos de aprendizaje profundo, utilizamos ctr_train.csv como archivo de entrada. En las pruebas posteriores, el archivo CSV de entrada se leyó en un Spark DataFrame con un esquema que contiene un campo de ‘label’, funciones densas de enteros ['I1', 'I2', 'I3', …, 'I13'], y las características dispersas ['C1', 'C2', 'C3', …, 'C26']. Lo siguiente spark-submit El comando toma en una entrada CSV, entrena modelos DeepFM con 20% de división para validación cruzada y elige el mejor modelo después de diez épocas de entrenamiento para calcular la precisión de predicción en el conjunto de pruebas:

Tenga en cuenta que desde el archivo de datos ctr_train.csv Es superior a 11 GB, debe establecer un valor suficiente spark.driver.maxResultSize mayor que el tamaño del conjunto de datos para evitar errores.

En el anterior SparkSession.builder la configuración también está activada "Flecha Apache", Que convierte un DataFrame de Spark en un DataFrame de Pandas con el df.toPandas() método.

Tras la división aleatoria, hay más de 36 M de filas en el conjunto de datos de entrenamiento y 9M de muestras en el conjunto de pruebas:

Dado que este informe técnico se centra en las pruebas de CPU sin utilizar ninguna GPU, es imprescindible crear TensorFlow con indicadores adecuados del compilador. Este paso evita llamar a bibliotecas aceleradas por GPU y aprovecha al máximo las instrucciones de TensorFlow Advanced Vector Extensions (AVX) y AVX2. Estas características están diseñadas para cálculos algebraicos lineales como adición vectorizada, multiplicaciones de matrices dentro de un avance de alimentación o entrenamiento DNN de reproducción posterior. La instrucción Multiply Add (FMA) fusionada disponible con AVX2 utilizando registros de coma flotante de 256 bits (FP) es ideal para código entero y tipos de datos, lo que da como resultado una aceleración de hasta dos veces. En lo que respecta a los tipos de datos y código FP, AVX2 logra una aceleración del 8 % con respecto a AVX.

Para crear TensorFlow a partir de origen, NetApp recomienda usar "Bazel". Para nuestro entorno, hemos ejecutado los siguientes comandos en el intérprete de comandos del shell para instalar dnf, dnf-plugins, Y Bazel.

Debe habilitar GCC 5 o posterior para utilizar las funciones C++17 durante el proceso de compilación, que proporciona RHEL con la biblioteca de colecciones de software (SCL). Los siguientes comandos se instalan devtoolset Y GCC 11.2.1 en nuestro clúster RHEL 7.9:

Tenga en cuenta que los dos últimos comandos se habilitan devtoolset-11, que utiliza /opt/rh/devtoolset-11/root/usr/bin/gcc (GCC 11.2.1). También, asegúrese de que su git La versión es superior a 1.8.3 (se incluye con RHEL 7.9). Consulte este apartado "artículo" para la actualización git a 2.24.1.

Asumimos que ya ha clonado el repo maestro TensorFlow más reciente. A continuación, cree un workspace directorio con un WORKSPACE Archivo para crear TensorFlow a partir de origen con AVX, AVX2 y FMA. Ejecute el configure Y especifique la ubicación binaria Python correcta. "CUDA" Está deshabilitado para nuestras pruebas porque no utilizamos una GPU. A. .bazelrc el archivo se genera de acuerdo con su configuración. Además, hemos editado el archivo y configurado build --define=no_hdfs_support=false Para habilitar el soporte de HDFS. Consulte .bazelrc en la sección "“Guiones de Python para cada caso de uso principal”," para ver una lista completa de valores y marcas.

Después de crear TensorFlow con los indicadores correctos, ejecute la siguiente secuencia de comandos para procesar el conjunto de datos de anuncios de visualización Criteo, formar un modelo DeepFM y calcular el área bajo la curva de características operativas del receptor (AUC ROC) a partir de las puntuaciones de predicción.

Después de diez épocas de entrenamiento, hemos obtenido la puntuación del AUC en el conjunto de datos de pruebas:

De un modo similar a los casos de uso anteriores, comparamos el tiempo de ejecución del flujo de trabajo de Spark con los datos alojados en diferentes ubicaciones. En la siguiente figura, se muestra una comparación de la predicción del CTR de aprendizaje profundo para un tiempo de ejecución de los flujos de trabajo de Spark.