Google lanza ALBERT, una versión Lite de Google BERT, una herramienta para el aprendizaje autosupervisado de representaciones del lenguaje.

En una publicación en de Inteligencia Artificial de Google , los investigadores de la compañía, Radu Soricut y Zhenshong Lan, anuncian el lanzamiento de una versión ligera y de código abierto de BERT, llamada ALBERT.

La tecnología BERT Según los investigadores, ALBERT conjunto de datos de preguntas y respuestas de Stanford (SQuAD v2.0) y el RACE para la comprensión lectora tipo SAT .

ALBERT se lanzó como una implementación de código abierto a través de TensorFlow e incluye varios modelos de representación del lenguaje preentrenados y listos para usar para ALBERT.

¿Qué es Google BERT?

Lanzamiento oficial de ALBERT

En la publicación sobre el lanzamiento de ALBERT, podemos leer en detalle:

Desde la aparición de BERT hace un año, la investigación del lenguaje natural ha adoptado un nuevo paradigma, aprovechando grandes cantidades de texto existente para preentrenar los parámetros de un modelo mediante auto-supervisión, sin necesidad de de datos .

Por lo tanto, en lugar de tener que entrenar un modelo de aprendizaje automático para el procesamiento del lenguaje natural (PLN) desde cero, se puede partir de un modelo que ya posea conocimiento del idioma. Sin embargo, para mejorar este nuevo enfoque del PLN, es necesario comprender qué es exactamente lo que contribuye al rendimiento de la comprensión del lenguaje: ¿la altura de la red (es decir, el número de capas), su anchura (el tamaño de la capa oculta de representaciones), los criterios de aprendizaje para la autosupervisión o algo completamente distinto?

Resulta más fácil comprender el papel del Procesamiento del Lenguaje Natural en la comprensión, a través de la Semántica , de cómo funciona un idioma, contribuyendo a la comprensión de las búsquedas (con BERT) y siendo ahora utilizable en proyectos individuales con ALBERT.

El nuevo algoritmo de búsqueda de Google: BERT

La importancia de la semántica para el SEO

La razón por la que doy tanta importancia al lanzamiento de herramientas como BERT o ALBERT, como Amazon Silver , es que, para dar el salto necesario en la calidad de la comprensión del contenido creado en línea , necesitamos que las computadoras entiendan (en los diversos idiomas y lenguajes de programación que utilizamos) lo que queremos decir.

Optimización semántica: un estudio de caso

Este es el paso final hacia la creación definitiva del SEO , una optimización de proyectos digitales que puede utilizar toda la potencia de las máquinas que tenemos hoy en día, y de las que se están creando (¿has oído hablar de los ordenadores cuánticos? ), para que las herramientas que ofrecen resultados a las preguntas que nos hacemos proporcionen respuestas cada vez mejores.

Procesamiento del lenguaje natural en SEO

Identificar el factor dominante en el rendimiento del PLN es complejo: algunas configuraciones son más importantes que otras y, como revela el estudio de Google, una simple exploración individual de estas configuraciones no produciría las respuestas correctas; de ahí la importancia de desarrollar innovaciones como ALBERT y Google BERT.

El poder del gráfico de conocimiento

Según los investigadores de Google, la clave para optimizar el rendimiento, implementada en el diseño de ALBERT, consistía en asignar la capacidad del modelo de manera más eficiente.

Mediante incorporaciones a nivel de entrada (palabras, subtokens, etc.), que necesitaban aprender representaciones independientes del contexto, como por ejemplo una representación para la palabra "banco".

Buscando significado y contexto con ALBERT

Por otro lado, las incrustaciones de la capa oculta deben refinar los modelos en representaciones dependientes del contexto, por ejemplo, una representación para "banco" en el contexto de transacciones financieras y una representación diferente para "banco" en el contexto de deportes o bienes raíces.

Si te interesan los aspectos técnicos de ALBERT, lee el extracto original de la publicación que dio origen a esta, en inglés:

La clave para optimizar el rendimiento, plasmada en el diseño de ALBERT, reside en asignar la capacidad del modelo de forma más eficiente. Las representaciones vectoriales de entrada (palabras, subtokens, etc.) deben aprender independientes ; por ejemplo, una representación para la palabra «banco».

En cambio, las incrustaciones de capas ocultas necesitan refinar eso en representaciones dependientes contexto de transacciones financieras y una representación diferente para “banco” en el contexto de la gestión del caudal de los ríos.

Esto se logra mediante la factorización de la parametrización de la incrustación: la matriz de incrustación se divide entre incrustaciones de nivel de entrada con una dimensión relativamente baja (por ejemplo, 128), mientras que las incrustaciones de la capa oculta utilizan dimensionalidades más altas (768, como en el caso de BERT, o incluso más). Con este paso, ALBERT consigue una reducción del 80 % en los parámetros del bloque de proyección, a costa de una mínima disminución del rendimiento (80,3 SQuAD2.0 , frente a 80,4; o 67,9 en RACE , frente a 68,2), manteniendo las demás condiciones iguales que para BERT.

El éxito de Albert

El éxito de ALBERT demostró la importancia de identificar los aspectos de un modelo que dan lugar a representaciones contextuales poderosas.

Las investigaciones que centraron los esfuerzos de mejora en aspectos de la arquitectura del modelo han demostrado que es posible mejorar significativamente la eficiencia y el rendimiento del modelo en una amplia variedad de tareas de PLN.

Si te interesa este campo de estudio, Google ofrece ALBERT de código abierto a la comunidad investigadora .

¿Está desactualizado Google Bert?

En esta publicación de Search Engine Journal, leí que Google publicó un artículo con información sobre un estudio de investigación que analiza un nuevo algoritmo llamado SMITH. Según la información, supera a BERT en la comprensión de consultas y documentos extensos.

Según los informes, Smith supera a BERT en su capacidad para comprender fragmentos de documentos extensos. Aún no se ha confirmado si el motor de búsqueda lo está utilizando activamente, pero ya se observan resultados que extraen secciones completas de textos y las resaltan en las páginas de resultados.

¿Qué es el algoritmo de Smith?

Según la investigación de Google, SMITH es un nuevo modelo que busca comprender documentos completos. Su intención es comprender el documento , lo que eleva el estudio y la aplicación del SEO semántico a un nuevo nivel de importancia.

En cambio, BERT se entrenó para comprender las palabras dentro del contexto de las oraciones. La semántica dentro del documento es limitada porque no se considera la relación entre las oraciones.

Mientras que algoritmos como BERT se entrenan con conjuntos de datos para predecir palabras ocultas aleatoriamente fuera del contexto dentro de las oraciones, el algoritmo SMITH se entrena para predecir cuáles serán los siguientes bloques de oraciones.

Roger Montti – Search Engine Journal

Según el artículo, este entrenamiento permite al algoritmo comprender documentos más largos con mayor calidad que sus predecesores.

¿Pero está utilizando Google el algoritmo de Smith?

Todos sabemos que Google no revela todo sobre los algoritmos que utiliza o no utiliza, pero los investigadores de la compañía afirman que el nuevo algoritmo supera a BERT, y todos los profesionales del SEO deberían estar atentos a las herramientas y las búsquedas.

Referencia:

ALBERT: Una versión simplificada de BERT para el aprendizaje autosupervisado de representaciones del lenguaje.
20 de diciembre de 2019.
Por Radu Soricut y Zhenzhong Lan – Investigadores de Búsqueda de Google.