¿Qué es Google LaMDA y cómo funciona?
LaMDA son las siglas en inglés de Language Models for Dialog Application. Es decir, modelos de lenguaje para la aplicación de diálogos, un modelo de lenguaje creado para permitir que el software participe mejor en una conversación fluida y natural.
LaMDA se basa en la misma arquitectura de transformadores que otros modelos de lenguaje, como BERT y el GPT-3.
Una de las características principales de LaMDA es que se trata de un sistema capaz de entender preguntas y conversaciones matizadas que abarcan varios temas diferentes. Esto le permite diferenciarse de otros sistemas en los que, la naturaleza abierta de las conversaciones humanas, en las que se puede responder algo que no tiene nada que ver con la pregunta, causa confusión.
¿Cómo funciona Google LaMDA?
LaMDA se ha construido sobre Transformer, la red neuronal de código abierto de Google, que se utiliza para entrenar a los algoritmos de comprensión del lenguaje natural.
El modelo está entrenado para encontrar patrones en las frases, correlaciones entre las diferentes palabras utilizadas en esas frases, e incluso predecir la palabra que probablemente venga a continuación.
Para ello, analiza conjuntos de datos formados por diálogos y no solo por palabras individuales. En este sentido, aunque un sistema de IA conversacional es similar al software de un chatbot, hay algunas diferencias clave. Por ejemplo, los chatbots se entrenan con conjuntos de datos limitados y específicos y solo pueden mantener una conversación limitada basada en los datos y las preguntas exactas con las que se ha entrenado.
Sin embargo, como LaMDA se entrena con varios conjuntos de datos diferentes, puede mantener conversaciones abiertas. Durante el entrenamiento, capta los matices del diálogo abierto y se adapta a ellas. Es por eso que puede responder a preguntas sobre muchos temas diferentes, en función del flujo de la conversación.
De esta forma, permite conversaciones aún más parecidas a la interacción humana de lo que suelen ofrecer los chatbots.
El entrenamiento de LaMDA utiliza un total de 1,56 billones de palabras y 137.000 millones de parámetros, en dos fases diferentes. En la primera fase, el equipo creó un conjunto de datos de 1,56 billones de palabras a partir de múltiples documentos públicos.
Este conjunto de datos se convierte en una cadena de caracteres para formar frases (se tokeniza), con un total de 2,81 billones de tokens, que se utilizan para el entrenamiento inicial del modelo. En esta etapa también se utiliza una paralelización general y escalable para predecir la siguiente parte de la conversación.
En la segunda etapa, LaMDA se entrena para que sea capaz de predecir la siguiente parte del diálogo, generando respuestas relevantes basadas en la conversación de ida y vuelta.
