El gigante chino de búsquedas Baidu derrotó fácilmente a dos gigantes tecnológicos estadounidenses Microsoft y Google en un concurso de procesamiento de lenguaje natural para los modelos de inteligencia artificial líderes en el mundo.
La Evaluación de comprensión del lenguaje general (GLUE) es el estándar que se utiliza para entrenar, evaluar y analizar los sistemas de comprensión del lenguaje natural basados en IA. Las organizaciones y empresas que desarrollan modelos de procesamiento de lenguaje artificial basados en inteligencia artificial pueden evaluar sus modelos utilizando el punto de referencia GLUE.
Hasta hace poco, el modelo MT-DNN-SMART de Microsoft seguía siendo el nombre líder en el ranking mundial GLUE, seguido por el modelo T3 de Google. Sin embargo, esta clasificación resultó ser un gran problema porque en el nuevo concurso de procesamiento del lenguaje natural de Baidu, el modelo ERNIE de Baidu (representación mejorada a través de kNowledge IntEgration) derrotó a MT-DNN-SMART y T3 con una puntuación récord de 90,1.
Inicialmente, el modelo de Baidu se desarrolló para comprender el idioma chino, pero los investigadores también pronto se dieron cuenta de la perspectiva de una excelente comprensión del modelo. El método de entrenamiento ERNIE de Baidu está fuertemente inspirado en la herramienta de entrenamiento del modelo de procesamiento de lenguaje “antiguo” de Google llamada BERT. En consecuencia, el 15% de las palabras de cada serie estarán ocultas en cada entrenamiento, la tarea de IA intenta predecir las palabras ocultas lo más cerca posible en función del contexto. El equipo de Baidu ilustró esta técnica en su sitio web de Github con ejemplos citados de la serie de novelas de Harry Potter. Como resultado, ERNIE pudo extrapolar la relación entre Harry Potter y JK Rowling analizando el conocimiento tácito de palabras y entidades, para concluir que Harry Potter era una novela escrita por JK Rowling.
“Si bien comprender el idioma sigue siendo un desafío difícil, nuestros resultados para el proyecto ERNIE demostraron que los modelos de capacitación en idiomas se entrenan continuamente y realizan múltiples tareas en una dirección. prometedor para la investigación de PNL ”, dijo el equipo de Baidu.
Baidu ahora está impulsando la aplicación del modelo ERNIE para tareas prácticas. Por ejemplo, Baidu está utilizando actualmente el modelo ERNIE para su función de respuesta automática a consultas, que mejora el 16% de la satisfacción del usuario con los resultados de la encuesta.
PEGAMENTO
El gigante chino de búsquedas Baidu derrotó fácilmente a dos gigantes tecnológicos estadounidenses Microsoft y Google en una competencia de procesamiento de lenguaje natural por los mejores modelos de inteligencia artificial del mundo.
La Evaluación de comprensión del lenguaje general (GLUE) es el estándar que se utiliza para entrenar, evaluar y analizar los sistemas de comprensión del lenguaje natural basados en IA. Las organizaciones y empresas que desarrollan modelos de procesamiento de lenguaje artificial basados en inteligencia artificial pueden evaluar sus modelos utilizando el punto de referencia GLUE.
Hasta hace poco, el modelo MT-DNN-SMART de Microsoft seguía siendo el nombre líder en el ranking mundial GLUE, seguido por el modelo T3 de Google. Sin embargo, esta clasificación resultó ser un gran problema porque en el nuevo concurso de procesamiento del lenguaje natural de Baidu, el modelo ERNIE de Baidu (representación mejorada a través de kNowledge IntEgration) derrotó a MT-DNN-SMART y T3 con una puntuación récord de 90,1.
Inicialmente, el modelo de Baidu se desarrolló para comprender el idioma chino, pero los investigadores también pronto se dieron cuenta de la posibilidad de una excelente comprensión del modelo. El método de formación ERNIE de Baidu se inspira en gran medida en la herramienta de formación del modelo de procesamiento de lenguaje “antiguo” de Google llamada BERT. En consecuencia, el 15% de las palabras de cada serie estarán ocultas en cada entrenamiento, la tarea de IA intenta predecir las palabras ocultas lo más cerca posible en función del contexto. El equipo de Baidu ilustró esta técnica en su sitio web Github con ejemplos citados de la serie de novelas de Harry Potter. Como resultado, ERNIE pudo extrapolar la relación entre Harry Potter y JK Rowling analizando el conocimiento tácito de palabras y entidades, para concluir que Harry Potter era una novela creada por JK Rowling.
“Si bien comprender el idioma sigue siendo un desafío difícil, nuestros resultados para el proyecto ERNIE mostraron que los modelos de capacitación en idiomas se entrenan continuamente y son multitarea en una dirección. prometedor para la investigación de PNL ”, dijo el equipo de Baidu.
Baidu ahora está impulsando la aplicación del modelo ERNIE para tareas prácticas. Por ejemplo, Baidu está utilizando actualmente el modelo ERNIE para su función de respuesta automática a consultas, que mejora el 16% de la satisfacción del usuario con los resultados de la encuesta.