Microsoft actualiza Traductor y otros servicios de IA de Azure con tecnología de una nueva familia de modelos de IA que sus investigadores han desarrollado llamada Z-code, que ofrece el tipo de beneficios de rendimiento y calidad que tienen otros modelos de lenguaje a gran escala. , pero que se puede ejecutar de manera mucho más eficiente.

“Nuestro objetivo es ayudar a todas y cada una de las organizaciones del planeta a comunicarse mejor, y para lograr ese objetivo hay dos dimensiones realmente importantes: queremos que la calidad de las traducciones sea la mejor posible y queremos admitir la mayor cantidad de idiomas. como sea posible. dijo Xuedong Huang, miembro técnico de Microsoft y director de tecnología de Azure AI.

Z-code aprovecha los elementos lingüísticos compartidos en varios idiomas a través del aprendizaje por transferencia, que aplica el conocimiento de una tarea a otra tarea relacionada, para mejorar la calidad de la traducción automática y otras tareas de comprensión del idioma. También ayuda a extender esas capacidades más allá de los idiomas más comunes en todo el mundo a idiomas subrepresentados que tienen menos datos de capacitación disponibles.

“Con Z-code, logramos un progreso increíble porque aprovechamos el aprendizaje por transferencia y el aprendizaje multitarea a partir de datos monolingües y multilingües para crear un modelo de lenguaje de última generación que creemos que tiene la mejor combinación de calidad, rendimiento y eficiencia que podemos. ofrecer a nuestros clientes”, dijo Huang.

Estos modelos utilizan un enfoque escaso de «Mezcla de expertos» que es más eficiente de ejecutar porque solo necesita involucrar una parte del modelo para completar una tarea, a diferencia de otras arquitecturas que tienen que activar un modelo de IA completo. para ejecutar cada solicitud. Esta arquitectura permite una escala masiva en la cantidad de parámetros del modelo mientras mantiene constante la cantidad de cómputo.

Para poner estos modelos en producción, Microsoft usa GPU NVIDIA y Triton Inference Server para implementarlos y escalarlos de manera eficiente para una inferencia de alto rendimiento.

Recientemente, Microsoft ha implementado modelos de código Z para mejorar las tareas comunes de comprensión del lenguaje, como el reconocimiento de entidades de nombre, el resumen de texto, la clasificación de texto personalizado y la extracción de frases clave en sus servicios. IA azul. Pero esta es la primera vez que una empresa ha demostrado públicamente que puede utilizar esta nueva clase de modelos Mixture of Experts para potenciar los productos de traducción automática.

El nuevo modelo de traducción basado en código Z ya está disponible, inicialmente por invitación, para los clientes que utilizan la traducción de documentos en Traductor, un servicio cognitivo de Microsoft Azure que forma parte de Azure AI.

Los modelos de código Z de Microsoft mejoraron constantemente la calidad de la traducción en comparación con los modelos de producción actuales, según métricas comunes de la industria. A diferencia de los enfoques de aprendizaje de transferencia multilingüe típicos, que suelen mostrar mejoras en la calidad de la IA en idiomas que tienen menos ejemplos de traducción directa disponibles para la capacitación, los modelos de Z-code Mixture of Experts muestran ganancias consistentes. incluso en los idiomas más grandes.

Los evaluadores humanos en una prueba ciega encargada por Microsoft descubrieron que los modelos Z-code Mixture of Experts mejoraron las traducciones entre idiomas, con una ganancia promedio del 4%. Por ejemplo, los modelos mejoraron las traducciones del inglés al francés en un 3,2 %, del inglés al turco en un 5,8 %, del japonés al inglés en un 7,6 %, del inglés al árabe en un 9,3 % y del inglés al esloveno en un 9,3 %. quince%.

Creación de sistemas de IA más potentes e integradores

Z-code es parte de la iniciativa XYZ-code más grande de Microsoft, que busca combinar modelos de texto, visión, audio y varios idiomas para crear sistemas de inteligencia artificial más potentes e integradores que puedan hablar, escuchar, ver y comprender mejor a las personas. gente.

En los últimos cinco años, Microsoft ha desarrollado modelos que han igualado el rendimiento humano en reconocimiento de voz conversacional, traducción automática, subtítulos de imágenes, comprensión del lenguaje natural SuperGLUE y respuesta a preguntas de sentido común. Estos avances proporcionan la base para sistemas de IA más ambiciosos que pueden lograr un aprendizaje multisensorial y multilingüe más cercano a cómo las personas aprenden y entienden, dijo Huang.

«Esas son las piezas, los bloques de construcción que usamos para construir inteligencia verdaderamente diferenciada… y para construir sistemas de producción que sean rentables», dijo Huang.

Los modelos de código Z se desarrollaron como parte de las iniciativas AI at Scale y Turing de Microsoft, que buscan desarrollar modelos grandes que se entrenan previamente en grandes cantidades de datos textuales para comprender los matices del lenguaje, que se pueden integrar en múltiples productos de Microsoft y también se pondrán a disposición de los clientes para sus propios usos.

El mismo modelo subyacente se puede ajustar para realizar diferentes tareas de comprensión del idioma, como traducir entre idiomas, resumir un discurso, ofrecer formas de completar una oración o generar tweets sugeridos, en lugar de tener que desarrollar modelos separados para cada uno de esos propósitos. limitado.

Nuestro objetivo es ayudar a todas las organizaciones del planeta a comunicarse mejor, y ese objetivo tiene dos dimensiones realmente importantes: queremos que la calidad de las traducciones sea la mejor posible y queremos admitir tantos idiomas como sea posible.

Muchos de estos modelos de lenguaje, sin embargo, son tan grandes que puede ser un desafío integrarlos en productos del mundo real. Pero los modelos Z-code Mixture of Experts son lo que se conoce como «dispersos», lo que significa que solo activan una fracción de los parámetros del modelo para realizar una tarea individual, en lugar de involucrar todo el modelo a la vez.

Eso los hace mucho más rentables de operar, de la misma manera que es más económico y eficiente calentar su hogar solo en invierno durante las horas del día que lo necesita y en los espacios que usa regularmente, en lugar de que mantener un horno. funcionando a plena potencia todo el tiempo.

Los investigadores de Microsoft colaboraron estrechamente con NVIDIA para implementar modelos Z-code Mixture of Experts en producción por primera vez y en GPU NVIDIA. Usando el servidor de inferencia NVIDIA Triton, pudieron implementar estos modelos usando un tiempo de ejecución más eficiente que aprovechó CUTLASS y FasterTransformer para optimizar estos nuevos tipos de modelos. El nuevo tiempo de ejecución pudo lograr una aceleración de hasta 27 veces en tiempos de ejecución de GPU no optimizados.

El equipo de Z-code también trabajó en estrecha colaboración con los investigadores de Microsoft DeepSpeed ​​​​para aprender cómo entrenar de manera eficiente modelos masivos de Mixture of Experts como código Z, así como modelos de código Z de tamaño más modesto para escenarios de producción. .

“Hemos podido construir este modelo único que puede cubrir una gran cantidad de idiomas y realizar varias tareas, desde el resumen hasta la generación y traducción de texto, y ser útil para muchos otros equipos de Microsoft”, dijo Hany Hassan Awadalla, investigador principal. y gerente de investigación en Microsoft que ayuda a liderar el desarrollo de modelos de código Z para Traductor y otros servicios cognitivos de Azure.

“Así que estamos trabajando para difundir esto en toda la empresa y reducir sus costos de implementación, que es la visión de la IA a escala en general”, dijo.

Integración de la investigación en los productos de los clientes

Las plantillas de código Z se utilizan inicialmente para potenciar las capacidades de traducción de documentos de Translator, que permiten a los clientes traducir presentaciones completas de Word, PDF, PowerPoint u otros documentos a nuevos idiomas conservando todo el formato. .

Esto se debe a que el código Z se ejecuta de manera más eficiente cuando tiene lotes de oraciones para traducir a la vez, y la traducción de documentos se presta bien para esa tarea, dijo Vishal Chowdhary, gerente de desarrollo de socios en Traductor, quien lideró los esfuerzos para convertir un modelo de investigación en algo que podría implementarse en escenarios de producción del mundo real y ponerse a disposición de los clientes.

Antes, Translator necesitaba 20 modelos diferentes para traducir entre 10 idiomas: uno de inglés a francés, de francés a inglés, de inglés a macedonio, de macedonio a inglés, etc.

Ahora, un solo modelo de producción de código Z puede traducir los 10 idiomas desde y hacia el inglés, eliminando la necesidad de múltiples sistemas. Los modelos de código Z de investigación más grandes han podido traducir directamente entre 101 idiomas en 10,000 direcciones, sin tener que pasar primero por el inglés.

Las empresas con operaciones internacionales en múltiples mercados a menudo necesitan una forma de mejorar la comunicación entre departamentos con empleados que hablan muchos idiomas diferentes. Los modelos actuales de aprendizaje automático requieren enormes conjuntos de datos de traducción de dialectos para la capacitación, y es posible que no haya suficientes datos para todos los idiomas y dialectos deseados, especialmente en mercados más pequeños.

La capacidad de compartir conocimientos entre diferentes idiomas permite que Z-code produzca resultados más precisos para idiomas subrepresentados que no tienen una gran cantidad de ejemplos de traducción para aprender. Esto ayudará a mejorar la imparcialidad de la IA y garantizará que las traducciones de alta calidad no se limiten solo a idiomas con abundantes recursos de capacitación, dijo Huang.

«Los 107 idiomas que admitimos actualmente podrían cubrir lo que se habla en los Juegos Olímpicos o en las Naciones Unidas», dijo Huang. “Pero se hablan 7.000 idiomas en todo el mundo y hay muchas comunidades pequeñas que todavía no podemos apoyar. Queremos ser completamente multilingües con nuestra IA porque nuestro objetivo es servir a todos los ciudadanos del planeta”.

Imagen principal: Vishal Chowdhary, gerente de desarrollo de socios de traductores (izquierda) y el investigador principal Hany Hassan Awadalla (derecha) ayudaron a liderar el equipo de Microsoft que ahora usa modelos de IA de Z-code Mixture of Experts para mejorar la traducción automática en Traductor. Foto de Dan DeLong para Microsoft.

Jennifer Langston escribe sobre investigación y desarrollo en Microsoft. Síguela en Twitter.