¿Hermoso o guapo? Los modelos de lenguaje neuronal intentan sustituir palabras

Los investigadores de Skoltech y sus colegas realizaron un estudio computacional a gran escala, el primero en su tipo, de los modelos de lenguaje neuronal más avanzados para ver cómo se enfrentan a la sustitución léxica, una tarea clave en el procesamiento del lenguaje natural. El artículo fue presentado en el 28 ° Congreso Internacional de Lingüística Computacional (COLING-2020).

La sustitución léxica es pedido reemplazar una determinada palabra en una oración con otra palabra que de alguna manera está relacionada con la palabra original y que todavía encaja en el contexto. Por ejemplo, en la frase “¿Quién mató a Laura Palmer?” la palabra asesinado puede reemplazarse por un sinónimo de “asesinado”. En “¡Soy el rey del mundo!” un rey puede ser reemplazado por un gobernante hiper (palabra con un significado más amplio). Y en “Necesitarás un barco más grande”, los entusiastas del mar probablemente puedan reemplazar el barco con un casco merónimo, usando una palabra que significa parte de algo para referirse al objeto completo.

La sustitución léxica es bastante fácil para los hablantes nativos del idioma, pero es una tarea mucho más difícil para las máquinas que necesitan lenguaje natural procesamiento (PNL). Es posible que lo necesiten para activar el significado de las palabras, es decir, para identificar el significado de una palabra específica en el contexto, para corregir la ortografía en función del significado de la palabra e incluso para tareas más complejas, como parafrasear o simplificar un texto. Para ello, los modelos lingüísticos basados ​​en redes neuronales profundas están construidos que pueden crear múltiples sustitutos para la palabra de destino en función de su contexto inmediato izquierdo y derecho.

El profesor asistente Alexander Panchenko de Skoltech y sus colegas del Centro de Investigación Samsung de Rusia, la Universidad HSE y la Universidad Estatal de Moscú Lomonosov decidieron realizar una especie de competencia entre los cinco modelos de lenguaje neuronal. Probaron los modelos para dos tareas: la sustitución léxica en sí misma y la inducción del sentido de las palabras (donde una máquina tiene que distinguir entre una orilla de un río y una orilla como institución financiera).

Los investigadores creen que sus resultados podrían ser útiles para los profesionales de la PNL. Entre otras cosas, pudieron demostrar qué modelos tienden a formar relaciones semánticas, qué tipos (sinónimos, hipernas, etc., mencionados anteriormente) y que la información adicional sobre la palabra de destino puede mejorar significativamente, o significativamente, la calidad de la sustitución léxica. si está buscando un sinónimo aquí.

“En primer lugar, nuestros resultados en la sustitución léxica pueden ser útiles idioma aprendizaje (reemplazando palabras con sus equivalentes más simples). En segundo lugar, puede ser útil para ampliar datos textuales con fines de formación. Redes neuronalesporque métodos de expansión similares son comunes en la visión por computadora, pero no tan comunes en el análisis de texto. Otro uso obvio es para las ayudas para la escritura, sugiriendo automáticamente sinónimos y reformulando el texto, dice Panchenko.