Aplicaciones del procesamiento del lenguaje natural en la recuperación de información en español

325 Pages·2017·1.73 MB·Spanish

by  Jesús Vilares Ferro

~
UNIVERSIDADE DA CORUNA
Departamento de Computacio(cid:19)n
TESIS DOCTORAL
APLICACIONES DEL PROCESAMIENTO DEL LENGUAJE
(cid:19) (cid:19)
NATURAL EN LA RECUPERACION DE INFORMACION
~
EN ESPANOL
AUTOR: Jesu(cid:19)s Vilares Ferro
(cid:19)
DIRECTORES: Miguel Angel Alonso Pardo
Jos(cid:19)e Luis Freire Nistal
A Corun~a, Mayo de 2005

Tesis Doctoral: APLICACIONES DEL PROCESAMIENTO DEL LENGUAJE
NATURAL EN LA RECUPERACIO(cid:19)N DE INFORMACIO(cid:19)N
EN ESPAN~OL
Autor: D. Jesu(cid:19)s Vilares Ferro
Directores: Dr. Miguel A(cid:19)ngel Alonso Pardo
Dr. Jos(cid:19)e Luis Freire Nistal
Fecha:
Tribunal
Presidente:
Vocal 1(cid:14):
Vocal 2(cid:14):
Vocal 3(cid:14):
Secretario:
Cali(cid:12)cacio(cid:19)n:

A mi familia
v

Agradecimientos
Quierodarlasgraciasatodasaquellaspersonasquehanhechoposibleconsuayuda,ejemplo
y amistad, que mi camino, paso a paso, d(cid:19)(cid:16)a a d(cid:19)(cid:16)a, me haya llevado hasta aqu(cid:19)(cid:16).
En primer lugar a mis directores de tesis, Miguel Alonso Pardo y Jos(cid:19)e Luis Freire Nistal. No
todo el mundo tiene la suerte de contar con gente as(cid:19)(cid:16) guiando su trabajo, y no so(cid:19)lo guia(cid:19)ndolo,
sino comparti(cid:19)endolo.
Desear(cid:19)(cid:16)a agradecer tambi(cid:19)en a los miembros del tribunal el haber puesto a mi disposicio(cid:19)n
su valioso tiempo y sabidur(cid:19)(cid:16)a para juzgar mi trabajo: Gabriel Pereira Lopes (Universidade
Nova de Lisboa), John Irving Tait (University of Sunderland), E(cid:19)ric Villemonte de la Clergerie
(Institut National de Recherche en Informatique et en Automatique - INRIA), Carlos Mart(cid:19)(cid:16)n
Vide (Universidad Rovira i Virgili), y Jorge Gran~a Gil (Universidade da Corun~a). Asimismo,
agradezco a los doctores A(cid:19)lvaro Barreiro Garc(cid:19)(cid:16)a y Margarita Alonso Ramos (Universidade da
Corun~a) el haber aceptado formar parte del tribunal suplente.
Del mismo modo, quisiera mostrar mi agradecimiento a los profesores doctores que, con
su suma premura y amabilidad, hicieron posible mi mencio(cid:19)n como doctor europeo: Jacques
Farr(cid:19)e (Universidad de Niza-Sophia Ant(cid:19)(cid:16)polis), Anne-Marie Hughes (Universidad de Niza-Sophia
Ant(cid:19)(cid:16)polis), Vitor Rocio (Universidade Aberta de Portugal), y Paulo Quaresma (Universidade de
E(cid:19)vora).
Mi familia ha sido siempre lo ma(cid:19)s importante para m(cid:19)(cid:16). Ellos me han apoyado y guiado
siempre, y soy lo que soy gracias a ellos, ni ma(cid:19)s ni menos, ni menos ni ma(cid:19)s. Lo primero, gracias
amispadres,porqueseesforzaronsiempreparadarmelomejoryhacerdem(cid:19)(cid:16)unabuenapersona.
Gracias de todo corazo(cid:19)n a mi hermano, porque sin su carin~o, consejo, gu(cid:19)(cid:16)a y ayuda me habr(cid:19)(cid:16)a
quedado a medio camino, aunque no siempre haya sabido expresar como deber(cid:19)(cid:16)a lo mucho que
se lo agradezco. Gracias a Susa, que buena paciencia debe haber tenido conmigo. Y gracias a
Silvia y a David, por traer alegr(cid:19)(cid:16)a (y alboroto tambi(cid:19)en) a la casa.
No quiero dejar de agradecer todo el apoyo recibido, de una u otra forma, de todos los
miembros del grupo COLE1: Jorge, David, V(cid:19)(cid:16)ctor, Fran y Mario, sin olvidarme de las gentes de
la divisio(cid:19)n UVigo (Juan y Leandro).
Siempre recordar(cid:19)e con agrado los buenos momentos que he pasado en Portugal durante mis
estancias en el GLINT2, en la Universidade Nova de Lisboa. Conocer a gente como Gabriel,
Pablo, Joaquim y Tiago |sin dejar en absoluto de lado a Alexandre y a Greg| supone un
acicate para seguir trabajando duro.
Durante el desarrollo del sistema de generacio(cid:19)n de familias morfolo(cid:19)gicas agradec(cid:19)(cid:16) mucho
la ayuda de Margarita Alonso, del Departamento de Gallego-Portugu(cid:19)es, Franc(cid:19)es y Lingu(cid:127)(cid:19)(cid:16)stica,
aunquetodav(cid:19)(cid:16)atenemosquesacarletodoelpartidoaesediccionariodecolocaciones.Igualmente,
los sino(cid:19)nimos de Santi, llegados desde el Departamento de Lo(cid:19)gica y Filosof(cid:19)(cid:16)a de la Moral de la
Universidad de Santiago, me esta(cid:19)n esperando.
Finalmente, puede que mis amigos no hayan podido echarme una mano en mi trabajo
1COmpiladores y LEnguajes (http://www.grupocole.org)
2Grupo de L(cid:19)(cid:16)ngua Natural (http://terra.di.fct.unl.pt/glint/)
vii
VIII
propiamentedicho,perosiemprehanestadoah(cid:19)(cid:16)paradarmea(cid:19)nimos.Muybuenosratoshepasado
en el Merl(cid:19)(cid:16)n con Pedro, Poley, Berto, Breo, Pablo, Rub(cid:19)en, Isaac... El apoyo a pie de trinchera
ha corrido a cargo de estas gentes del laboratorio de Matema(cid:19)ticas |Javi, Dani, Joaqu(cid:19)(cid:16)n, Cris,
Elisa, Chus, Bel(cid:19)en...| que me han tenido que soportar durante ma(cid:19)s tiempo del humanamente
exigible. Otras personas tambi(cid:19)en han puesto su granito de arena: Montse, Gloria, Rebo, Pili,
Fran...; y hay quien, como Mo(cid:19)nica, ha puesto dos o tres.
A todos y cada uno, gracias.
Resumen
Este trabajo de tesis se enmarca en los campos del Procesamiento del Lenguaje Natural,
a(cid:19)rea de la ciencia y la tecnolog(cid:19)(cid:16)a encargada del procesamiento automa(cid:19)tico del lenguaje natural o
lenguaje humano, y de la Recuperacio(cid:19)n de Informacio(cid:19)n, cuyo objetivo es el de identi(cid:12)car, dada
una coleccio(cid:19)n de documentos, aqu(cid:19)ellos que son relevantes a una necesidad de informacio(cid:19)n del
usuario.
Los sistemas convencionales de Recuperacio(cid:19)n de Informacio(cid:19)n emplean t(cid:19)ecnicas estad(cid:19)(cid:16)sticas
basadas en la distribucio(cid:19)n de los t(cid:19)erminos en el documento y en la coleccio(cid:19)n para estimar la
relevancia de un documento. Sin embargo, dado que un proceso de Recuperacio(cid:19)n de Informacio(cid:19)n
exige que el sistema comprenda en cierta medida el contenido del mismo, dicha tarea puede
verse como perteneciente al a(cid:19)mbito del Procesamiento del Lenguaje Natural. Este razonamiento
se ve apoyado por el hecho de que el mayor problema en la Recuperacio(cid:19)n de Informacio(cid:19)n es
la variacio(cid:19)n lingu(cid:127)(cid:19)(cid:16)stica del idioma, consistente en que un mismo concepto se puede expresar de
formas diferentes mediante modi(cid:12)caciones en la expresio(cid:19)n.
El objetivo de esta tesis es el desarrollo de tecnolog(cid:19)(cid:16)a de base para el Procesamiento del
Lenguaje Natural y el estudio de la viabilidad de su aplicacio(cid:19)n en sistemas de Recuperacio(cid:19)n de
Informacio(cid:19)n sobre documentos en espan~ol. Si bien existen estudios similares para otras lenguas,
con un claro dominio del ingl(cid:19)es, el espan~ol ha quedado relegado frecuentemente a un segundo
plano. Adema(cid:19)s, la mayor complejidad lingu(cid:127)(cid:19)(cid:16)stica del espan~ol frente al ingl(cid:19)es en todos sus niveles
no permite una extrapolacio(cid:19)n inmediata al espan~ol de los resultados obtenidos para el ingl(cid:19)es,
demandando la realizacio(cid:19)n de experimentos espec(cid:19)(cid:16)(cid:12)cos.
Por otra parte, hemos tenido que hacer frente a uno de los principales problemas en la
investigacio(cid:19)n del procesamiento automa(cid:19)tico del espan~ol, la carencia de recursos lingu(cid:127)(cid:19)(cid:16)sticos
libremente accesibles. La solucio(cid:19)n para minimizar este problema pasa por restringir la
complejidad de las soluciones propuestas, centra(cid:19)ndose en la utilizacio(cid:19)n de informacio(cid:19)n
l(cid:19)exica, de obtencio(cid:19)n ma(cid:19)s sencilla. El hecho de acotar la complejidad de las aproximaciones
planteadas permite que las t(cid:19)ecnicas desarrolladas sean fa(cid:19)cilmente adaptables a otros idiomas de
caracter(cid:19)(cid:16)sticas y comportamiento similar, constituyendo de este modo una arquitectura general
aplicable a otros idiomas mediante la introduccio(cid:19)n de las modi(cid:12)caciones oportunas, como ser(cid:19)(cid:16)a
elcaso,porejemplo,delgallego,elportugu(cid:19)esoelcatala(cid:19)n.Porotraparte,alahorademinimizar
el coste computacional de nuestras propuestas de cara a su aplicacio(cid:19)n en entornos pra(cid:19)cticos, se
ha hecho amplio uso de tecnolog(cid:19)(cid:16)a de estado (cid:12)nito.
Enestecontexto,enprimerlugar,sehadesarrolladounpreprocesador-segmentadoravanzado
de base lingu(cid:127)(cid:19)(cid:16)stica para la tokenizacio(cid:19)n y segmentacio(cid:19)n de textos en espan~ol, orientado
principalmente a la etiquetacio(cid:19)n robusta del espan~ol, pero aplicable a otras tareas de ana(cid:19)lisis.
Las modi(cid:12)caciones concretas para su aplicacio(cid:19)n en Recuperacio(cid:19)n de Informacio(cid:19)n son tambi(cid:19)en
discutidas.
A nivel (cid:13)exivo, se ha estudiado la utilizacio(cid:19)n de t(cid:19)ecnicas de desambiguacio(cid:19)n-lematizacio(cid:19)n
para la normalizacio(cid:19)n de t(cid:19)erminos simples, empleando como t(cid:19)erminos de indexacio(cid:19)n los lemas
de las palabras con contenido del texto |nombres, adjetivos y verbos.
ix
X
A nivel derivativo, se ha desarrollado una herramienta de generacio(cid:19)n automa(cid:19)tica de familias
morfolo(cid:19)gicas |conjuntos de palabras ligadas derivativamente y que comparten la misma ra(cid:19)(cid:16)z|
para su utilizacio(cid:19)n tambi(cid:19)en en tareas de normalizacio(cid:19)n de t(cid:19)erminos simples. Esta propuesta, sin
embargo, no es todav(cid:19)(cid:16)a por completo inmune a los problemas generados por la introduccio(cid:19)n de
ruido por sobregeneracio(cid:19)n durante la creacio(cid:19)n de familias.
A nivel sinta(cid:19)ctico se ha ensayado una aproximacio(cid:19)n basada en la utilizacio(cid:19)n de dependencias
sinta(cid:19)cticasamododet(cid:19)erminos(cid:19)(cid:16)ndicecomplejosma(cid:19)sprecisosyparatratarlavariacio(cid:19)nsinta(cid:19)ctica
y morfosinta(cid:19)ctica. Estas dependencias son generadas mediante ana(cid:19)lisis sinta(cid:19)ctico super(cid:12)cial
empleando dos analizadores de desarrollo propio: Patterns, basado en patrones, y Cascade,
basado en cascadas de traductores (cid:12)nitos. Se ha estudiado tambi(cid:19)en el empleo de diferentes
fuentes de informacio(cid:19)n sinta(cid:19)ctica, consultas o documentos |siendo (cid:19)esta u(cid:19)ltima ma(cid:19)s efectiva|,
y la restriccio(cid:19)n a dependencias nominales para la reduccio(cid:19)n de costes.
Finalmente, tambi(cid:19)en a nivel sinta(cid:19)ctico, se ha evaluado una nueva aproximacio(cid:19)n pseudo-
sinta(cid:19)ctica que emplea un modelo sustentado sobre similaridades en base a distancias para la
reordenacio(cid:19)nderesultadosobtenidosmedianteunaaproximacio(cid:19)ncla(cid:19)sicabasadaenlaindexacio(cid:19)n
delemas.Delasdospropuestasplanteadas,laprimerabasadaenlamerareordenacio(cid:19)nconforme
el nuevo modelo, y la segunda basada en una nueva aproximacio(cid:19)n a la fusio(cid:19)n de datos mediante
interseccio(cid:19)n de conjuntos, (cid:19)esta u(cid:19)ltima ha sido la ma(cid:19)s fruct(cid:19)(cid:16)fera.