Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio ...

177 Pages·2006·7.62 MB·Spanish

Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
Tesis cioctoral
MODELOS PREDICTIVOS BASADOS
EN REDES NEURONALES RECURRENTES
DE TIEMPO DISCRETO
Juan Antonio PérezO rtiz
Julio cle2 002
Memoria presentada para optar al grado de doctor
Dirigida por Mikel L. Forcada y Jorge Calera Rubio
1;)\
Universidad de Alicante
Departamento de Lenguajes y Sistemas Informáticos
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
Tesis doctoral
MODELOS PREDICTIVOS BASADOS
EN REDES NEURONALES RECURRENTES
DE TIEMPO DISCRETO
Juan Antonio Pérez Orliz
Julio de 2002
fr
$'|j,.
Departamento de Lenguajes y SisternasI nformáticos
Universidad de Alicante
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
MODELOS PREDICTIVOS BASADOS
EN REDES NEURONALES RECURRENTES
DE TIEMPO DISCRETO
Juan Antonio PérezO rliz
Resumen
Este trabajo estudia Ia aplicación de distintos m.odelosd e redes lleuro-
nales recurrentesd e tiempo discreto a diversast areas de carácter predictivo.
Las redesn euronalesr ecurrentes son redesn euronalesq ue presentan uno
o más ciclos en el grafo definido por las interconexionesd e sus unidades de
pr<-rcesamientoL. a existencia de estos ciclos les permite trabajar de for-
ma innata con secuenciast emporales. Las redes recurrentes son sistemas
dinámicos no lineales capacesd e descubrir regularidades temporales en las
secuenciasp rocesadasy pueden aplicarse, por lo tanto, a multitud de ta-
reas de procesamiento de este tipo de secuencias.E sta tesis se centra en la
aplicación de las redes neuronales recurrentes a la predicción del siguiente
elemento de secuenciasd e naturaleza simbólica o numérica.
No obstante, la predicción en sí no es el objetivo último: en esta tesis
la capacidad predictiva de las redes recurrentes se apiica a la compresiórrd e
señalesd e voz o de secuenciasd e texto, a la inferencia de lenguajes regulares
o sensiblesa l contexto, y a Ia desambiguaciónd e las palabras hornógrafas
de una oración.
Los modelos concretos de redes utilizados son, principalmente, la red
recurrente simple, la red parcialmente recurrente y el modelo neuronal de
memoria a corto y largo plazo; este último permite superar el llamado pro-
blema del gradiente evanescenteq ue aparecec uando los intervalos de tientpo
mínimos entre eventos interdependientess on relativamente largos. Para de-
terminar valores correctos de los parámetros libres de las redes se usan dos
algoritmos, el clásico algoritmo del clescensop or el gradiente y una forma
del filtro de Kalman extendido.
Palabras clave: Iedes neulonales recurrentes de tiempo discreto, modelos
predictivos en línea y fuera de línea, aprendizaje de secuenciass imbólicas,
predicción de señalesd e voz, etiquetado de categoríasl éxicas-
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
PREFACIO
Las redes neuronales recurrentes son uno de los rnodelos posibles para
tratar secuenciast emporales. Su principal ventaja estriba en la posibiiidad
de almacenaru na representaciónd e la historia reciente de Ia secuencia,l o que
permite, a diferencia de lo que ocurre con las redesn euronalesn o recurrentes,
que la salida ante un determinado vector de entrada pueda variar en función
de la configuración interna actual de la red.
Como se verá a lo largo de esta tesis, las redes recurtentes han sido muy
utilizadas en multitud de tareas relacionadas con el procesamiento de se-
cuencias temporales. Dentro de estas tareas, la predicción de secuencias,
en Ia que se estima el valor futuro de uno o más elementos de la secuencia
a partir de la historia observada,t iene importantes aplicacionese n campos
tales como la inferencia de lenguajes o la compresión de señales.E sta tesis
se centra en este aspecto del procesamientod e secuenciasd iscretas con redes
recurrentes de tiempo discreto y estudia tareas que van desde la prediccióu
en línea de secuenciass imbólicaso de voz hasta la desarnbiguaciónd e Ias pa-
labras homógrafas de una oración a partir de la predicción de sus categorías
Iéxicas, pasando por la inferencia de lenguajes no regulares.
Este trabajo demuestra algunas limitaciones de los modelos neurona-
les recurrentes tradi,ci,onalesy cómo algunas de ellas pueden ser superadas
mediante modelos o algoritmos de entrenamiento más elaborados.
La tesis ha sido posible gracias a las ideas y aportaciones continuas
durante más de tres años de los Drs. Mikel L. Forcada y Jorge Calera Rubio
del Departamento de Lenguajes y SistemasI nformáticos de la Universidad
de Alicante. No obstante, la parte de la tesis relacionada con el moclelo
denominado memoria a corto y largo plazo es fmto de mi estaucia de dos
rnesese n 2000 en el Istituto Dalle Molle di Studi sull'Inteligenza Artificiale
(IDSiA) de Lugano (Suiza) bajo la supervisión del Dr. .Iürgen Schmidhuber.
Estructura de la tesis
Se ofrece a continuación un pertruerlore sunlerl de lo que se cliscntirá en
cada urro de los capítulos. Los prirneros tieneu cará,cteri tttloduc;lorio:
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
PREFACIO
Capítulo 1. Este capítulo presenta los problemas que se estudian en esta
tesis.
Capítulo 2. Se introduce el modelo de red neuronal recurrente de tiempo
discreto y las principales tareas a las que se ha aplicado dentro del
campo del procesamientod e secuencias.
Capítulo 3. Un repaso a los modelos rreuronalesq ue se utilizan a lo largo
de Ia tesis, tanto los que se pueden considerar "clásicos", como algunos
más recientes (en concreto, dentro de este último grupo, la red neuro-
nai recurrente en cascaday la red basada en las memorias a corto y
largo plazo).
capítulo 4. En este capítulo se introducen los principales algoritrnos de
entrenarniento supervisado para redes recurrentes, especialmente el
descensop or el gradiente y el filtro de Kalman extendido desacoplado.
Con todo, las redes neuronales recurrentes presentan algunos proble-
mas fundamentales que son analizadost arnbién.
capítulo 5. Una vez introducidosI os problemase studiadose n Ia tesis,a sí
como los aspectosf undamentales de 1asr edes nerrronalesr ecurrerrtes.
se presentau los enfoquesc orl los que previarnente han sido abordados
estos problemas?h aciendoe specialé nfasise n las solucionesd e carácter
neuronal.
Los capítulos anterioress on básicamenteu n repaso al estado de Ia cues-
tión, además de presentar una formalización de los conceptos introducidos.
Los capítulos que se describen a continuación constituyen la aportación ori-
ginal de esta tesis:
capítulo 6. EI objetivo es estudiar el uso de las redesr ecurrentesp ara pre-
decir el siguiente símbolo de una secuenciad e texto. Se hace énfasise n
la predicción en línea, un problema rnucho rnás difícil que la inferencia
gramatical con redes neuronales clásica. El modelo de probabiiidad
desarrollado por la red se utiliza en un cornpresora ritmético, de for-
ma que la razón de compresión se usa como medida de la calidad del
predictor. A modo de estudio preiiminar, se analiza también la pre-
dicción sobre secuenciasd erivaclasd e automatas finitos deterministas
o sobre secuenciasc aóticas.
capítulo 7. El modelo de memorias a corto y largo plazo (LSTM) entrena-
do mediante el descensop or el gradiente es capazd e resolverp roblemas
muy difíciles de resolverc on las redest radicionales. Aquí se aplica por
primera vez a este modelo un algoritmo de entrenamiento basado en el
filtro de Kalman extendido y se cibservac ómo los resultaclosr nejoran
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
PREFAC!O
ostensiblemente,e n cuanto a velocidad y robustez, Ios del algoritmo
original en un par de tareas de inferencia de lenguajes.
Capítulo 8. En este capítulo se explora el uso de las redesr ecurrentesp ara
la desambiguaciónl éxica de corpus textuales, basándosee n la predic-
ción de la categoría léxica de Ia palabra siguiente a las ya vistas de
una oración. El enfoque presentado aquí no necesita ningún texto
desambiguadom anualmente, 1o que lo convierte probablemente en el
primer método neuronal que posee esta cualidad. Los experimentos
demuestran que el rendimiento de este enfoque es) como mínimo, si-
milar al de un modelo oculto de Markov estándar entrenado mediante
el algoritmo de Baum y Welch.
Capítulo 9. Aquí se presenta un estudio comparativo del rendimiento de
Ias redes cuando son entrenadas en línea para predecir la próxirna
muestra de una señal de voz digitalizada. La comparación se realiza
principalmente con modelos linealesy con una red recurrente en casca-
da que fue propuesta en su día para realizar esta tarea. Los resultados
confirman los de otros trabajos que encontraron seriasl imitaciones a Ia
hora de trabajar con seriesn uméricas, especialmentea l usar un algo-
ritmo de aprendizaje basado en el descensop or el gradiente. EI filtro
de Kalman aplicado al entrenamiento de estas redes, por otro lado,
supera parcialmente algunas de estas limitaciones.
Capítulo 10. Este capítulo recoge las principales conclusionesq ue se de-
ducen de todo lo anterior, ademasd e presentar una lista detallada de
posibles trabajos de investigación para el futuro.
Apéndice A Este apéndice muestra cómo entrenar un modelo oculto de
Markov para realizar la desambiguaciónd e las categoríasm orfológicas
de una oración, técnica que se utiliza en los experimentos del capítulo 8.
Publicaciones
Esta tesis doctoral recoge algunos trabajos publicados en congresoso
revistas internacionales:
Juan Antonio Pérez-Ortiz, Jorge Calera-Rubio y Mikel L. Forcada,
2001. "Online text prediction with recurrent neural networks" , Neural
ProcessingL etters t4(2), L27-1,4A.
Juan Antonio Pérez-Ortiz y Mikel L. Forcada,200I. "Part-of-speech
tagging with recurrent neural rretworks", et Proce.edingos f the Intern,a-
t'ionul Join,t Co'nferenceo n Neural Networks, I"f CNN 2001,7538- 1592.
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
PREFACIO
Juan Antonio Pérez-Ortiz, Jorge Calera-Rubio y Mikel L. Forcada,
'A
2001. comparison betrveenr ecurrent neural architectures for real-
tirne nonlinear prediction of speechs ignals", en D. J. Miiler, T. Adali,
J. Larsen, VI. Van Hulle y S. Douglas, coordinadores, Neural Net-
works for Signal Process'ingX I, Proceedi.ngso f the 2001 IEEE Neural
Networks for Si.gnalP rocessi,ngW orlcshop,¡ \¡NSP 2001,73*8I, IEEE
Signal ProcessingS ociety.
Juan Antonio Pérez-Ortiz, Jorge Calera-Rubio y Mikel L. F'orcada,
2001. "Online symbolic-sequencep rediction with discrete-time re-
current neural networks", en G. Dorffner, H. Bischof y K. Hornik,
coordinadores. Proceedi.ngso f the I'nternati,onal Conference on A,rti,-
fi,cial Neural Networks, ICANN 2001, vol. 2130 de Lecture Notes i,n
Co m puter Sc i,enc e, 7I 9-7 24, Sp ringer-Verlag, Berlín.
Felix A. Gers, Juan Antonio Pérez-Ortí2, Douglas Eck y Jürgen Sch-
micihuber,2002. "DEKF-LSTM", en M. Verleysen,c oordinador,P ro-
ceedi.ngso f the 10th European Sympos'ium on Arti,fici.al Neural Net-
works, ESANN 2002, 369-376, D-side Publications.
También son consecuenciad e las investigacionesd esarrolladas para. la
tesis los siguientesa rtículos todavía inéditos, aunque ya aceptados:
Juan Antonio Pérez-Ortiz, Felix A. Gers, Douglas Eck y Jürgen Sch-
midhuber, 2002. "Kalmarr fiiters improve LSTM network performance
in hard problems", Neural Networks, aceptado con modificaciones.
Felix A. Gers, Juan Antonio Pérez-Ortí2, Douglas Eck y Jürgen Sch-
midhuber, agosto de2002. "Learning context sensitive languagesw ith
LSTM trained with Kalman fiiters" , en Proceedi,ngos f the Internotio-
nal Conferenceo n Arti,fi,cial Neural Networks, ICANN 2002, Lecture
Notes in Computer Sc,ienceS, pringer-Verlag, Berlín; aceptado.
Juan Antonio Pérez-Ortiz,J ürgen Schmidhuber,F elix A. Gers y Dou-
glas Eck, agostod e 2002. "Improving long-term online prediction with
decoupled ext,endedK alman filters" , en Proceedi,ngos f the Internatio-
nal. Conferenceo n Arti.fici,al Neu,ral Networks, ICANN 2002, Lectu're
lloúes í'n Computer Science,S pringer-Verlag, Berlín; aceptado.
Agradecimientos Vaya ahora mi agradecimiento a todos los que han con-
tribuido de forma directa al desarrollo de este trabajo: a mis directores
de tesis, a los miembros del Departar,mentod e Lenguajes y Sistemas In-
formáticos de la Universidad de Alicante y a todos los que rne acogieron en
el IDSIA de Lugano. También han siclo fundamentales para la elaboración
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
PREFACIO
de este trabajo la beca de formación de personal investigador FPI-99-74-268
de la Generalitat Valenciana y los proyectos de la Comisión Interministerial
de Ciencia y TecnologíaT IC97-0947 y TIC2000-1599-C02-02.
Finalmente, un sincero ¡graci,as!a todos los que habéis estado ahí mien-
tras escribía esta tesis.
Juan Antoni,o Pérez Ortiz
Al'icante, 5 de juli,o de 2002
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002
Modelos predictivos basados en redes neuronales recurrentes de tiempo discreto. Juan Antonio Pérez Ortiz
Tesis doctorales de la Universidad de Alicante. Tesi doctoral de la Universitat d'Alacant. 2002