algoritmos para mineria de datos con redes de neuronas

170 Pages·2013·2.59 MB·Spanish

Universidad Polit´ecnica de Madrid
Facultad de Inform´atica
ALGORITMOS PARA MINERIA DE DATOS
CON REDES DE NEURONAS
TESIS DOCTORAL
Angel Luis Castellanos Pen˜uela
Licenciado en Matem´aticas
2013
Departamento de Inteligencia Artificial
Facultad de Inform´atica
ALGORITMOS PARA MINERIA DE DATOS
CON REDES DE NEURONAS
TESIS DOCTORAL
Angel Luis Castellanos Pen˜uela
Licenciado en Matem´aticas
DIRECTORES: Rafael Gonzalo Molina
Doctor en Ingenier´ıa de Montes
Ana Mart´ınez Blanco
Doctora en Inform´atica
2013
UNIVERSIDAD POLITE´CNICA DE MADRID
TribunalnombradoporelMagfco.yExcmo.Sr.RectordelaUniversidad
Polit´ecnica de Madrid, el d´ıa de de 20
Presidente: a
Vocal: a
Vocal: a
Vocal: a
Secretario: a
Suplente: a
Suplente: a
Realizado el acto de defensa y lectura de la Tesis el d´ıa de
de 20 en la E.T.S.I./Facultad a.
EL PRESIDENTE LOS VOCALES
EL SECRETARIO
´
Indice general
´Indice general
IV
´Indice de figuras
VII
´Indice de tablas
VIII
Resumen
X
Summary
XII
I Introduccio´n 1
1 Introducci´on 2
1.1. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
II Estado del arte 9
2 Miner´ıa de datos y conocimiento 10
2.1. Introduccio´n a la Miner´ıa de Datos . . . . . . . . . . . . . . 10
2.2. Redes de Neuronas Artificiales . . . . . . . . . . . . . . . . . 12
2.3. Aproximaci´on de funciones . . . . . . . . . . . . . . . . . . . 16
2.4. Extraccio´n de conocimiento simbo´lico . . . . . . . . . . . . . 19
2.4.1. Algoritmo RN . . . . . . . . . . . . . . . . . . . . . . 20
2.4.2. Algoritmo KBANN . . . . . . . . . . . . . . . . . . . 20
2.4.3. Algoritmo SUBSET . . . . . . . . . . . . . . . . . . . 22
2.4.4. Algoritmo M de N . . . . . . . . . . . . . . . . . . . 24
2.4.5. Algoritmo SC-NET . . . . . . . . . . . . . . . . . . . 25
2.4.6. El m´etodo de Brainne . . . . . . . . . . . . . . . . . 26
2.4.7. Algoritmo KT . . . . . . . . . . . . . . . . . . . . . . 27
2.4.8. Algoritmo MACIE . . . . . . . . . . . . . . . . . . . 28
iv
´
Indice general
2.4.9. Comparacio´n de los distintos algoritmos . . . . . . . 30
2.5. M´etodos de prediccio´n estad´ısticos . . . . . . . . . . . . . . 31
2.5.1. An´alisis multivariante . . . . . . . . . . . . . . . . . 31
2.5.2. Modelos lineales de estimaci´on . . . . . . . . . . . . . 32
2.5.3. An´alisis de regresi´on . . . . . . . . . . . . . . . . . . 33
2.5.4. Correlaci´on . . . . . . . . . . . . . . . . . . . . . . . 36
2.5.5. Multicolinealidad . . . . . . . . . . . . . . . . . . . . 36
3 Redes ENN aproximadores funcionales 39
3.1. Redes de neuronas Enhenced Neural Networks . . . . . . . . 41
3.2. Aproximaci´on de funciones con una red ENN . . . . . . . . . 47
III M´etodos y resultados 49
4 Extracci´on de conocimiento 50
4.1. Pesos asociados a una red ENN . . . . . . . . . . . . . . . . 51
4.1.1. Pesos asociados . . . . . . . . . . . . . . . . . . . . . 52
4.2. Extraccio´n de conocimiento . . . . . . . . . . . . . . . . . . 53
4.3. Consecuentes de las reglas. Divisio´n en clases . . . . . . . . . 53
4.3.1. M´etodo de biseccio´n en clases (MB) . . . . . . . . . . 56
4.3.2. Consecuentes . . . . . . . . . . . . . . . . . . . . . . 57
4.4. Algoritmo para la extraccio´n de antecedentes (ME) . . . . . 58
4.5. Obtencio´n de las reglas . . . . . . . . . . . . . . . . . . . . . 61
4.5.1. Ejemplo de una aplicaci´on . . . . . . . . . . . . . . . 62
4.6. Factor de certeza del conocimiento adquirido . . . . . . . . . 65
4.7. Generalizacio´n del conocimiento encontrado . . . . . . . . . 69
4.8. Esquema de adquisici´on de conocimiento simb´olico . . . . . 71
5 Miner´ıa de datos utilizando redes ENN 72
5.1. Aproximaci´on funcional . . . . . . . . . . . . . . . . . . . . . 73
5.2. ENN como aproximador del modelo general de regresio´n . . 76
5.3. Estudio de funciones booleanas mediante ENN . . . . . . . . 79
6 Miner´ıa de datos con redes RBF 88
6.1. Redes de neuronas de base radial . . . . . . . . . . . . . . . 89
6.2. Clasificacio´n y conocimiento de datos de madera con RBF . 92
6.2.1. Descripcio´n del problema . . . . . . . . . . . . . . . . 95
6.2.2. M´etodo usando redes neuronales . . . . . . . . . . . . 96
6.2.3. Los modelos de prediccio´n . . . . . . . . . . . . . . . 98
6.2.4. Procedimiento experimental . . . . . . . . . . . . . . 99
v
´
Indice general
6.2.5. An´alisis de Sensibilidad . . . . . . . . . . . . . . . . . 100
6.2.6. Las redes de funciones de base radial como clasifica-
dor para la prediccio´n de los productos forestales . . 101
6.2.7. Comparaci´on de resultados con un modelo de regresio´n108
6.3. RBF para predecir la retenci´on orga´nica por membranas de
nanofiltracio´n . . . . . . . . . . . . . . . . . . . . . . . . . . 111
6.3.1. Modelo desarrollado . . . . . . . . . . . . . . . . . . 112
6.3.2. Determinaci´on de las condiciones importantes para el
modelo . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.4. Estudio mediante RBF de diferentes componentes de la uva 117
6.5. Control simulta´neo de sistemas cao´ticos mediante redes RBF 122
6.5.1. Sistemas dina´micos ca´oticos . . . . . . . . . . . . . . 123
6.5.2. Control simult´aneo de los sistemas cao´ticos . . . . . . 124
6.5.3. Control alcanzado . . . . . . . . . . . . . . . . . . . . 128
IV Conclusiones 131
7 Conclusiones y l´ıneas futuras 132
V Ap´endice 134
8 Ap´endice Co´digo de una red ENN en R 135
VI Bibliograf´ıa 143
Bibliograf´ıa 144
vi
´
Indice de figuras
2.1. Jerarqu´ıa de reglas . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2. Red de neuronas generadas . . . . . . . . . . . . . . . . . . . . 21
2.3. Algoritmo MACIE . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.1. ENN 3-2-1 Lineal . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.2. ENN 1-1 Lineal . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3. Red ENN sin capa oculta . . . . . . . . . . . . . . . . . . . . . 45
3.4. Red ENN con capa oculta . . . . . . . . . . . . . . . . . . . . . 46
3.5. Red ENN 1-1-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.1. Conjunto de redes de neuronas ENN obtenidas por el m´etodo MB 60
4.2. Esquema de adquisici´on de conocimiento simb´olico . . . . . . . 71
5.1. Formas obtenidas mediante ENN de las funciones XOR, c´ırculo,
elipse y la para´bola . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.2. Funci´on Booleana . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.3. Red ENN 2-1 Lineal . . . . . . . . . . . . . . . . . . . . . . . . 82
6.1. Red de neuronas de funcio´n de base radial . . . . . . . . . . . . 90
6.2. Clusters (tres) obtenidos por RBF. . . . . . . . . . . . . . . . . 108
6.3. Sistema Lozi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4. Sistema Ikeda . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.5. Sistema Tinkerbell . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.6. Active Cost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.7. Active Cost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.8. Active Performance . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.9. Active Performance . . . . . . . . . . . . . . . . . . . . . . . . . 130
vii
´
Indice de tablas
4.1. Lasvariablesdeentradama´simportantes:pesosasociadosenca-
daintervalodevolumendesalida(oclase)conelerrorcuadra´tico
medio (MSE) obtenido por ENN. . . . . . . . . . . . . . . . . . 63
4.2. Los valores de las variables en cada ENN . Antecedentes de do-
i
minio de las reglas. . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.3. Intervalos de salida, consecuentes de las reglas, Variable: volumen 66
4.4. Probabilidad de los intervalos de salida . . . . . . . . . . . . . . 67
4.5. Variables de entrada, datos Datos/Variable: corteza . . . . . . . 67
4.6. Variables de entrada, datos Datos/Variable: edad . . . . . . . . 67
4.7. Variables de entrada, datos Datos/Variable: dia´metro (cm) . . . 67
4.8. Variables de entrada, datos Datos/Variable: altura (m) . . . . . 68
4.9. Probabilidad de cada variable en el intervalo mediano . . . . . . 68
4.10.Probabilidad de cada variable en el intervalo complementario al
mediano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.11.Grado de certeza de cada regla C(R ) . . . . . . . . . . . . . . 70
m
5.1. Pesos asociados a funciones de entrenamiento . . . . . . . . . . 75
5.2. Pesos asociados a la funci´on f(x,y) = x+y2 . . . . . . . . . . . 76
5.3. Resultados con diversas dimensiones . . . . . . . . . . . . . . . 80
6.1. Importancia de las variables de entrada . . . . . . . . . . . . . . 101
6.2. Las principales variables de entrada . . . . . . . . . . . . . . . . 102
6.3. 4 variables y 16 clusters MSE=0.0079 . . . . . . . . . . . . . . . 103
6.4. 4 variables y 12 clusters MSE=0.0078 . . . . . . . . . . . . . . . 103
6.5. 4 variables y 8 clusters MSE=0.0075 . . . . . . . . . . . . . . . 103
6.6. 4 variables y 5 clusters MSE=0.0073 . . . . . . . . . . . . . . . 104
6.7. 4 variables y 4 clusters MSE=0.1 . . . . . . . . . . . . . . . . . 104
6.8. 3 variables y 4 clusters MSE=0.0078 . . . . . . . . . . . . . . . 104
6.9. 3 variables y 3 clusters MSE=0.104 . . . . . . . . . . . . . . . . 104
6.10.2 variables y 4 clusters MSE=0.0079 . . . . . . . . . . . . . . . 105
6.11.2 variables y 3 clusters MSE=0.008 . . . . . . . . . . . . . . . . 105
viii
´
Indice de tablas
6.12.Clusters obtenidos mediante RBF . . . . . . . . . . . . . . . . . 106
6.13.Pesos y ana´lisis de sensibilidad para la clase 1. La altura es la
variable ma´s importante . . . . . . . . . . . . . . . . . . . . . . 107
6.14.Pesos y an´alisis de sensibilidad para la Clase 2. El dia´metro es
la variable m´as importante . . . . . . . . . . . . . . . . . . . . . 107
6.15.Pesos y an´alisis de sensibilidad para la Clase 3. La altura es la
ma´s importante . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.16.Regresi´on estimada para cada subgrupo . . . . . . . . . . . . . 110
6.17.Error cuadr´atico medio para tres predicciones . . . . . . . . . . 110
6.18.Concentraciones de los compuestos . . . . . . . . . . . . . . . . 114
6.19.An´alisis de sensibilidad % con MLP . . . . . . . . . . . . . . . 115
6.20.An´alisis de sensibilidad % con RBF . . . . . . . . . . . . . . . . 116
6.21.Resultados con MLP . . . . . . . . . . . . . . . . . . . . . . . . 116
6.22.Resultados con RBF . . . . . . . . . . . . . . . . . . . . . . . . 117
6.23.Resultados de Peso, Ph, Acidez total y Brixo . . . . . . . . . . . 118
6.24.An´alisis de los datos de Peso, Ph, Acidez total Brixo . . . . . . 119
6.25.Resultados de Peso de la uva, Tarta´rico, Ma´lico y Brixo . . . . . 119
6.26.An´alisis de los datos de Peso de la uva, Tart´arico, M´alico y Brixo 119
6.27.Resultados de Brixo, Ph, Acidez total y Peso de la uva . . . . . 120
6.28.An´alisis de los datos de Brixo, Ph, Acidez total y Peso de la uva 120
6.29.Resultados de Ph, Glucosa, Fructosa, Tarta´rico, Ma´lico y Peso
de la uva . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.30.An´alisis de los datos de Ph, Glucosa, Fructosa, Tart´arico, Ma´lico
y Peso de la uva . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
ix
Resumen
Este trabajo propone una serie de algoritmos con el objetivo de extraer
informacio´n de conjuntos de datos con redes de neuronas. Se estudian di-
chos algoritmos con redes de neuronas Enhenced Neural Networks (ENN),
debido a que esta arquitectura tiene algunas ventajas cuando se aproximan
funciones mediante redes neuronales. En la red ENN los pesos de la matriz
principal var´ıan con cada patro´n, por lo que se comete un error menor en
la aproximacio´n.
Las redes de neuronas ENN reu´nen la informaci´on en los pesos de su
red auxiliar, se propone un m´etodo para obtener informacio´n de la red a
trav´es de dichos pesos en formas de reglas y asignando un factor de certeza
de dichas reglas. La red ENN obtiene un error cuadr´atico medio menor
que el error te´orico de una aproximacio´n matema´tica por ejemplo mediante
polinomios de Taylor.
SemuestracomounaredENN,entrenadaapartirunconjuntodepatro-
nes obtenido de una funcio´n de variables reales, sus pesos asociados tienen
unas relaciones similares a las que se verifican con las variables indepen-
dientes con dicha funci´on de variables reales.
Las redes de neuronas ENN aproximan polinomios, se extrae conoci-
miento de un conjunto de datos de forma similar a la regresio´n estad´ıstica,
resolviendo de forma ma´s adecuada el problema de multicolionalidad en
caso de existir. Las relaciones a partir de los pesos asociados de la matriz
de la red auxiliar se obtienen similares a los coeficientes de una regresio´n
para el mismo conjunto num´erico. Una red ENN entrenada a partir de un
conjunto de datos de una funcio´n boolena extrae el conocimiento a partir
de los pesos asociados, y la influencia de las variables de la regla l´ogica de la
funcio´n booleana, queda reflejada en esos pesos asociados a la red auxiliar
de la red ENN.
Seplanteaunareddebaseradial(RBF)paralaclasificacio´nyprediccio´n
en problemas forestales y agr´ıcolas, obteniendo mejores resultados que con
x