Optimización de Redes Bayesianas Basada en Técnicas de Aprendizaje por Inducción

157 Pages·2005·1.64 MB·Spanish

OPTIMIZACIÓN DE REDES BAYESIANAS BASADO
EN TÉCNICAS DE APRENDIZAJE POR INDUCCIÓN

TESIS DE GRADO EN INGENIERÍA INFORMÁTICA

FACULTAD DE INGENIERÍA
UNIVERSIDAD DE BUENOS AIRES

TESISTA: Sr. Pablo Ezequiel FELGAER

DIRECTORES: Prof. Dr. Ramón GARCÍA-MARTÍNEZ
Prof. M. Ing. Paola BRITOS

Laboratorio de Sistemas Inteligentes

FEBRERO 2005

OPTIMIZACIÓN DE REDES BAYESIANAS BASADO EN TÉCNICAS
DE APRENDIZAJE POR INDUCCIÓN

TESIS DE GRADO EN INGENIERÍA INFORMÁTICA

Laboratorio de Sistemas Inteligentes

FACULTAD DE INGENIERÍA
UNIVERSIDAD DE BUENOS AIRES

Sr. Pablo Ezequiel Felgaer Prof. Dr. Ramón García-Martínez
Tesista Director

FEBRERO 2005

Resumen

Una red bayesiana es un grafo acíclico dirigido en el que cada nodo representa una
variable y cada arco una dependencia probabilística; son utilizadas para proveer: una forma
compacta de representar el conocimiento y métodos flexibles de razonamiento. El obtener
una red bayesiana a partir de datos es un proceso de aprendizaje que se divide en dos
etapas: el aprendizaje estructural y el aprendizaje paramétrico. En este trabajo se define un
método de aprendizaje automático que optimiza las redes bayesianas aplicadas a
clasificación mediante la utilización de un método de aprendizaje híbrido que combina las
ventajas de las técnicas de inducción de los árboles de decisión (TDIDT - C4.5) con las de
las redes bayesianas.

Palabras clave: Redes bayesianas. Aprendizaje por inducción. Clasificación. Sistemas
inteligentes híbridos.

Abstract

A bayesian network is a directed acyclic graph in which each node represents a
variable and each arc a probabilistic dependency; they are used to provide: a compact form
to represent the knowledge and flexible methods of reasoning. Obtaining a bayesian
network from data is a learning process that is divided in two steps: structural learning and
parametric learning. In this paper we define an automatic learning method that optimizes
the bayesian networks applied to classification using a hybrid method of learning that
combines the advantages of the induction techniques of the decision trees (TDIDT - C4.5)
with those of the bayesian networks.

Keywords: Bayesian networks. Induction learning. Classification. Hybrid intelligent
systems.

Optimización de Redes Bayesianas basado en Técnicas de Aprendizaje por Inducción
Índice

1. Introducción....................................................................................................................1
2. Estado del arte.................................................................................................................5
2.1. Introducción............................................................................................................5
2.2. Redes bayesianas....................................................................................................7
2.2.1. Definición formal de las redes bayesianas......................................................8
2.2.2. Representación del conocimiento.................................................................11
2.2.3. Independencia condicional...........................................................................12
2.2.4. Inferencia......................................................................................................15
2.2.5. El aprendizaje en las redes bayesianas.........................................................28
2.2.6. Ventajas de las redes bayesianas..................................................................36
2.3. Árboles de decisión – TDIDT...............................................................................39
2.3.1. Características de los árboles de decisión.....................................................39
2.3.2. Construcción de los árboles de decisión.......................................................39
2.3.3. Descripción general de los algoritmos..........................................................44
2.3.4. Presentación de los resultados......................................................................53
2.4. Marco de la tesis........................................................................................................54
3. Descripción del problema .............................................................................................55
4. Solución propuesta........................................................................................................57
4.1. Datos de entrada...................................................................................................57
4.2. Sistema integrador................................................................................................58
4.3. Otros abordajes.....................................................................................................60
5. Prueba experimental.....................................................................................................61
5.1. Descripción de los dominios.................................................................................61
5.1.1. Cáncer...........................................................................................................62
5.1.2. Cardiología...................................................................................................63
5.1.3. Dengue..........................................................................................................64
5.1.4. Hongos..........................................................................................................66
5.2. Metodología utilizada...........................................................................................67
5.3. Análisis estadístico de los resultados....................................................................69
Índice Pablo Felgaer i
Optimización de Redes Bayesianas basado en Técnicas de Aprendizaje por Inducción
5.3.1. Prueba de hipótesis estadísticas....................................................................69
5.3.2. El test de Wilcoxon para la comparación de muestras apareadas................71
5.3.3. Aplicación del test a los resultados...............................................................74
5.4. Resultados.............................................................................................................75
5.4.1. Cáncer...........................................................................................................75
5.4.2. Cardiología...................................................................................................77
5.4.3. Dengue..........................................................................................................80
5.4.4. Hongos..........................................................................................................82
6. Conclusiones.................................................................................................................85
Referencias...........................................................................................................................87
A. Casos de uso .................................................................................................................95
A.1. Menú Archivo.......................................................................................................95
A.2. Menú Red..............................................................................................................96
A.3. Menú Nodo...........................................................................................................97
A.4. Menú Herramientas..............................................................................................98
A.5. Menú Configuración.............................................................................................99
A.6. Menú Ayuda.......................................................................................................100
B. Gestión de configuración............................................................................................103
B.1. Identificación de la configuración......................................................................103
B.2. Control de configuración....................................................................................103
B.3. Generación de informes de estado......................................................................105
C. Lote de prueba............................................................................................................107
C.1. Plan de pruebas...................................................................................................107
C.2. Documento de diseño de la prueba.....................................................................109
C.3. Especificación de los casos de prueba................................................................110
C.4. Especificación del procedimiento de prueba......................................................112
C.5. Informe de los casos de prueba ejecutados.........................................................113
C.6. Informe de la prueba...........................................................................................115
C.7. Anexo con documentación de las pruebas realizadas.........................................116
D. Manual del usuario.....................................................................................................125
D.1. Introducción........................................................................................................125
ii Pablo Felgaer Índice
Optimización de Redes Bayesianas basado en Técnicas de Aprendizaje por Inducción
D.2. Estructuración del sistema..................................................................................125
D.2.1. Menú de opciones.......................................................................................126
D.2.2. Barra de herramientas.................................................................................127
D.2.3. Lista de nodos.............................................................................................128
D.2.4. Área de visualización..................................................................................128
D.2.5. Barra de estado ...........................................................................................129
D.3. Abrir una red bayesiana......................................................................................129
D.4. Guardar una red bayesiana..................................................................................130
D.5. Minería de datos.................................................................................................130
D.6. Trabajar con una red bayesiana ..........................................................................134
D.6.1. Instanciar nodos..........................................................................................134
D.6.2. Información de la red..................................................................................135
D.6.3. Visualización de la red................................................................................137
D.7. Archivos externos...............................................................................................140
D.7.1. Archivos de redes.......................................................................................140
D.7.2. Archivos de datos.......................................................................................143

Índice de figuras

Figura 2.1: Ejemplo de red bayesiana...................................................................................13
Figura 2.2: Ejemplo de red bayesiana...................................................................................14
Figura 2.3: “The dog barking problem”. ..............................................................................22
Figura 2.4: “The dog barking problem” – Instanciación del nodo d....................................25
Figura 2.5: “The dog barking problem” – Estado inicial......................................................26
Figura 2.6: “The dog barking problem” – Instanciación del nodo h....................................26
Figura 2.7: “The dog barking problem” – Instanciación de los nodos h y f.........................27
Figura 2.8 “The dog barking problem” – Instanciación de los nodos h, f y d......................28
Figura 2.9: Tipos de conexiones en un grafo dirigido: (a) divergentes, (b) secuenciales y (c)
convergentes.................................................................................................................33
Figura 4.1: Esquema de obtención de redes bayesianas completas......................................58
Índice Pablo Felgaer iii
Optimización de Redes Bayesianas basado en Técnicas de Aprendizaje por Inducción
Figura 4.2: Esquema de obtención de redes bayesianas C4.5..............................................59
Figura 4.3: Esquema del proceso de verificación del poder predictivo................................60
Figura A.1: Casos de uso “Archivo”.....................................................................................96
Figura A.2: Casos de uso “Red”...........................................................................................97
Figura A.3: Casos de uso “Nodo”.........................................................................................98
Figura A.4: Casos de uso “Herramientas”...........................................................................98
Figura A.5: Casos de uso “Configuración”........................................................................100
Figura A.6: Casos de uso “Ayuda”.....................................................................................101
Figura C.1: Abrir una red bayesiana (01)...........................................................................116
Figura C.2: Ver la tabla de probabilidades totales de una red bayesiana (04)....................117
Figura C.3: Ordenar la red bayesiana en la pantalla (05) ...................................................117
Figura C.4: Instanciar un nodo de una red bayesiana (06).................................................118
Figura C.5: Instanciar un nodo de una red bayesiana (07).................................................118
Figura C.6: Desinstanciar un nodo de una red bayesiana (08)...........................................119
Figura C.7: Ver la tabla de probabilidades condicionales de un nodo de una red bayesiana
(09)..............................................................................................................................119
Figura C.8: Ver la tabla de probabilidades totales de un nodo de una red bayesiana (10).120
Figura C.9: Ver las propiedades de un nodo de una red bayesiana (11)............................120
Figura C.10: Proceso de Minería de Datos (12).................................................................121
Figura C.11: Ocultar la barra de estado (13)......................................................................121
Figura C.12: Ocultar la barra de herramientas (15)............................................................122
Figura C.13; Mostrar los nodos de una red bayesiana por nombres (17)...........................122
Figura C.14: Mostrar los nodos de una red bayesiana por probabilidades (18).................123
Figura C.15: Mostrar los nodos de una red bayesiana en los diferentes tamaños posibles
(19)..............................................................................................................................123
Figura C.16: Ver las referencias respecto a los colores y las formas que se visualizan en el
sistema (20).................................................................................................................124
Figura D.1: Estructuración del sistema...............................................................................125
Figura D.2: Abrir una red bayesiana...................................................................................129
Figura D.3: Minería de datos – Presentación......................................................................130
Figura D.4: Minería de datos – Seleccionar archivo. .........................................................131
iv Pablo Felgaer Índice