Aprendizaje por transferencia de redes bayesianas

130 Pages·2009·2.97 MB·Spanish

Aprendizaje por transferencia
de redes bayesianas
por
Roger Luis Vela´zquez
Tesis sometida como requisito parcial para
obtener el grado de
´
MAESTRO EN CIENCIAS EN EL AREA DE
CIENCIAS COMPUTACIONALES
en el
´
Instituto Nacional de Astrof´ısica, Optica y
Electro´nica
2009
Tonantzintla, Puebla
Supervisada por:
Dr. Luis Enrique Sucar Succar, INAOE
Dr. Eduardo Morales Manzanares, INAOE
(cid:176)c INAOE 2009
El autor otorga al INAOE el permiso de
reproducir y distribuir copias en su totalidad o en
partes de esta tesis

Resumen
Enmuchosdominios,escomúntenerdatosdeproblemassimilares(entendiéndoseasíporque
las distribuciones de los datos son parecidos entre sí pero no iguales). Por ejemplo, en la in-
dustriasetienenmuchosproductosqueseobtienenporelmismoprocesoindustrialperocon
diferentescondiciones;oeneldiagnósticoindustrialdondeseencuentranequiposconespeci-
ficacionessimilares.Enestoscasos,escomúntenerunagrancantidaddedatosparaalgunos
escenariosperomuypocosparaotros,porejemplo,paraproductosrarosdepocaproducción.
Cuandosecuentaconmuchosdatossepuedeninducirmodelosapartirdeéstosquepueden
serutilizadosentareasdediagnósticoyclasificación.Sinembargo,comolaexactituddelmo-
delo inducido está en función de los datos disponibles, al tener relativamente pocos datos se
obtienenmodelosmuypobres.Conelobjetivodemejorarlaexactituddelaprendizajedemode-
losparadominiosconpocosdatos,unaposibilidadesutilizardatosyconocimientodedominios
similares.Utilizarconocimientodedominiossimilaresyahasidoabordadoenlaliteraturapre-
sentándose técnicas conocidas como APRENDIZAJE DE MÚLTIPLES TAREAS, cuyo objetivo es
mejorar múltiples modelos simultáneamente, o en otros casos mejorar un único modelo uti-
lizando técnicas de APRENDIZAJE POR TRANSFERENCIA. Las redes bayesianas no han sido
muy utilizadas con las técnicas mencionadas anteriormente. En esta tesis, se propone utilizar
aprendizajeportransferenciaenmétodosdeobtencióndelaestructurayparámetrosderedes
bayesianasapartirdedatos.Paraelaprendizajeestructural,seusanpruebasdeindependen-
cia condicional, combinando medidas desde el dominio objetivo con las obtenidas de uno o
másdelosdominiosauxiliares,transfiriendoinformacióndesdelosdominiosmásrelacionados
conelobjetivodemejorarlaprecisióndelaspartesmenosconfiablesdelared.Paraelapren-
dizaje paramétrico, se compararon técnicas de agregación de probabilidades que combinan
lasprobabilidadesestimadasdelosdatosconlosdatosauxiliares.Medianteestastécnicasse
tratadeabordardosproblemasrelacionados:lafaltadeinformaciónenlosdominiosconpocos
I
II
datos utilizando problemas relacionados y una manera de transferir conocimiento desde pro-
blemas relacionados conservando aquellas características propias del modelo objetivo. Para
validarlapropuesta,sonusadastresredesbayesianascomúnmenteutilizadasenlaliteratura,
generándosevariantesdecadamodelocambiandolaestructuraylosparámetros.Seaprende
la estructura de una de las variantes con un pequeño conjunto de casos combinándose con
la información de otras variantes. Los resultados experimentales muestran una mejora signi-
ficativa en la exactitud de la recuperación en la estructura y parámetros de la red cuando se
transfiereconocimientodesdeproblemassimilares.
Abstract
Inseveraldomains,itiscommontohavedatafromdifferent,butcloselyrelatedproblems(this
means that the distributions of the data are similars but no equals). For instance, in manu-
facturing many products follow the same industrial process but with different conditions; or in
industrial diagnosis, where there is equipment with similar specifications. In these cases, it is
commontohaveplentyofdataforsomescenariosbutverylittleforother,forexample,forrare
products of little production. When there are a lot of data they can induce models from which
can be used in diagnosis and classification tasks. However, as the exactitude of the induced
modelisbasedonthedataavailable,havingrelativelylittledataareobtainedverypoormodels.
Inordertoimprovetheaccuracyofmodelsforlearningdomainswithlittledata,onepossibilityis
tousedataandknowledgeofsimilardomains.Usingknowledgeofsimilardomainshasalready
beenaddressedinpreviousworksintroducingtechniquesknownasMULTITASKLEARNING,who-
seobjectiveistoimprovemultiplemodelssimultaneously,orotherwiseimproveasinglemodel
usingtechniquesknownas TRANSFER LEARNING.Thebayesiansnetworkshavenotbeenused
withthementionedtechniquespreviously.Inthisthesis,weproposeatransferlearningmethod
tolearnBayesiannetworksthatconsidersboth,structureandparameterlearning.Forstructure
learning, we use conditional independence tests, by combining measures from the target do-
mainwiththoseobtainedfromoneormoreauxiliarydomains,transferringinformationfromthe
most related domains with the aim of improving the accuracy of the less reliable parts of the
network.Forparameterlearning,it’scomparedthreetechniquesforprobabilityaggregationthat
combine probabilities estimated from the target domain with the auxiliary data. Through these
techniquesistoaddresstworelatedproblems:thelackofinformationinthedomainswithlittle
data using domains related and a way of transferring knowledge from those domains related
retainingcharacteristicsofthetargetmodel.Tovalidatetheapproach,areusedthreestandard
Bayesiannetworkscommonlyusedinliterature,andgeneratedvariantsofeachmodelbychan-
III
IV
ging the structure as well as the parameters. Then learned on one of the variants with a small
datasetandcombineditwithinformationfromtheothervariants.Theexperimentalresultsshow
asignificantimprovementintheaccuracyoftherecoveryinthestructureandparameterswhen
knowledgeistransferredfromsimilarproblems.
Agradecimientos
A mis asesores, el Dr. Luis Enrique Sucar Succar y el Dr. Eduardo Morales Manzana-
res, por su orientación, por su apoyo al permitirme explorar diferentes escenarios de
investigación,porsupacienciaytiempootorgados.
Amisrevisoresdetesis,Dr.ManuelMontesyGomez,Dr.LeopoldoAltamiranoRobles
y en especial al Dr. Jesús Gonzáles Bernal , por tomar tiempo y dedicación en sus
observaciones.
A los profesores del INAOE, que supieron mostrar un nuevo mundo de conocimiento
queestabaocultoantemisojos.
Al Consejo Nacional de Ciencia y Tecnología (CONACYT) y el Instituto Nacional de
Astrofísica, Óptica y Electrónica (INAOE), por el soporte económico brindado durante
misestudios,yaquesinsuayudanohabríasidoposiblecursarmisestudios.
Amispadres,sinellosnoseríaquiensoy.
Atodamifamilia,porsacrificarmuchotiempoquedebícompartirconellos.
A Berenice, por haber aguantado conmigo tantos momentos difíciles en el transcurso
denuestrosestudioshaciendosoportabletodoeltrayecto.
...Gracias
V
VI
Dedicatoria
Amispadres
Amishermanos
Amifamilia
Berenice.Parati,conquienhepasadodelosmejoresmomentosdemivida
VII
VIII