MODELOS PARALELOS DE ALGORITMOS GENkTICOS NO APRENDIZADO DE REDES

166 Pages·2012·9.57 MB·Spanish

MODELOS PARALELOS DE ALGORITMOS GENkTICOS NO
APRENDIZADO DE REDES NEURONAIS ARTIFICIAIS
Mauricio Gonzalo Solar Fuentes
TESE SUBMETIDA AO CORPO DOCENTE DA COORDENAÇÃO DOS
PROGRAMAS DE PÓS-GRADUAÇÃO DE ENGENHARIA DA UNIVERSIDADE
FEDERAL DO RIO DE JANEIRO COMO PARTE DOS REQUISITOS NECESSARIOS
PARA A OBTENÇÃO DO GRAU DE DOUTOR EM CIÊNCIAS EM ENGENHARIA
DE SISTEMAS E COMPUTA~ÃO.
Aprovada por:
Profa. Sueli B. Teixeira Mendes, Ph.D.
(Presidente)
Prof. Valmir Cartieiro ~arbosaP, h.D.
Prof. Luis ~lfredoV . de Carvalho, D.Sc.
Prof. &hdírdo José Machado, D.Sc.
Prof. Jaynd Luiz Szwarcfiter, Ph.D.
RIO DE JANEIRO, RJ - BRASIL
AGOSTO DE 1992
SOLAR F., MAURICIO G.
Modelos Paralelos de Algoritmos Genéticos no
Aprendizado de Redes Neuronais Artificiais
[Rio de Janeiro] 1992
XIV, 152 p. 29,7 cm (COPPEIUFRJ, D.Sc., Engenharia
em Sistemas e Computação, 1992)
Tese Universidade Federal do Rio de Janeiro, COPPE
-
1. - Inteligência Artificial
2.- Sistemas Conexionistas
3.- Algoritmos Genéticos
4.- Processamento Paralelo
I. COPPE/UFRJ. 11. Título (série).
iii
Pode-se, na ciência aprender o máximo
estudando aquilo que parece ser o mínimo.
A minha filha NICOLE.
A minha esposa MARIELA.
AGRADECIMENTOS
Muitas pessoas contribuisam para a realização deste trabalho, seja pela
amizade ou pelas trocas de idéias.
Primeiro, desejo expressar meus agradecimentos ao PROGRAMA DE
ENGENHARIA DE SISTEMAS E COMPUTAÇÃO/COPPE da UFRJ, e em especial
ao POVO DO BRASIL (através do CNPq e CAPES) pela possibilidade de realizar a
pós-graduação.
Desejo expressar ineus mais sinceros agradecinlentos a Professora SUELI
MENDES, pela sua confiança, apoio e orientação acadêmica.
Aos ineus professores da COPPE, que me ensinaram o caminho da pesquisa,
onde há muita coisa para ser feita.
Aos professores da banca pelos seus significativos comentários e
contribuições, em especial ao Dr. RICARDO MACHADO.
Aos meus colegas da COPPE pela convivência e amizade que é
indispensável no est~ldo: Adelina, Cláudias, Clicia, Cristina, H6rcules7 Hugo, Tnês,
Lorena, Márcia, Max, Monica, Rui, Victor, etc.
A minha família: MARIELA pelo seu amor e sacrifício de ter suportado
estes anos de estudo; e NICOLE, quem me deu a energía de continuar ineus estudos e
pesquisa.
Aos meus pais e irmãos, pelo amor.
Em geral, a todas as pessoas que me apoiaram e ajudaram
desinteressadamente: Manolo, Maria Angélica, à turina do Río Rugby. Obrigado.
Resumo da Tese apresentada à COPPEIUFRJ como parte dos requisitos necessái-ios pasa
obtenção do grau de Doutor em Ciências (D.Sc.).
MODELOS PARALELOS DE ALGORITMOS GENÉTICOS NO
APRENDIZADO DE REDES NEURONAIS ARTIFICIAIS
Mauricio Gonzalo Solar Fuentes
Agosto de 1992
Orientador: P1i.D. Siieli B. T. Mendes
Prograina: Programa de Engenharia de Sistemas e Computação
Esta tese apresenta um modelo paralelo de um Algoritmo Genético Conexionista (AGC)
adequado para tarefas que operam num meio ambiente dinâmico. O modelo é baseado
nos mecanismos de busca dos Algoritmos Genéticos (AGs) e em resultados provenientes
das Redes Neuronais Artificiais (RNAs). As propriedades e os pasâmetros do AGC
permitem ao sistema se adaptar às mudanças do meio ambiente, respondendo
adequadamente às situações para as quais não foi treinado. O AG é capaz de superar as
limitações de aprendizado automático das RNAs, permitindo alterar o conhecimento na
medida que o meio ambiente muda. O AGC apresenta propriedades desejiíveis de ambos
os campos, ou seja capacidade de generalização das RNAs e capacidade de adaptação
dos AGs.
As limitações de usar as RNAs num meio ambiente dinâmico, como no caso do controle
de processos, é produto da dificuldade destas em capturar todos os padrões na fase de
aprendizado. Daqui surge a necessidade de dispor de um sistema que possa se adaptar
facilmente às mudanças do meio ambiente.
Várias propostas têm sido apresentadas como uma solução a este problema. Uma delas é
o uso dos Algoritmos Genéticos, os quais têm mostrado ser uma boa alternativa pela sua
flexibilidade na adaptação. Mas, estes AGs "puros" não possuem um mecanismo de
aprendizado eficiente que oriente a busca, dado que a forma de avaliar as soluções
(função objetivo) é muito complexa de obter.
A solução proposta neste trabalho é um modelo paralelo de Algoritino Genético
Conexionista que combina ainbas as técnicas, onde 6 possível modificar os pesos das
RNAs de tal forma que o conhecimento armazenado nas conexões, seja alterado na
vii
medida que o meio ambiente muda. Isto permite herdar as propriedades desejáveis de
arnbas as técnicas.
O AGC opera com uma família (população) de RNAs (indivíduos) da mesma
arquitetura, cujo conhecimento armazenado nos pesos é diferente. Cada processados
contem uma parcela da pop~~lação(p opulação local). O processamento é feito
localmente em cada processador em forma independente do resto da população,
permitindo aumentar a velocidade de processamento.
viii
Abstract of Thesis presented to COPPEIUFRJ as partia1 fulfillment of the requirements
for the degree of Doctos of Science (D.Sc.).
PARALLEL MODELS TO GENETIC ALGORITHMS IN LEARNING OF
ARTIFICIAL NEURAL NETWORKS
Mauricio Gonzalo Solar Fuentes
August of 1992
Thesis Supervisor: Ph.D. Sueli B. T. Mendes
Department: Programa de Engenharia de Sistemas e Computação
This thesis presents a parallel model to the combination of Artificial Neiiral Networks
(ANNs) with Genetic Algorithins (GAs), producing a flexible and powesful leasning
paradigm, called Conexionist Genetic Algorithrn (CGA).
In Computer Science, where sequential algorithins are usually paralleled by ineans of
tricks and contortions, it is altogether ironical that Genetic Algorithins, which are
inherently parallel, are pesformed serially, using the same unnatural, non-elegant tricks.
This thesis presents a parallel model for a Conexionist Genetic Algorithm, mapped
naturally on a parallel machine (Intel's iPSC and INMOS Transputer Network), with
good results in terins of cominunication, process and response time. The model is based
on GA's search inechanisms and on results from ANNs. The properties and parameters
of CGA allow for the system to adapt to changes in the envisonment, so that it responds
adequaly in situations for which it was not trained. The GA is able to overcome the
limitations of automatic learning of the ANNs, so that the knowledge can be modified to
the extend of changes in the envisonment. The CGA has desisable properties of both
fields, i.e., a capacity for generalisation of ANNs and a capacity for adaptation of GAs.
The CGA operates with a fanlily (population) of ANNs (individuais) with a fixed
architecture, but with different knowledge stored in theis weigths.
Starting from the hypothesis of building blocks, the cromosomic representation of the
ANNs guarantees the search for the optimum of the solution. The set of synapses having
an effect on the learning of a single neuron on the output layer forms a block, which
must be contiguous with the other blocks having an influence on the same neuron.
The results obtained with the parallel model of automatic learning show that the initial
population size is independent of the length of the cromosome, and that the processing
response is appropiate for real time applications in dynamic environments.
CAPÍTULO II
APRENDIZADO NAS REDES NEURONAIS ARTIFICIAIS
11. i INTRODUÇÃO 4
II.2 TEMPO REAL: RNA VS SISTEMAS ESPECIALISTAS 6
II.2.1 Sistemas Especialistas e o Controle de Processos 6
II.2.2 Problemas dos Sistemas Especialistas 8
II.2.3 RNAs e o Controle de Processos 9
n.3 CONCEITOS BÁSICOS DAS RNAS 10
II.3.1 Definiqão dos Conceitos 11
11.3.2 Modelos de Neurônios 12
11.4 TREINAMENTO E APRENDIZADO NAS RNAs 15
II.4.1 Regras Correlacionais 17
11.4.2 Regras de Correção de Eiios 18
11.4.3 Aprendizado não Supervisionado 22
II.5 CONSIDERAÇÕES DAS APLICAÇÕES DAS RNAs EM TEMPO REAL
25
11.5.1 Controle Supervisionado 25
II.5.2 Dinâmica Inversa 26
II.5.3 Estabilidade do Sistema 27
11.5.4 "Backpropagation" através do Tempo 27
II.5.5 Adaptação Crítica e Aprendizado Reforçado 2 8
11.6 RNA PARA O CONTROLE DE PROCESSOS 29
CAPÍTULO III
ALGORITMOS GENÉTICOS
m.1
INTRODUÇÃO
2 SISTEMAS DE CLASSIFICAÇÃO
III.2.1 As Cadeias e Mensagens
111.2.2 Algoritmos de Atribuição de Créditos
111.2.3 Definições dos Elementos Básicos
m.3 ALGORITMOS GENÉTICOS
III.3.1 Características dos Algoritmos Geneticos