Système d'interprétation mixte réseaux de neuronesŀsystème-expert applique aux images aériennes

19 Pages·2006·2.59 MB·French

systèmes experts
Système d'interprétation mixte
réseaux de neuronesŀsystème-expert
applique aux images a riennes
é
A Mixed System of Interpretation
Neural NetworksŀExpert-System
Applied to Aerial Images
Jean-Pierre COCQUEREZ, Jŀ Pŀ Cocquerez est ingénieur de l'ENSEA Après avoir fait sa recherche
en électronique rapide (chronométrie sub-nanoseconde) pour sa
ENSEA - ETIS, thèse de docteur-ingénieur, il s'intéresse aux traitements bas-niveau
1 Allée des Chênes Pourpres, en analyse d'images et à l'extraction de primitives dans les images
aériennes pour soutenir une thèse d'état en 1984ŀ Actuellement, il
95014 Cergy-Pontoise Cedex, France,
effectue sa recherche en interprétation d'images en approfondissant
les approches « systèmes expert » et neuromimétiquesŀ Jŀ Pŀ Cocque-
rez est responsable de l'Équipe Traitement des Images et du Signal
de L'ENSEA (ETIS) et du DEA Traitement des Images et du Signal de
l'Université de Cergyŀ Il est également animateur de l'opération
« segmentation » du GDR 134 du CNRSŀ
Philippe GAUSSIER, Phŀ Gaussier est né en 1967 ŀ Après une maîtrise EEA et un DEA en
électronique à l'INSTN, il termine un Doctorat en électronique à
ENSEA - ETIS, l'Université Paris XIŀ Ses travaux portent sur l'apprentissage en analyse
1 Allée des Chênes Pourpres, d'images et sur la simulation des mécanismes de vision à l'aide de
95014 Cergy-Pontoise Cedex, France, réseaux de neuronesŀ
Sylvie PHILIPP Après une maîtrise et un CAPES de Mathématiques, Sŀ Philipp a
enseigné les Mathématiques dans le secondaire de 1977 à 1984ŀ Elle
ENSEA - ETIS,
a obtenu son Doctorat d'informatique de l'Université Paris VI, option
1 Allée des Chênes Pourpres, Traitement des Images en 1988ŀ Sa thèse, effectuée à la Direction des
95014 Cergy-Pontoise Cedex, France, Études et Recherches d'EDF portait sur l'analyse de texture appliquée
aux radiographies de pièces métalliquesŀ Elle est actuellement maître
de conférence et enseigne à lENSEA et dans le DEA Traitement des
Images et du Signal de l'Université de Cergyŀ Depuis 1988, ses
activités de recherche se font dans le laboratoire de l'ETIS, à lENSEA,
et portent sur les traitements bas-niveaux (segmentation et analyse
de texture) et sur l'interprétation d'imageŀ
RÉSUMÉ
Dans cet article, nous proposons un système complet d'analyse d'images des approchesŀ Nous montrons également comment faire apprendre des
comprenant toute la chaîne de traitements depuis le bas-niveau jusqu'à configurations localement contradictoires à un réseau de neuronesŀ
l'interprétationŀ Il utilise à la fois un réseau de neurones et un système à
base de règlesŀ Nous montrons que la mise en oeuvre d'un système-expert MOTS CLÉS
fournit des informations précieuses pour la conception des réseaux ŀ La Analyse d'image, image aérienne, réseau de neurones, système à base de
réalisation mixte permet d'utiliser au mieux les spécificités de chacune règles, système-expert, reconnaissance des formes, apprentissageŀ
421
Traitement du Signal volume 9 - n° 5
ystèmes experts
Système d'interprétation mixte appliqué aux images aériennes
SUMMARY
In this paper, we propose a complete system ofanalysis ofimages, which KEY WORDS
includes the whole sequence oftreatments front the low level until the Image analysis, aerial image, neural network, rule-based system, expert-
interpretationŀ It uses neural networks as well as a rule-based system ŀ We system, pattern matching, learningŀ
show that the implementation ofan expert-system gives useful information
for the conception ofthe neural netsŀ The mixed realisation allows us to use
at best the specificities of each approachŀ We also show how to make a
neural network learn locally contradictory configurationsŀ
1ŀ mêmes auteurs [7] [17] utilisent une démarche voisine
Introduction pour l'analyse d'images d'aéroportŀ
Mc Keown [14] [15] propose un système-expert d'analyse
L'objectif de cet article est de montrer l'intérêt d'une d'images aériennes d'aéroportŀ La base de connaissance
approche mixte réseaux neuronaux-système expert pour comprend en plus des données images, des données
l'interprétation d'imagesŀ Nous mettons en évidence un cartographiques et architecturalesŀ Plusieurs techniques de
certain nombre de caractéristiques intéressantes et nous segmentation (approche frontière, région et texture) sont
donnons des indications pour la mise en oeuvre d'une telle exploitéesŀ Le nombre de règles est important, elles ont
approcheŀ nécessité le réglage d'un grand nombre de paramètres ŀ
Notre champ d'application est l'analyse d'images aériennes Signalons aussi, les travaux de Irwin et Mc Keown [9] qui
de zones urbaines et péri-urbaines dont l'interprétation est utilisent les caractéristiques des ombres pour reconnaître
complexe du fait de l'ambiguïté des situations et des et reconstruire les bâtimentsŀ
problèmes de segmentation rencontrésŀ Nous cherchons
En ce qui concerne notre étude, comme la plupart des
plus particulièrement à reconnaître les structures artificiel-
auteurs précités, nous effectuons une segmentation qui
les comme les bâtiments dans une des images d'un couple
permet d'élaborer une description de l'image sous forme
stéréoscopique, afin de les reconstruire par la suiteŀ
d'un graphe d'adjacence de régionsŀ Plutôt que de spéciali-
Plusieurs travaux portent sur l'interprétation d'images ser des opérateurs comme Nagao et Matsuyama, ou de
aériennesŀ La plupart font appel à des modèles plus ou mettre en correspondance la description avec un graphe
moins complexes de la scène observéeŀ modèle, nous effectuons une classification à partir des
Pour Nevatia et Price [20], le modèle de la scène est attributs associés à chaque sommet du graphe d'adjacenceŀ
représenté par un réseau sémantiqueŀ A chaque nceud est Nous préférons cette approche car elle traite l'image dans
associé un objet ou une partie d'objet, les arcs traduisent son ensemble, sans employer d'opérateur spécialisé pour
les relations entre objets ŀ Les naeuds sont étiquetés avec un type d'objetŀ Même si elle fournit un étiquetage
les attributs des objets ŀ Une description de l'image est multiple des régions, elle est plus générale parce que
élaborée sous la forme d'un graphe qui a la même l'adaptation à d'autres catégories d'images s'opère par un
structure que le modèle et qui intègre les résultats de deux nouveau réglage des seuils et parce qu'elle ne nécessite pas
techniques de segmentation utilisant l'approche frontière la mise en oeuvre d'opérateurs dédiés délicats à ajusterŀ
et l'approche régionŀ Ensuite, une mise en correspondance Ensuite pour résoudre le problème de l'étiquetage multi-
est faite entre le modèle et la description par une ple, nous utilisons un algorithme de propagation de
technique de relaxationŀ contraintes qui exploite les relations de voisinage ŀ
Pour la classification et la propagation de contraintes,
Nagao et Matsuyama [19] extraient les caractéristiques des
nous avons dans un premier temps suivi une approche de
régions de l'imageŀ Ensuite, plusieurs modules dédiés à
type système-expertŀ Malheureusement la généralisation à
l'identification d'objets particuliers (route, bosquetŀŀ ŀ)
un nombre important d'images différentes rend nécessaire
sont mis en aeuvreŀ Les résultats fournis par les modules
la fabrication de nouvelles règles de classificationŀ Il est
dédiés sont rassemblés et chaque module examine à
difficile d'imaginer ces règles et surtout de vérifier qu'elles
nouveau les cas ambigus jusqu'à ce qu'il n'y ait plus de
ne sont pas en contradiction avec des règles déjà crééesŀ
nouvelle identificationŀ
Huertas et Nevatia [8] traitent de la reconnaissance de D'autre part, les caractéristiques utilisées pour la recon-
bâtiments et extraient des primitives de types segments et naissance étant des valeurs analogiques, nous voulions que
anglesŀ En tenant compte des ombres, ils tracent les le système puisse déterminer automatiquement les diffé-
frontières des structures en respectant des contraintes de rents seuils dont il avait besoin et ce de façon optimale en
compatibilité pour construire des formes correspondant à regard d'une catégorie d'imagesŀ Nous nous sommes donc
tournés vers une approche neuronale qui utilise un appren-
des modèles de bâtiments en L, T, Uŀ Ensuite, ils affinent
la reconnaissance par une procédure de vérification tissage, supprimant ainsi la phase de recherche de nouvel-
d'hypothèsesŀ Les images qu'ils traitent sont de bonne les règles et de seuilsŀ
qualité et les bâtiments sont isolés ŀ Plus récemment les Nous avons développé deux systèmes pour l'interprétation
422
Traitement du Signal volume 9 - n° 5
ystèmes experts
Système d'interprétation mixte appliqué aux images aériennes
(l'un à base de règles et l'autre connexionniste)ŀ Finale- pour l'identification de bâtiments et leur reconstruction
ment, pour les raisons évoquées ci-dessus et déjà présen- tridimensionnelle à partir d'un couple stéréoscopique ŀ
tées dans les travaux de Gutknecht et Pfeifer [5] ou de
Hillman [6] (adaptabilité, réglage des seuils, généralisa-
tion), nous avons opté pour un système mixte réseau de 2e
Présentation générale
neurones (Rŀ N ŀ)ŀsystème-expert, Une première classifica-
tion est réalisée par un réseau de neurones multicouche
alors que la résolution des conflits est réglée par un Nous proposons un système d'interprétation d'images
système-expertŀ L'approche neuronale est intéressante car dont la structure est indiquée figure 1 ŀ Dans un premier
elle permet de traiter les connaissances implicites décrites temps, nous présenterons les opérations bas-niveau effec-
par un ensemble d'exemples ; les gros problèmes sont ceux tuées sur l'image : extraction de contours, fermeture des
du dimensionnement du réseau et de l'apprentissage de contours, polygonalisation, extraction des composantes
configurations contradictoires (« multiple credit assigne- connexes et fabrication d'un graphe d'adjacence compor-
ment problem »)ŀ tant les caractéristiques de chaque régionŀ Ensuite, nous
développerons la partie interprétation avec les différentes
En résumé, notre approche propose des solutions pour la
interactions entre un système à base de règles et un réseau
détermination des seuils nécessaires à la classification des
de neuronesŀ Une fois l'interprétation faite, le système
régions et la partie propagation de contraintes comporte
peut reconstruire les bâtiments à partir d'un couple
beaucoup moins de règles que le système de Mc Keownŀ
stéréoscopique [10] [28]ŀ
Notre système est de ce fait plus simple à mettre en ceuvreŀ
Il permet d'identifier correctement plusieurs types d'objets Partant d'une image de niveaux de gris prise par un avion,
dans l'image (bâtiments, pelouses, bosquets, ŀŀŀ) ŀ Nous notre but est d'identifier les différents objets contenus
avons utilisé ces résultats dans le cadre d'une autre étude dans la scèneŀ Comme T ŀ Matsuyama [16], nous différen-
Données utilisateur
Image niveaux de gris interface dialogue
y Image en trois dimensions
Traitements bas niveau données récapitulatives
Analyse de rimage sur les bâtiments
Graphe de l'image
+ données générales Reconstruction
INTERPRETATION DES REGIONS
Etiquetage initial
par RŀN Image interprétée
Propagation de contraintes
Matrices synaptiques Système-expert
I Apprentissage Correction parutilisateur
Base de donnée pour rapprentissage
Fichiers données
Programmes
Figure 1ŀ - Diagramme général du système d'interprétationŀ
423
Traitement du Signal volume 9 - n° 5
ystèmes experts
Système d'interprétation mixte appliqué àux images aériennes
cions le domaine de la scène du domaine de l'imageŀ Le Dans ce graphe, les nceuds représentent les régions et les
domaine de la scène comprend les objets réels ayant un arêtes les relations d'adjacence entre régions ŀ Chaque
contenu sémantique riche tels que bâtiments, routes, région et chaque arête est caractérisée par un certain
arbres, ŀŀ ; les relations entre ces données sont d'ordre nombre d'attributs qui sont utilisés par le système d'inter-
topologiqueŀ Dans le domaine de l'image, on utilise des prétation [21] [26]ŀ Les contours des régions sont approxi-
primitives telles que contours ou régions sur lesquelles on més par des segments de droite selon l'algorithme de
calcule des paramètres de forme, taille, position rela- Chebaro et alŀ [1]ŀ A partir de ces segments de droite, qui
tive, ŀŀ ; leur contenu sémantique est pauvre, mais il est ne sont pas nécessairement jointifs, on détermine le
quantifiableŀ meilleur parallélogramme approximant la régionŀ
Pour chaque région, sont calculés le niveau de gris
moyen, la surface, le périmètre, la compacité
2ŀ1 ŀ TRAITEMENTS BAS-NIVEAU : SEGMENTATION
(4 or ŀ surfaceŀpérimètre 2), les coordonnées du centre de
PAR FERMETURE DE CONTOURS
gravité, la direction de l'axe principal d'inertie, le pourcen-
Les algorithmes utilisés pour segmenter les images ont été tage optimal d'approximation par un parallélogramme
exposés dans un précédent article [2]ŀ Nous appliquons en (100 ŀ surfaceŀ(surface meilleur parallélogramme approxi-
premier lieu un détecteur de contour comprenant un mant)), la longueur, la largeur et l'élongation du meilleur
lissage du type Nagao et une dérivation par un masque de rectangle approximant, le nombre et la liste des régions
Prewitt [18] [22] [29]ŀ Le gradient est calculé en chaque adjacentesŀ Les attributs d'une région R sont les compo-
point mais on ne retient que le maximum du gradient dans santes du vecteur attribut
la direction du vecteur gradient afin d'obtenir des contours
AR [al, ŀŀŀ, a M]r ŀ
finsŀ =
Ce détecteur de contours donne une image binaireŀ Les Pour chaque adjacence, sont calculés la longueur et le
points de contour n'étant pas toujours connexes, pour gradient moyen de la frontière communeŀ
obtenir la segmentation en régions, nous procédons à une
Le graphe d'adjacence est représenté par un ensemble
fermeture des contours en sélectionnant les points qui
d'assertions PROLOG exploitable aussi bien par le systè-
appartiennent au chemin de gradient cumulé maximal issu
me-expert que par le simulateur de réseaux de neurones
de l'extrémité d'un contourŀ
(planche 1)ŀ Les valeurs indiquées seront normalisées lors
Ces traitements opèrent en aveugle dans le domaine de de leur exploitation (§ 3ŀ2 ŀ2 ŀ1) ŀ
l'image, la segmentation obtenue ne peut donc pas être
optimale par rapport à l'interprétation effectuée dans le
domaine de la scèneŀ Les échecs d'interprétation nous
[région 19]
conduiront à revoir la segmentation des régions non
ŀ* La région 19 est indiquée sur la figure 10 *ŀ
classifiéesŀ moyenne= 58 , surface= 33 ,
périmètre= 26 , compacité = 0,61 ,
approxŀ parallélogramme = 100 ,
2ŀ2 ŀ DESCRIPTION DE L'IMAGE : GRAPHE D'ADJA- élongation = 1,29
CENCE DES RÉGIONS centre de gravité = (229,21 ; 5,4) ,
Après la détection et la fermeture des contours, un 4 arêtes
longueur = 5, angle 59
algorithme d'extraction des composantes connexes élabore
longueur = 5, angle 0
une image des régions dans laquelle tous les pixels situés à longueur= 7, angle -106
l'intérieur d'un contour fermé reçoivent la même étiquette, longueur = 5, angle 180
les petites régions sont fusionnéesŀ Nous utilisons une 4 adjacences
méthode [3] développée à partir des travaux de Rosenfeld région 1 frontière = 6, gradient 7,75
[23]ŀ L'image est parcourue de la droite vers la gauche et région 24 frontière = 9, gradient 20,44
du haut vers le bas avec un motif en forme de « L »ŀ Cet région 20 frontière = 5, gradient 3,40
algorithme est très rapide et permet de fabriquer le graphe région 18 frontière = 2, gradient 3,50
d'adjacence des régions en même temps (figŀ 2) ŀ
Planche 1ŀ -Exemple d'attributs associés à une région du graphe d'adjacenceŀ
Rŀ
J
2ŀ3 ŀ SYSTÈME D'INTERPRÉTATION
Le problème d'interprétation d'images aériennes auquel
nous étions confrontés, nous a conduit à imaginer un
système simple permettant à un ensemble de modules de
système-expert ou de réseaux de neurones de communi-
quer entre eux uniquement grâce à des assertions PRO-
image graphe d'adjacence
LOG (bases de données)ŀ On peut ainsi facilement
Figure 2ŀ - Exemple de graphe d'adjacenceŀ interchanger des modules système-expert et des modules
424
Traitement du Signal volume 9 - n° 5
ystèmes experts
Système d'interprétation mixte appliqué aux images aériennes
réseau de neurones ou les faire fonctionner ensemble Les classes sont définies par un seuillage des composantes
(figŀ 3) ŀ Un gestionnaire de réseau permet même de du vecteur attribut de chaque régionŀ Le problème du
distribuer les traitements sur des machines différentes et choix des seuils est toujours difficile à résoudreŀ Ces seuils
de les faire fonctionner en parallèle lorsque cela est ne sont heureusement pas fondamentaux, il est même
possible [27]ŀ préférable de les laisser assez lâches pour autoriser un
étiquetage multiple qui sera réduit par la propagation de
contraintesŀ La réalisation connexionniste est une solution
Données d'entrée 1 Données d'entrée 2 pour résoudre, entre autres, le problème du réglage des
seuilsŀ
Le système proposé est un réseau de neurones structuré,
Module 1 Base de données 1 Module 2 comme ceux de Feldman [4], qui comprend, en fait, deux
Réseau de neurones 1 Système à base de règles 1
réseaux multicouches de type propagation vers l'avant
I (« feed-forward »)ŀ L'un effectue une classification initiale,
l'autre la propagation de contraintes, car nous verrons
Module 3 Base de données 2
Réseau de neurones 2 qu'un seul réseau ne permet pas de résoudre le problème
de l'apprentissage de configurations contradictoires ŀ
L'implémentation connexionniste de la propagation de
Base de données de sortie contraintes a présenté quelques difficultés mais la réalisa-
tion proposée est simple et cohérente avec la démarche de
Figure 3ŀ - Exemple de possibilités d'interconnexions entre modules de la propagation de contraintes classiqueŀ
différents types fonctionnant avec des bases de données PROLOGŀ
Lors de l'étiquetage initial, un ensemble d'étiquettes
possibles, dans le domaine de la scène, est assigné à
chaque région en fonction de ses caractéristiques bas-
3ŀ
niveauŀ Ces caractéristiques n'étant pas assez discriminan-
Étude d'un classifieur pour l'étiquetage initial
tes, il est nécessaire de prendre en compte les relations
topologiques et les connaissances du domaine de la scène ;
Le classifieur à base de règles est très classiqueŀ Son
un système de propagation de contraintes fabrique un
intérêt est de nous donner des indications pour le dimen-
étiquetage cohérent entre régions voisines (ex ŀ : une face
sionnement du réseauŀ
verticale au milieu de la pelouse, une ombre mal position-
née par rapport au soleil seront supprimées)ŀ L'interpréta-
3ŀ1 ŀ ÉTIQUETAGE INITIAL PAR SYSTÈME-EXPERT
tion utilise le graphe d'adjacente et des informations
générales sur la scène permettant de réduire l'espace de La classification est faite à partir de certaines composantes
rechercheŀ Chacune des étapes de l'interprétation peut a du vecteur attribut AR de chaque région Rŀ A ces
être réalisée par un système-expert ou par un réseau de composantes (attributs) sont associés un ou plusieurs
neuronesŀ prédicats qui prennent les valeurs VRAI ou FAUXŀ Pour
notre application, nous utilisons les attributs et les prédi-
cats associés suivants
2ŀ4 ŀ SYSTÈME MIXTE : RÉSEAU DE NEURO- - surface de la région R (en nombre de pixels) avec trois
NESŀSYSTÈME-EXPERT prédicats, petit(R), moyen(R) et grand(R),
- moyenne des niveaux de gris de R, avec quatre
Comme nous l'avons déjà signalé, notre système d'inter-
prédicats, très_sombre(R), sombre(R), gris(R) et clair(R),
prétation comprend deux parties : un classifieur pour
- approximation par un parallélogramme, avec trois
l'étiquetage initial et un système à propagation de contrain-
prédicats, parallelol(R), parallelo2(R) et parallelo3(R),
tes pour l'étiquetage finalŀ Nous en proposons deux
- compacité, avec deux prédicats, compact(R) et
réalisations : une basée sur des systèmes à base de règles et
pas_compact(R)ŀ
une employant des réseaux de neurones ŀ
Les prédicats font appel à des seuils qui ont été fixés
Pour les deux réalisations, le classifieur utilise le vecteur
empiriquement après examen de quelques statistiques
attribut AR [a1, ŀŀŀ, a M]` de chaque régionŀ Le système à
= simples élaborées sur plusieurs imagesŀ Pour la surface par
propagation de contraintes exploite les caractéristiques
exemple, ils ont été fixés en fonction de la résolution de
des adjacentes entre régions et des données globales sur
nos imagesŀ Quelques exemples sont donnés dans la
l'image et sur la scène qui sont
planche 2ŀ
• position du soleil (approximative en degrés),
Le système-expert affecte des étiquettes à une région R
• position de la caméra (approximative en degrés),
selon des règles de la forme
• type d'objets que l'on peut rencontrer dans la scène
(bâtiments, route, eau, ŀŀŀ), SI condition(R) ALORS étiqueter(R)ŀ
• taille du pixel, Le terme condition(R) est une disjonction de conjonctions
• relations entre objets dans la scèneŀ sur les prédicats ci-dessus (cfŀ planche 2) ŀ
425
Traitement du Signal volume 9 - n° 5
114
ystèmes experts
Système d'interprétation mixte appliqué aux images aériennes
Exemples d'assertions PROLOG introduisant les b) taille du vecteur d'entrée,
seuils: c) nombre de couches cachées et nombre de neurones par
couche,
valeur(grand,300)ŀ
d) fabrication d'un ensemble d'exemples d'apprentissage
valeur(apparal2,70)ŀ
(corrigé)ŀ
valeur(sombre,80)ŀ
Les points b) et c) concernent le dimensionnement du
réseauŀ
Exemples de règles PROLOG pour l'étiquetage La taille du vecteur de sortie est égale au nombre de
initial: classes (ce sont les mêmes que pour le système-expert)ŀ Le
vecteur de sortie est noté : S = [si, ŀŀŀ, s6]` ; chaque
ŀ* la region R est grande si sa surface est superieure a "grand" *ŀ
si est associé à une classe et vaut + 1 ou - 1 suivant que
grand(R) :-
l'étiquette est possible ou non pour la régionŀ
region(R,L_ATTRIBUT),
nth0(2,L_ATTRIBUT,Surf), Notre réalisation définitive est un réseau à entrées analogi-
valeur(grand,V), quesŀ Cependant dans un premier temps, nous présentons
Surf > Vŀ l'étude d'un réseau à entrées binaires car elle nous permet
d'exposer un certain nombre de considérations sur le
parallelo2(R) :- dimensionnement du réseau et sur l'apprentissage ŀ
region(R,L_A 1 I RIBUT),
nth0(5,L ATTRIBUT,Apparal),
3ŀ2 ŀ1 ŀ Un réseau de neurones multicouche avec des entrées
valeur(apparal2,V),
binaires pour l'étiquetage initial
Apparal > Vŀ
La réalisation en programmation logique du classifieur
ŀ* la region R est un batiment possible si elle est grande et nous donne des indications précieuses pour le dimension-
"parallelogramme" *ŀ nement du réseauŀ
choix(R,batiment) :-
Il est facile de transformer une règle (en logique d'ordre 0)
parallelo2(R),
en un RŀN ŀ ayant trois couches qui peut réaliser n'importe
grand(R)ŀ
quelle fonction logiqueŀ Par exemple, la figure 4 indique
ŀ* la region R est un bosquet possible si elle est sombre et non comment on peut réaliser un ET logique avec une couche
petite *ŀ de neuronesŀ
choix(R,bosquet) :-
sombre(R),
+\(petit(R))ŀ Si région petite,
très-sombre,
Planche 2ŀ - Règles PROLOG utilisées pour l'étiquetage initialŀ compacte,
Alors la région peut être une ombre
Les classes possibles sont au nombre de 6 : {bâtiment,
pelouse, ombre, face verticale de bâtiment, arbre, bos-
quet}ŀ petite
Les règles sont peu nombreuses (une vingtaine) ; les
0,33
valeurs des seuils, fixées empiriquement ne sont pas très sombre ombre
z0
critiques et autorisent un étiquetage multiple des régionsŀ
0 33
compacte
3ŀ2 ŀ ÉTIQUETAGE INITIAL PAR RÉSEAU DE NEURO-
NES Figure 4ŀ-Transposition d'une règle du système-expert sous forme neuronaleŀ
La structure connectionniste bien adaptée pour réaliser
l'étiquetage initial est celle d'un réseau de neurones
multicouche de type perceptron avec une ou plusieurs
3ŀ2 ŀ1 ŀ1 ŀ Dirnensionnement du réseau : taille du vecteur
couches cachéesŀ Chaque neurone possède une fonction
d'entrée et nombre de couches
de sortie dérivable de type sigmoïde ce qui permet
Soit le vecteur d'entrée binaire B = [bl, ŀŀ ŀ, b M]`ŀ A cha-
d'employer un apprentissage par rétropropagation du
gradient [11] 412] [25]ŀ La fonction d'entrée est de type que h; correspond un prédicat du classifieur à base de
règles (cfŀ § 3 ŀ1) ŀ Nous avons donc un vecteur d'entrée à
affine : e, = E w,, x, - wioxo, où w11 représente le poids 12 composantes pour chaque région ; bi vaut - 1 ou + 1
j_1 suivant que le prédicat associé est faux ou vrai (cf ŀ
de la connexion liant l'entrée xj au neurone iŀ planche 3)ŀ La taille du vecteur d'entrée est donc égale au
Plusieurs aspects doivent être étudiés pour la réalisation nombre de prédicatsŀ
d'un tel réseau Nous avons vu que la condition testée par une règle
a) nature des entrées : binaires ou analogiques, d'étiquetage était une disjonction de conjonctions ŀ Par
426
Traitement du Signal volume 9 - nc 5
ystèmes experts
Système d'interprétation mixte appliqué aux images aériennes
un ETŀ Les 6 neurones de la couche de sortie réaliseront
exemple exemple exemple exemple un OUŀ Cette organisation est en accord avec l'étude de
Lippmann [13]ŀ
19 88 303 385
Il reste le dimensionnement de la couche cachéeŀ Pour
très sombre -1 -1 -1 -1 cela, nous utilisons le fait que, dans le classifieur à base de
sombre +1 +1 +1 +1 règles, une règle disjonctive utilise au maximum 3 conjonc-
tions de prédicatsŀ Nous affectons donc 3 neurones de la
gris -1 -1 -1 -1
couche cachée à chaque neurone de sortieŀ Ce qui donne
clair -1 -1 -1 -1 18 neurones, plus un neurone à « - 1 » pour pouvoir
réaliser une fonction d'entrée affine pour chaque neurone
parallelo1 +1 +1 +1 +1
de la couche de sortieŀ La couche cachée aura donc
vecteur parallelo2 +1 +1 +1 +1 19 neuronesŀ Finalement, nous avons une structure 12-19-
d'entrée parallelo3 +1 +1 +1 +1 6ŀ
Le classifieur à base de règles donne donc des informations
binaire compact +1 +1 +1 +1
très utiles sur la structure du RŀN ŀ (en particulier le
pas_compŀ -1 4 -1 -1 nombre de neurones nécessaires sur chaque couche)ŀ
petit -1 -1 -1 -1 fusion Cependant, le réseau de neurones offre une plus grande
richesse que le système à base de règlesŀ En effet, en
moyen +1 +1 +1 +1 des
connectant chaque neurone d'une couche à tous les
grand -1 -1 -1 -1 sorties neurones de la couche suivante, chaque neurone de sortie
prend en compte toutes les composantes du vecteur
bâtiment 1 1 -1 +1 +1
d'entrée et les codages internes que représentent les états
pelouse -1 -1 -1 -1 -1 de la couche cachéeŀ L'algorithme d'apprentissage, par
l'ajustement des poids synaptiques, pondère l'influence de
vecteur ombre -1 -1 -1 -1 -1
tous ces élémentsŀ Ceci est difficile à réaliser explicitement
de sortie face vert -1 -1 -1 -1 -1 en programmation logiqueŀ
arbre 1 -1 +1 -1 +1 3ŀ2 ŀ1 ŀ2 ŀ Procédure d'apprentissage
bosquet -1 +1 -1 -1 +1 Pour l'apprentissage, nous avons appliqué un algorithme
classique de rétropropagation du gradient [11], [25]ŀ
Planche 3ŀ - Exemples pour l'apprentissage du RN : les trois premiers Avant apprentissage, les poids des liaisons synaptiques
appartiennent à l'image 1 (figŀ 10), le dernier à l'image 2 (Fgŀ 16), sont initialisés aléatoirement avec des valeurs comprises
entre - 1 et + 1ŀ La fonction de sortie de tous les neurones
est une sigmoïde de la forme
exemple, une région R sera étiquetée ombre avec la règle
suivante e-'- 1
SI ((très_sombre(R), petite(R), compacte(R)) e-bx - 1
OU
(très-sombre(R), NON(petite(R)), NON(compacte(R)))) L'apprentissage se fait à partir d'un « corrigé » C qui est
ALORS etiqueter(R, ombre) un ensemble de L couples (vecteur d'entrée, vecteur de
(cfŀ figŀ 5 a et 5f)ŀ sortie) appelés exemples
C = {(BI, S1), ŀŀŀ, (Bit, Sh), ŀŀŀ, (BL, SL)} ŀ
L'apprentissage s'effectue en présentant un grand nombre
de fois au réseau des exemples (Bh, Sh) choisis aléatoire-
ment dans Cŀ Au départ, le pas du gradient e de
l'algorithme de rétropropagation vaut 0,1, et nous le
bâtimant et pelouse toitsauolés arbreou faisons décroître jusqu'à 0,001 ; le nombre de présenta-
ombre coonmfbornedus surseamonté foauc eomum tions d'exemples varie entre 105 et 106ŀ
(a) (b) (c) (d) (e) (f) 3ŀ2 ŀ1 ŀ3 ŀ Fabrication du corrigé
Figure 5ŀ - Exemples d'objets à reconnaîtreŀ Dans un premier temps, nous avons fabriqué le corrigé de
la manière suivante
- l'expert humain étiquette un certain nombre de régions
Nous savons qu'il est aisé de simuler un ET logique ou un résultant de la segmentation d'images choisies comme
OU logique avec un neurone de type perception (cfŀ référence (image 1, figure 9 ; image 2, figure 15)ŀ Les
figŀ 4)ŀ En conséquence, en cherchant à reproduire la étiquettes appartiennent à l'ensemble déjà cité : {bâti-
structure des règles d'étiquetage utilisées en programma- ment, pelouse, ombre, face verticale de bâtiment, arbre,
tion logique, nous aurons besoin pour le réseau classifieur bosquet}ŀ A peu près un tiers des régions ne sont pas
d'une seule couche cachée dont chaque neurone réalisera étiquetées parce qu'elles sont petites ou difficilement
427
Traitement du Signal volume 9 - n° 5
ystèmes experts
Système d'interprétation mixte appliqué aux images aériennes
identifiables à cause de l'imperfection de la segmentation ŀ ne pas étiqueter une région et que ces exemples sont très
A chaque région Rh, on associe donc, dans un premier peu nombreuxŀ
temps, un vecteur de sortie Sh dont au plus une seule Le corrigé pour l'étiquetage initial est finalement
composante est à « + 1 », celle correspondant à la classe
de la région Rhŀ Pour les régions non étiquetées, toutes les CI = ((B,, Si), ŀŀŀŀ (Bh, Sn), ŀŀŀŀ (BK, SK))
composantes du vecteur de sortie sont à « - 1 » ;
- à chaque région Rh, on associe un vecteur binaire
d'entrée B,, en testant les 12 prédicats énoncés précédem- 3ŀ2 ŀ2 ŀ Un réseau de neurones multicouche avec des entrées
ment et appliqués sur le vecteur d'attributs Ah associé à la analogiques pour l'étiquetage initial
région Rh du graphe d'adjacenceŀ 3ŀ2 ŀ2 ŀ1 ŀ Dimensionnement du réseau : taille du vecteur
On constitue ainsi des exemples (B,,, Sh)ŀ d'entrée et structuration
Lorsqu'on effectue l'apprentissage sur ce premier type de Le réseau précédent donne des résultats satisfaisants, mais
corrigé, les résultats sont mauvais lorsqu'on fait travailler il est toujours tributaire des seuils de chaque attributŀ Pour
le réseau (après apprentissage bien sûr) sur l'une ou l'autre résoudre ce problème, nous avons décidé d'entrer directe-
des images d'apprentissageŀ En effet, seulement 40 % ment les valeurs analogiques des attributsŀ Nous avons
environ des régions sont correctement étiquetées ŀ Les donc ajoute une couche supplémentaire en tête du réseau
raisons en sont les suivantes précédent afin d'opérer le seuillage, elle reçoit un vecteur
d'entrée de la forme
a) une région non étiquetée peut avoir le même vecteur
binaire qu'une région étiquetée ;
E = [e,, ŀŀ , e;, ŀŀŀŀ eN r ŀ
b) deux régions étiquetées différemment peuvent avoir le
même vecteur binaireŀ Pour une région R donnée, e; est une des composantes
Par exemple, sur la planche 3, les régions 19, 88, 303 de ak du vecteur AR = [a,, ŀŀŀŀ aM]` que l'on a normaliséeŀ
l'image 1 et la région 385 de l'image 2 sont étiquetées Nous avons retenu les attributs qui sont traités par les
respectivement « inconnu », « bosquet », « arbre » et prédicats du classifieur à base de règles, il y en a 4
« bâtiment » dans le corrigé, or, elles ont le même vecteur la surface, la moyenne des niveaux de gris, l'approximation
binaireŀ par un parallélogramme, la compacitéŀ
Ces deux phénomènes entraînent une non-convergence du Nous ajoutons un neurone à « - 1 » pour le seuillageŀ
réseau ou une convergence vers des états non significatifs
Nous avons choisi de « structurer » le réseau en limitant
et donc l'ajustement des poids s'effectue mal à cause des
les connexions entre les neurones des deux premières
exemples contradictoiresŀ Ils peuvent amener le réseau à
couchesŀ Ainsi, le problème du seuillage est simplifié si
ne pas étiqueter une région correctement étiquetée dans
chaque neurone de la première couche cachée est seule-
l'image d'apprentissageŀ
ment connecté à une entrée analogique et à l'entrée
Pour résoudre ces problèmes, nous avons modifié l'élabo- constanteŀ Cela permet un meilleur contrôle du comporte-
ration du corrigé comme suit ment de ces neuronesŀ On garantit ainsi un apprentissage
quand deux régions Rh et Rp produisant deux exemples indépendant pour le seuillage de chaque entrée et on
(Bh, S,) et (Bp, Sp) ont le même vecteur binaire (Bh = Bp), préserve la capacité du réseau à généraliser (on lui
on conserve ces deux exemples, mais on remplace leur empêche d'apprendre une configuration de l'ensemble des
vecteur de sortie Sh et Sp par un même vecteur entrées trop particulière)ŀ Nous avons adopté une structure
régulière, c'est-à-dire que les neurones de la première
Sh=SP=S,VSp couche cachée reçoivent le même nombre de connexions
quelle que soit la grandeur analogique qu'ils traitentŀ Ce
en faisant le OU logique composante à composante des nombre est le nombre maximum de seuils appliqués à une
deux vecteurs de sortie (l'exposant f symbolise cette entrée analogique dans le système d'étiquetage initial à
opération de « fusion » des vecteurs) ŀ base de règles (au maximum 4 seuils par attribut)ŀ Nous
On remplace donc les deux exemples (Bh, Sh) et (Bp, Sp) aboutissons ainsi au motif de la figure 6ŀ
par les deux exemples (Bh, S;,) et (Bu, Sp) (cfŀ planche 3) ŀ
Ce procédé est appliqué itérativement sur toutes les
régions et permet de fabriquer un nouveau corrigé compor-
tant un étiquetage multiple des régionsŀ Dans ce nouveau
seuillage
corrigé, il y a, par principe, des exemples identiquesŀ C'est
une manière d'accorder plus d'importance à certaines
configurations lors de l'apprentissage ŀ valeur analogique codée en
binaire
Après cette phase, il reste quelques exemples dont les Valeur
vecteurs de sortie ont toutes leurs composantes à « - 1 »ŀ analogique
Nous avons choisi de les supprimer du corrigé appris car
pour une même sortie (la classe « inconnu »), ils peuvent
avoir des vecteurs d'entrée très différentsŀ Deux autres
Figure 6ŀ - Structure de la première couche cachée du réseau pour un
raisons sont qu'il n'existe pas de critères bien définis pour
paramètre d'entréeŀ
428
Traitement du Signal volume 9 - n° 5
ystèmes experts
Système d'interprétation mixte appliqué aux images aériennes
Chaque neurone de la première couche est ainsi relié à 4 Dans le cas où l'on veut réaliser directement un réseau à
neurones de la deuxième coucheŀ La première couche entrées analogiques, il est nécessaire pour résoudre les
cachée comprend donc 16 neurones traitant les données problèmes a) et b) de créer arbitrairement des classes
analogiques, plus un neurone à « - 1 » pour la couche définies par un seuillage sur les valeurs analogiquesŀ Les
suivante, ce qui fait en tout 17 neurones ŀ Les deux seuils peuvent être choisis de manière à découper le
dernières couches du réseau sont inchangées, ce qui nous domaine de variation d'une donnée analogique en interval-
conduit à un réseau 5-17-19-6, représenté figure 7ŀ les égauxŀ L'algorithme d'apprentissage ajustera ensuite
les poids du réseau afin d'optimiser les valeurs des seuils ŀ
3ŀ3 ŀ RÉSULTATS EXPÉRIMENTAUX POUR
L'ÉTIQUETAGE INITIAL
Nous avons utilisé deux images d'apprentissage (figŀ 9 et
15), qui sont des images aériennes de dimension 256 x 256
et pour lesquelles un pixel représente un carré de 1 m de
côtéŀ L'image 1 présente des bâtiments isolés, de forme
rectangulaire, induisant chacun une ombre ; un bâtiment
dans le bas de l'image possède un toit texturéŀ L'image 2
représente une zone industrielle où les bâtiments se
jouxtent, ils n'ont donc pas tous une ombre ; ils sont de
formes beaucoup plus irrégulières et de luminance très
variableŀ La segmentation de la première donne
358 régions (figŀ 10), celle de la seconde 458 régionsŀ Sur
un total de 816 régions, l'opérateur humain en interprète
540 (figŀ 11 et 16), ce qui représente environ 75 % des
pixelsŀ Mais dans certains cas, nous ne sommes pas sûrs
que notre interprétation soit la meilleure !
Figure 7ŀ - Structure du réseau de neurones pour l'étiquetage initialŀ
Le corrigé pour l'étiquetage initial comporte 804 exemples
(seules 12 régions n'ont pas d'étiquette après l'étape de
3ŀ2 ŀ2 ŀ2 ŀ Fabrication du corrigé du réseau à entrées analogi- fusion)ŀ
quesŀ
Le réseau se stabilise après environ un million de présenta-
Pour le réseau avec entrées analogiques, le corrigé est un tions d'exemples, ce qui prend plusieurs heures sur une
ensemble d'exemples station SUNŀ4 ŀ Le taux de régions bien classifiées (par
rapport au corrigé fabriqué pour l'étiquetage initial) est de
Ce = {(E1, SI), ŀ ŀŀŀ (Eh, Sh), ŀŀŀŀ (EL, SL)} ŀ
86%ŀ
Dans un exemple (Eh, Sh), Eh est un vecteur à composantes Nous avons aussi testé un réseau à trois couches avec
analogiques normalisées et Sh est un vecteur de sortieŀ Si entrées analogiques et d'autres réseaux à quatre couches,
Sh correspond à une région reconnue par l'expert, il comportant notamment moins de connexions entre la
possède une seule composante à « + 1 » ; s'il correspond à troisième et la dernière couche (un neurone de la dernière
une région non identifiée, toutes ses composantes sont à couche relié seulement à 4 neurones de la couche précé-
- 1 »ŀ dente par exemple), mais le taux de succès n'est pas aussi
Si nous utilisons directement ce type de corrigé, nous bon et la convergence est plus longueŀ
obtenons de mauvais résultats pour pratiquement les Le réseau est d'abord testé sur les deux images d'apprentis-
mêmes raisons que pour le réseau à entrées binaires sage puis il est appliqué à une nouvelle image (figŀ 19) de
a) une région non étiquetée peut avoir un vecteur analogi- même résolution et comportant des bâtiments isolés ŀ Les
que voisin de celui d'une région étiquetée ; résultats de cet étiquetage initial sont donnés par les
figures 12, 17 et 20ŀ Les régions étiquetées « inconnu
b) deux régions étiquetées différemment peuvent avoir
sont celles qui ont reçu zéro ou plusieurs étiquettes ŀ Les
des vecteurs analogiques voisinsŀ
taux de succès par rapport aux corrigés sont donnés par les
Ceci pose de nouveau le problème de l'étiquetage multipleŀ planches 4, 6 et 8 (nous avons donc fabriqué dans ce but le
Nous l'avons résolu en associant à chaque vecteur analogi-
corrigé de l'image 3)ŀ Ils sont calculés, pour chaque classe,
que Eh, un vecteur binaire Bh élaboré avec les seuils comme le rapport du nombre de régions étiquetées
employés pour le réseau à entrées binairesŀ Donc à partir
uniquement avec cette classe sur le nombre de régions de
du corrigé cette classe dans le corrigéŀ Seules sont prises en compte
les régions traitées par l'expert humainŀ Après une analyse
Cf = {(BU S1) (BhSh), ŀ ŀŀ, (BK, SK)} fine des résultats, il apparaît que certaines régions non
reconnues par l'expert ont été correctement étiquetées par
nous avons construit le corrigé du réseau avec entrées
analogiques le systèmeŀ Ces régions n'interviennent pas dans le calcul
des taux de succèsŀ Les régions comportant un étiquetage
Cfe = {(E1, Si), ŀŀŀ, (Eh, Sn), ŀŀŀŀ (EK, SK)} multiple sont considérées comme fausses par rapport au
429
Traitement du Signal volume 9 - n° 5
ystèmes experts
Système d'interprétation mixte appliqué aux images aériennes
corrigé, ce qui explique les faibles taux de succès obtenusŀ Puis, pour étiqueter les régions qui n'ont plus d'étiquette,
De plus, le taux de pixels bien étiquetés est très nettement on se sert de contraintes d'obligationŀ Cette étape a pour
supérieur au taux de régions bien étiquetées que nous but de forcer l'étiquetage, soit en utilisant les critères
donnons (les grandes régions étant dans leur grande d'adjacence, soit en employant des seuils plus précisŀ Une
majorité bien reconnues)ŀ région reçoit (si possible) une étiquette unique qui tient
Compte-tenu de ces restrictions, on constate que le réseau compte des interprétations des régions qui l'entourentŀ Par
étiquette en général correctement et avec une seule exemple, si une région non étiquetée est adjacente à une
étiquette les bâtiments, la pelouse et certaines ombres ŀ Par région étiquetée face verticale et si elle se trouve du bon
contre, on a très souvent un étiquetage multiple pour les côté par rapport à cette face verticale (en fonction de la
arbres, les bosquets, les faces verticales des bâtiments et position de la caméra) alors la région est étiquetée
certaines ombresŀ En effet, il n'existe pas de paramètres bâtimentŀ
vraiment discriminantsŀ Cet étiquetage multiple sera traité
par la propagation de contraintesŀ L'algorithme utilisé est le suivant
A titre de comparaison, nous présentons également le
{e1, ŀŀŀŀ e m}
résultat de l'étiquetage initial par le système-expert sur Soit {R1, ŀ ŀŀŀ R„} l'ensemble des régions et
l'image 1 (figŀ 13 et planche 4) et sur l'image 3 (planche 8) ŀ l'ensemble des étiquettesŀ La liste des régions adjacentes à
Les résultats de ces deux étiquetages initiaux sont assez Ri est notée LAi et la liste des étiquettes possibles pour
proches, le réseau de neurones donne toutefois plus Ri est notée LLiŀ Par exemple sur la figure 2, la région
d'étiquettes « bâtiment » que le système-expertŀ Ri appartient à LAiŀ
Les différentes étapes de l'algorithme sont
1ŀ Marquer chaque région « active »
4ŀ 2ŀ Tant qu'il reste des régions actives faire
Propagation de contraintes Choisir une région active Riŀ
Pour chaque étiquette Pj appartenant à LLi,
f
A la fin de l'étiquetage initial, qu'il soit fait par le système- si n'est consistante avec aucune étiquette
d'aucune région adjacente appartenant à LA i (en
expert ou le réseau de neurones, chaque région possède
utilisant les contraintes d'interdiction)
zéro, une ou plusieurs étiquettesŀ Le problème est d'affiner
supprimer fi de la liste LLi,
cet étiquetage et d'affecter une seule étiquette à chaque
région en tenant compte de l'étiquetage des régions marquer active chaque région de LA i qui est
inactiveŀ
voisinesŀ C'est le rôle de la propagation de contraintes ŀ
Marquer Ri « inactive »ŀ
3ŀ Marquer « active » toutes les régions qui n'ont plus
4ŀ1 ŀ PROPAGATION DE CONTRAINTES PAR SYSTÈ- aucune étiquette ou qui en ont plusieurs après l'étape 2ŀ
ME-EXPERT 4ŀ Tant qu'il reste des régions actives faire
Choisir une région active Riŀ
L'algorithme utilisé est dérivé de celui présenté par Nŀ C ŀ Affecter à Ri une étiquette si les contraintes d'obliga-
Rowe dans « Relaxation method » [24]ŀ Les contraintes tion sont satisfaitesŀ
d'adjacence sont exprimées par des prédicats impliquant Marquer Ri « inactive »ŀ
deux régionsŀ 5ŀ Donner l'étiquetage final ŀ
Dans un premier temps, les étiquettes attribuées à une
région qui ne sont pas cohérentes avec les étiquettes des
régions adjacentes sont supprimées (contraintes d'interdic-
tion)ŀ On utilise des contraintes d'inclusion telles que
A l'initialisation, toutes les régions du graphe d'adjacence
- un arbre ne peut pas être inclus dans un bâtiment, sont marquées « active »ŀ
- une ombre ne peut pas être incluse dans de la pelouse,
La boucle 2 de l'algorithme se termine toujoursŀ En effet
etcŀŀŀ
- une région examinée est systématiquement rendue
et des contraintes d'adjacence telles que
« inactive » ;
- une ombre
• doit être adjacente à une structure susceptible de - une région est « réactivée » si elle est « inactive » et si
faire ombre (un bâtiment, un arbre, un bosquet ou elle est adjacente à une région dont la liste d'étiquettes a
une région non étiquetée) située entre elle et le été modifiéeŀ Comme le traitement de cette boucle
soleil, n'ajoute pas d'étiquette, quand les contraintes ne modi-
• doit respecter certaines contraintes concernant sa fient plus l'étiquetage des régions, il n'y a plus d'activation
taille par rapport à cette structure, la longueur de la de région et la boucle se termineŀ
frontière commune par rapport aux périmètres, En pratique, à la fin de cet algorithme, il subsiste peu de
etcŀŀ ŀ cas d'étiquetage multiple ou d'étiquetage « vide »ŀ
430
Traitement du Signal volume 9 - n° 5