Table Of Content© Librairie Arthème Fayard et Collège de France, 2018.
ISBN : 978-2-213-71368-7
Dépôt légal : septembre 2018.
Table des matières
Couverture
Page de titre
Page de Copyright
Leçon inaugurale prononcée le jeudi 11 janvier 2018 par Stéphane
Mallat, professeur
Chapitre 1
Modélisation, prédiction et intelligence artificielle
Algorithmes d'apprentissage supervisé
Généralisation et régularité
Malédiction de la grande dimension
Modèles parcimonieux multiéchelles
Apprentissage supervisé et réseaux de neurones
Régularités mathématiques en grande dimension
Conclusion
Références
Les leçons inaugurales du Collège de France
Les leçons inaugurales publiées dans la collection Collège de France /
Fayard
Leçon inaugurale
prononcée le jeudi 11 janvier 2018
par Stéphane Mallat,
professeur
LEÇON INAUGURALE N O 276
Monsieur l’Administrateur,
Chers collègues et amis,
Mesdames et Messieurs,
Chers Gérard Berry et Alain Prochiantz, je voudrais d’abord vous
remercier de votre accueil, et d’avoir porté la création de cette nouvelle
chaire, avec Pierre-Louis Lions et Antoine Georges. C’est pour moi un grand
honneur et un plaisir de venir raconter au Collège de France l’émergence
impressionnante des sciences des données, et les nombreuses questions
nouvelles qu’elles suscitent. Comme vous vous en doutez, cette discipline
n’est pas l’héritière d’une longue histoire au Collège de France, et cependant
elle s’inscrit au cœur de problématiques qui sont abordées ici depuis plusieurs
siècles.
L’objectif déclaré des sciences des données est d’extraire de la
connaissance d’ensembles de données. En soi, il n’y a là rien de nouveau.
Extraire de la connaissance de données est au cœur des méthodologies
développées par les sciences et les sciences humaines, qui sont représentées
au Collège de France aussi bien par la physique que par l’égyptologie, en
passant par la biologie, l’économie ou l’anthropologie. Néanmoins, la
perspective apportée par les mathématiques et l’informatique est différente.
Un peu comme en philosophie, on veut non seulement comprendre les
aspects génériques de cette extraction de connaissances, mais aussi traduire
ces principes sous forme d’algorithmes pouvant être programmés sur des
ordinateurs.
Les applications des sciences de données sont considérables pour stocker,
analyser et valoriser les masses de données acquises dans tous les domaines
des sciences, de l’industrie, des services et de nos interactions sociales. Ainsi,
nos téléphones portables sont maintenant capables de reconnaître nos visages,
de transcrire notre parole ou de répondre à des questions, alors qu’ils ne
servaient qu’à téléphoner il y a cinq ans. Mais je voudrais aujourd’hui vous
parler des questions scientifiques fondamentales que cela soulève, et qui sont
en lien avec la pratique des sciences et des sciences humaines, dans tous les
domaines.
La chaire s’intitule « Sciences des données », au pluriel, car cette nouvelle
discipline est une sorte d’auberge espagnole, où cohabitent des approches et
cultures scientifiques totalement différentes, qui s’enrichissent mutuellement.
Cela inclut non seulement les mathématiques, notamment les statistiques,
mais aussi l’informatique et l’intelligence artificielle, le traitement du signal
et toutes les sciences – comme la physique, la biologie, l’économie ou les
sciences sociales – qui modélisent et traitent des données. Il ne s’agit donc
pas de tracer les frontières d’un nouveau domaine, mais au contraire
d’apporter une vision et un langage communs à des sciences différentes, ce
qui est la vocation et le charme des mathématiques appliquées. C’est ce point
de vue que je voudrais développer, tout en restant enraciné dans les
applications, qui sont sources de problèmes nouveaux, de créativité et
d’idées.
MODÉLISATION, PRÉDICTION ET INTELLIGENCE
ARTIFICIELLE
Pour développer un point de vue générique, on va considérer n’importe
quel type de données numériques : sons, images, textes, données médicales,
mesures physiques ou données issues de réseaux sociaux. Un point commun
à toutes ces données est qu’elles incluent toutes un grand nombre de
variables. L’enregistrement d’un son a environ 104 échantillons par seconde,
une image a souvent plus d’un million de pixels, ce petit texte a 5 × 104
caractères, et bien sûr la physique reste la reine de la grande dimension avec
des systèmes dont le nombre de variables dépasse 1024 (nombre d’atomes
dans quelques grammes de matière). On verra que cette grande dimension est
source de toutes les difficultés. Le traitement de données concerne
indifféremment n’importe lequel de ces exemples et bien d’autres, même si je
prendrai souvent des exemples d’images par simplicité.
On peut distinguer deux types de problèmes en sciences des données : la
modélisation et la prédiction. Un modèle décrit la variabilité des données et
permet d’en générer de nouvelles. On l’utilise pour comprimer et donc pour
stocker des données avec le moins de mémoire possible, ou pour les
transmettre efficacement. Avec un modèle, on peut aussi éliminer des erreurs
introduites dans les données, ou resituer des données complètes à partir de
mesures partielles. Ainsi, on peut restaurer des images médicales de haute
qualité avec un nombre de mesures réduites, afin de minimiser l’exposition
des patients. La modélisation est au cœur du traitement du signal, qui a de
nombreuses applications, notamment dans le domaine des
télécommunications.
Une prédiction a pour but d’estimer la réponse à une question à partir de
données. Ces prédictions sont faites par des algorithmes d’apprentissage
statistique, qui sont à l’origine du renouveau de l’intelligence artificielle. Les
applications sont considérables. En vision par ordinateur, on interprète le
contenu des images, par exemple pour reconnaître une personne, un animal
ou une ville. Des algorithmes traduisent des textes sur Internet. En médecine,
ces techniques apportent une aide au diagnostic pour personnaliser les
prescriptions à partir de données génomiques ou épigénétiques, par exemple
en cancérologie. Sur un réseau social, les informations diverses ou des likes
sont des données à partir desquelles on peut prédire des choix politiques, des
préférences musicales, la consommation de crème au chocolat ou de drogues
[14].
Les algorithmes d’apprentissage ont fait des progrès spectaculaires ces
dernières années, non seulement grâce à l’accélération des vitesses de calcul
des ordinateurs et aux masses de données collectées dans tous les domaines,
mais aussi grâce à l’évolution des algorithmes. Les réseaux de neurones
profonds ont obtenu des résultats spectaculaires, qui, dans certains cas, sont
proches ou dépassent les performances humaines pour la vision, l’analyse de
sons, l’analyse du langage, ou pour des jeux de stratégie comme le go, dont le
champion du monde a été battu par un réseau de neurones. Pourtant, d’un
point de vue mathématique, on comprend mal les raisons de ce succès. Je vais
commencer par décrire le fonctionnement des algorithmes d’apprentissage
avant d’expliquer le cheminement mathématique permettant d’analyser
l’essence de l’apprentissage.
ALGORITHMES D’APPRENTISSAGE SUPERVISÉ
Je noterai x une donnée et y la réponse à une question. S’il s’agit de
reconnaître un animal dans une image, alors x sera une image et y le nom de
l’animal. Un algorithme d’apprentissage prend la donnée x en entrée et
calcule une estimation y˜ de la réponse y. Un tel algorithme a la particularité
d’inclure un grand nombre de paramètres, qui sont des coefficients dont les
valeurs ne sont pas fixées à l’avance.
Les valeurs des paramètres de l’algorithme sont optimisées lors de la phase
d’apprentissage. L’apprentissage est supervisé lorsque l’algorithme s’entraîne
sur des exemples de données pour lesquelles on lui fournit la réponse. Le
nombre d’exemples peut être très grand. On notera xi chaque donnée
d’entraînement et yi la réponse associée. Cela peut être des images xi avec les
noms yi des animaux dans ces images. Lors de la phase d’apprentissage, les
paramètres de l’algorithme sont ajustés pour qu’il fasse le moins d’erreurs
possible sur les réponses qu’on lui a données. Autrement dit, il faut que les
réponses y˜i calculées à partir des données xi soient aussi proches que
possible des bonnes réponses yi.
Lorsque cette phase d’apprentissage est terminée, l’algorithme est
totalement configuré. Il peut alors calculer une prédiction y˜ de la réponse y
pour de nouvelles données x qu’il n’a jamais rencontrées. La difficulté
principale est de garantir que l’algorithme généralise bien, autrement dit que
l’erreur de prédiction entre y˜ et y reste petite pour des données x inconnues.
Le but est de trouver des algorithmes qui produisent une erreur de
généralisation qui soit aussi petite que possible, en moyenne sur les données
que l’on rencontre typiquement. Cette erreur est estimée lors d’une phase de
test. On quantifie l’erreur entre y˜ et y, en moyenne sur des données x qui sont
différentes des exemples xi utilisés pour l’apprentissage.
Cette capacité de généralisation peut sembler un peu magique de prime
abord, mais nous allons voir qu’elle est fondée sur une idée simple :
l’existence de régularités exploitées par l’algorithme d’apprentissage.
Comprendre la nature de cette régularité sera le fil d’Ariane de cette
conférence.
Développer des algorithmes d’apprentissage qui se généralisent est une
recherche qui s’inscrit dans un triangle entre informatique, applications et
mathématiques. Les données ne parlent pas toutes seules. Un algorithme doit
utiliser des informations a priori sur le lien entre la donnée x et la réponse y.
Cette information a priori provient de connaissances et de modèles issus du
domaine d’application, qu’il faut encapsuler dans l’algorithme
d’apprentissage.
L’informatique se concentre sur le développement d’algorithmes et leurs
programmations sur des ordinateurs, pour traiter une masse potentiellement
considérable des données. Les mathématiques essayent plutôt de dégager les
principes selon lesquels ces algorithmes sont ou non capables de bien
généraliser. Qu’est-ce que l’algorithme apprend lors de la phase
d’apprentissage ? Quelle est la nature de la connaissance a priori ? Ce sont
des questions qui doivent être formalisées. Cela fait appel à de nombreuses
branches des mathématiques, au premier rang desquelles se trouvent les
statistiques, mais aussi les probabilités, l’analyse et la géométrie.
Cependant, l’explosion récente des performances des algorithmes
d’apprentissage ne résulte pas de travaux mathématiques. Comme souvent en
science, sans doute fallait-il la liberté d’expérimentateurs de grand talent pour
montrer la voie. Cela a été permis par
Figure 1. Prédiction de l’état y de l’eau (glace, liquide ou vapeur), en fonction d’une donnée x
de température et de pression, représentée par un point dans le plan température-pression. La
classe y de chaque exemple d’entraînement est indiquée par une marque : un point noir pour la
glace, un anneau noir pour l’état liquide et un point blanc pour la vapeur. Les domaines de
température-pression des trois états physiques sont séparés par une frontière indiquée en trait
plein. La frontière estimée par l’algorithme du plus proche voisin est montrée en pointillés.
L’algorithme fait des erreurs de généralisation sur les données (points) situées entre la vraie
frontière en trait plein et son estimation en pointillés.
l’augmentation prodigieuse des vitesses de calcul et des masses de
données, ainsi que par le formidable travail algorithmique de nombreux
informaticiens. Pour dégager l’essence mathématique de ces résultats
expérimentaux, il faut commencer par les comprendre. La manipulation de
données sur des challenges (que j’évoquerai à la fin de cette leçon), est une
bonne façon de garder les pieds sur terre. Je vais maintenant aborder le point
de vue des mathématiques.
GÉNÉRALISATION ET RÉGULARITÉ
La capacité de généraliser d’un algorithme est liée à l’existence d’une
