RÉSEAUX DE NEURONES

L'approximation parcimonieuse, une propriété fondamentale des réseaux de neurones

Les réseaux de neurones non bouclés, tels que nous les avons définis plus haut, possèdent une propriété remarquable qui est à l'origine de leur intérêt pratique : ce sont des « approximateurs universels parcimonieux ».

Qu'est-ce que cela signifie ? Un réseau de neurones est capable d'imiter n'importe quel processus, après ajustement de ses paramètres par apprentissage ; la propriété d'« approximation » est la traduction mathématique de cette capacité d'imitation. De plus, la « parcimonie » exprime le fait que le réseau a besoin d'un petit nombre de paramètres ajustables pour réaliser correctement sa tâche.

De manière plus précise, la propriété d'approximation peut être énoncée de la façon suivante : toute fonction bornée suffisamment régulière peut être approchée avec une précision arbitraire, dans un domaine fini de l'espace de ses variables, par un réseau de neurones comportant une couche de neurones cachés en nombre fini, possédant tous la même fonction d'activation, et un neurone de sortie linéaire.

Cette propriété n'est pas spécifique des réseaux de neurones : bien d'autres familles de fonctions paramétrées possèdent cette propriété. La spécificité des réseaux de neurones réside dans le caractère « parcimonieux » de l'approximation : à précision égale, les réseaux de neurones nécessitent moins de paramètres ajustables que les autres approximateurs connus ; plus précisément, le nombre de poids varie linéairement avec le nombre de variables de la fonction à approcher, alors qu'il varie exponentiellement pour la plupart des autres approximateurs. C'est cette remarquable parcimonie qui justifie l'intérêt pratique des réseaux de neurones : dès qu'un problème fait intervenir plus de deux variables, les réseaux de neurones sont, en général, préférables aux autres méthodes.

La suite de cet article est accessible aux abonnés

Des contenus variés, complets et fiables
Accessible sur tous les écrans
Pas de publicité

Découvrez nos offres

Déjà abonné ? Se connecter

Écrit par

Gérard DREYFUS : Professeur à l'E.S.P.C.I.

Carte mentale
Élargissez votre recherche dans Universalis

Classification

Pour citer cet article

Gérard DREYFUS. RÉSEAUX DE NEURONES [en ligne]. In Encyclopædia Universalis. Disponible sur : (consulté le )

DREYFUS, G.. RÉSEAUX DE NEURONES. Encyclopædia Universalis. (consulté le )

DREYFUS, Gérard. « RÉSEAUX DE NEURONES ». Encyclopædia Universalis. Consulté le .

DREYFUS, Gérard. « RÉSEAUX DE NEURONES ». Encyclopædia Universalis [en ligne], (consulté le )

Médias

Représentation graphique - crédits : Encyclopædia Universalis France — Représentation graphique

Encyclopædia Universalis France

Neurone à fonction sigmoïde - crédits : Encyclopædia Universalis France — Neurone à fonction sigmoïde

Encyclopædia Universalis France

Réseau non bouclé - crédits : Encyclopædia Universalis France — Réseau non bouclé

Encyclopædia Universalis France

Afficher les 7 médias de l'article RÉSEAUX DE NEURONES

Autres références

ANTHROPOLOGIE COGNITIVE
- Écrit par Arnaud HALLOY
- 5 810 mots
...succinctement, les modèles connexionnistes décrivent les phénomènes mentaux et comportementaux comme le produit émergeant d’activation et de création de réseaux de neurones. Ils se distinguent ainsi assez radicalement des modèles « classiques » qui envisagent le cerveau à l’image d’un ordinateur qui traiterait...
APPRENTISSAGE PROFOND ou DEEP LEARNING
- Écrit par Jean-Gabriel GANASCIA
- 2 645 mots
- 1 média
...techniques variées fondées sur la logique ou la statistique et s’inspirant de modèles psychologiques, physiologiques ou éthologiques. Parmi celles-ci, des techniques anciennes reposant sur un modèle très approximatif du tissu cérébral – les réseaux de neurones formels – ont obtenu depuis les années...
AUTOMATISATION
- Écrit par Jean VAN DEN BROEK D'OBRENAN
- 11 882 mots
- 12 médias
...fin des années 1980, les travaux scientifiques aboutissant au concept d'une logique « non classique », la logique floue, d'une part, et au concept des réseaux de neurones, adaptés à la modélisation et à la commande des processus non linéaires, d'autre part, trouvèrent des applications dans l'automatisation...
AUTO-ORGANISATION
- Écrit par Henri ATLAN
- 6 255 mots
- 1 média
...intelligence artificielle destinées à fabriquer des machines à apprendre et à mémoire distributive (cf. F. Fogelman-Soulié, 1991 ; T. Kohonen). Ce calcul est effectué en parallèle par un grand nombre d'unités, dites neurones formels, qui effectuent chacune des opérations élémentaires simulant de...
Afficher les 24 références