3. L'approximation parcimonieuse, une propriété fondamentale des réseaux de neurones
Les réseaux de neurones non bouclés, tels que nous les avons définis plus haut, possèdent une propriété remarquable qui est à l'origine de leur intérêt pratique : ce sont des « approximateurs universels parcimonieux ».
Qu'est-ce que cela signifie ? Un réseau de neurones est capable d'imiter n'importe quel processus, après ajustement de ses paramètres par apprentissage ; la propriété d'« approximation » est la traduction mathématique de cette capacité d'imitation. De plus, la « parcimonie » exprime le fait que le réseau a besoin d'un petit nombre de paramètres ajustables pour réaliser correctement sa tâche.
De manière plus précise, la propriété d'approximation peut être énoncée de la façon suivante : toute fonction bornée suffisamment régulière peut être approchée avec une précision arbitraire, dans un domaine fini de l'espace de ses variables, par un réseau de neurones comportant une couche de neurones cachés en nombre fini, possédant tous la même fonction d'activation, et un neurone de sortie linéaire.
Cette propriété n'est pas spécifique des réseaux de neurones : bien d'autres familles de fonctions paramétrées possèdent cette propriété. La spécificité des réseaux de neurones réside dans le caractère « parcimonieux » de l'approximation : à précision égale, les réseaux de neurones nécessitent moins de paramètres ajustables que les autres approximateurs connus ; plus précisément, le nombre de poids varie linéairement avec le nombre de variables de la fonction à approcher, alors qu'il varie exponentiellement pour la plupart des autres approximateurs. C'est cette remarquable parcimonie qui justifie l'intérêt pratique des réseaux de neurones : dès qu'un problème fait intervenir plus de deux variables, les réseaux de neurones sont, en général, préférables aux autres méthodes.
[…]… pour nos abonnés, l'article se prolonge sur 8 pages…
