4. Réseaux de neurones et régression non linéaire
Dans la pratique, on n'utilise pas les réseaux de neurones pour réaliser des approximations de fonctions connues. Le plus souvent, le problème qui se pose à l'ingénieur est le suivant : il dispose d'un ensemble de mesures des variables d'un processus de nature quelconque (physique, chimique, biologique, économique, financier...), ainsi que de mesures du résultat de ce processus ; il suppose qu'il existe une relation déterministe entre ces variables et ce résultat, et il cherche une forme mathématique de cette relation, valable dans le domaine où les mesures ont été effectuées ; celles-ci sont en nombre fini, elles sont certainement entachées de bruit, et toutes les variables qui déterminent le résultat du processus ne sont pas forcément mesurées. En d'autres termes, l'ingénieur cherche à élaborer un « modèle » du processus qu'il étudie, à partir des mesures dont il dispose.
En quoi la propriété d'approximation parcimonieuse peut-elle être utile pour résoudre ce genre de problèmes ? Ce que l'ingénieur cherche à obtenir à l'aide de son modèle, c'est la fonction qui relie la grandeur yp que l'on veut modéliser aux variables {x} qui la déterminent, c'est-à-dire la fonction que l'on obtiendrait en faisant une infinité de mesures de yp pour chaque valeur possible de {x} : en termes de statistiques, l'ingénieur cherche la « fonction de régression » de la grandeur yp à modéliser. Cette fonction est inconnue, mais on peut en chercher une approximation à partir des mesures disponibles : les réseaux de neurones sont donc de bons candidats pour cela, si la fonction de régression cherchée est non linéaire.
L'approximation est obtenue en estimant les paramètres d'un réseau de neurones au cours de la phase d'apprentissage. C'est là que la propriété d'approximation parcimonieuse des réseaux de neurones est précieuse : en effet, le nombre de mesures nécessaires pour estimer les paramètres de manière significative est d'autant plus grand q […]
… pour nos abonnés, l'article se prolonge sur 8 pages…
