RÉSEAUX DE NEURONES

Carte mentale

Élargissez votre recherche dans Universalis

Médias de l’article

Représentation graphique

Représentation graphique
Crédits : Encyclopædia Universalis France

dessin

Neurone à fonction sigmoïde

Neurone à fonction sigmoïde
Crédits : Encyclopædia Universalis France

dessin

Réseau non bouclé

Réseau non bouclé
Crédits : Encyclopædia Universalis France

dessin

Réseau bouclé et sa forme canonique

Réseau bouclé et sa forme canonique
Crédits : Encyclopædia Universalis France

diaporama

Tous les médias


L'approximation parcimonieuse, une propriété fondamentale des réseaux de neurones

Les réseaux de neurones non bouclés, tels que nous les avons définis plus haut, possèdent une propriété remarquable qui est à l'origine de leur intérêt pratique : ce sont des « approximateurs universels parcimonieux ».

Qu'est-ce que cela signifie ? Un réseau de neurones est capable d'imiter n'importe quel processus, après ajustement de ses paramètres par apprentissage ; la propriété d'« approximation » est la traduction mathématique de cette capacité d'imitation. De plus, la « parcimonie » exprime le fait que le réseau a besoin d'un petit nombre de paramètres ajustables pour réaliser correctement sa tâche.

De manière plus précise, la propriété d'approximation peut être énoncée de la façon suivante : toute fonction bornée suffisamment régulière peut être approchée avec une précision arbitraire, dans un domaine fini de l'espace de ses variables, par un réseau de neurones comportant une couche de neurones cachés en nombre fini, possédant tous la même fonction d'activation, et un neurone de sortie linéaire.

Cette propriété n'est pas spécifique des réseaux de neurones : bien d'autres familles de fonctions paramétrées possèdent cette propriété. La spécificité des réseaux de neurones réside dans le caractère « parcimonieux » de l'approximation : à précision égale, les réseaux de neurones nécessitent moins de paramètres ajustables que les autres approximateurs connus ; plus précisément, le nombre de poids varie linéairement avec le nombre de variables de la fonction à approcher, alors qu'il varie exponentiellement pour la plupart des autres approximateurs. C'est cette remarquable parcimonie qui justifie l'intérêt pratique des réseaux de neurones : dès qu'un problème fait intervenir plus de deux variables, les réseaux de neurones sont, en général, préférables aux autres méthodes.

1 2 3 4 5

pour nos abonnés,
l’article se compose de 8 pages




Écrit par :

Classification


Autres références

«  RÉSEAUX DE NEURONES  » est également traité dans :

RÉSEAUX DE NEURONES (biologie)

  • Écrit par 
  • Jean-Gaël BARBARA
  •  • 2 493 mots
  •  • 3 médias

Dans la recherche neurobiologique contemporaine, on assigne de plus en plus fréquemment à de petits groupes de quelques dizaines de neurones interconnectés des fonctions critiques dans l’élaboration d’un mouvement, d’une perception, ou d’un apprentissage. Ces petits ensembles matériels et fonctionnels de cellules sont nommés réseaux de neurones – à ne pas […] Lire la suite☛ http://www.universalis.fr/encyclopedie/reseaux-de-neurones-biologie/

ANTHROPOLOGIE COGNITIVE

  • Écrit par 
  • Arnaud HALLOY
  •  • 5 804 mots

Dans le chapitre « Le connexionnisme »  : […] L’émergence des modèles connexionnistes dans le courant des années 1980 est venu renforcer la réalité psychologique des schémas et modèles culturels en leur conférant une réalité neurophysiologique. Très succinctement, les modèles connexionnistes décrivent les phénomènes mentaux et comportementaux comme le produit émergeant d’activation et de création de réseaux de neurones. Ils se distinguent ai […] Lire la suite☛ http://www.universalis.fr/encyclopedie/anthropologie-cognitive/#i_95392

APPRENTISSAGE PROFOND ou DEEP LEARNING

  • Écrit par 
  • Jean-Gabriel GANASCIA
  •  • 2 649 mots
  •  • 1 média

Dans le chapitre « Différents types d’apprentissage machine »  : […] On distingue usuellement au moins trois types d’apprentissage machine : l’apprentissage par renforcement, l’apprentissage supervisé et l’apprentissage non supervisé. L’apprentissage par renforcement suppose que, lors de ses pérégrinations, un agent (entité qui agit de façon autonome) reçoit des récompenses ou des punitions en fonction des actions qu’il exécute. Il s’agit alors d’établir automatiq […] Lire la suite☛ http://www.universalis.fr/encyclopedie/apprentissage-profond-deep-learning/#i_95392

AUTOMATISATION

  • Écrit par 
  • Jean VAN DEN BROEK D'OBRENAN
  •  • 11 880 mots
  •  • 12 médias

Dans le chapitre « Réseaux de neurones »  : […] Alors que l'automatique linéaire traite efficacement des processus dynamiques linéaires que l'on peut décrire notamment par des équations différentielles, alors que la logique floue est dédiée aux processus que l'on ne sait décrire que par une expertise linguistique imprécise, les réseaux de neurones ont pour objectif la modélisation et la commande de processus dynamiques non linéaires. En pratiqu […] Lire la suite☛ http://www.universalis.fr/encyclopedie/automatisation/#i_95392

AUTO-ORGANISATION

  • Écrit par 
  • Henri ATLAN
  •  • 6 239 mots
  •  • 1 média

Dans le chapitre « Auto-organisation au sens faible »  : […] Des exemples d'auto-organisation au sens faible sont fournis par la plupart des applications du calcul par réseaux neuronaux aux techniques d' intelligence artificielle destinées à fabriquer des machines à apprendre et à mémoire distributive (cf. F. Fogelman-Soulié, 1991 ; T. Kohonen). Ce calcul est effectué en parallèle par un grand nombre d'unités, d […] Lire la suite☛ http://www.universalis.fr/encyclopedie/auto-organisation/#i_95392

CERVEAU ET BILINGUISME

  • Écrit par 
  • Jean-Marie ANNONI
  •  • 801 mots
  •  • 1 média

Dans le chapitre « Représentation des langues dans le cerveau bilingue »  : […] D’une manière générale, les études actuelles suggèrent que la première et la seconde langue (L 1 et L 2) partagent un réseau neuronal commun à environ 80 p. 100. Ce recouvrement s’applique particulièrement au cas de sujets bilingues naturels, c’est-à-dire ceux qui ont appris les deux langues dans la petite enfance, lorsque les deux langues sont morphologiquement proches. Mais, d’autres cas de fig […] Lire la suite☛ http://www.universalis.fr/encyclopedie/cerveau-et-bilinguisme/#i_95392

CERVEAU ET MUSIQUE

  • Écrit par 
  • Séverine SAMSON
  •  • 1 025 mots

Identifier les zones du cerveau qui traitent la musique et préciser leur rôle respectif dans la perception, la mémoire, les émotions et la pratique musicale font l’objet de nombreux travaux en neuroscience de la musique. C’est à partir de l’observation des patients présentant des lésions cérébrales et des études en neuro-imagerie que les scientifiques ont réussi à apporter des preuves solides con […] Lire la suite☛ http://www.universalis.fr/encyclopedie/cerveau-et-musique/#i_95392

COGNITIVES SCIENCES

  • Écrit par 
  • Daniel ANDLER
  •  • 19 239 mots
  •  • 4 médias

Dans le chapitre « Le connexionnisme »  : […] Le connexionnisme se présente quant à lui comme un ensemble de méthodes de modélisation et de simulation de toute une variété de processus cognitifs ; et c'est en cherchant à dégager les traits communs à ces méthodes, et les avantages qu'elles présentent sur les méthodes classiques, que les connexionnistes ont commencé à élaborer une doctrine. À cet égard, leur parcours n'est pas sans rappeler c […] Lire la suite☛ http://www.universalis.fr/encyclopedie/sciences-cognitives/#i_95392

INTELLIGENCE ARTIFICIELLE (IA)

  • Écrit par 
  • Jean-Gabriel GANASCIA
  •  • 5 073 mots
  •  • 5 médias

Dans le chapitre « Les précurseurs  »  : […] Cette discipline scientifique qu’est l’intelligence artificielle ne surgit pas de nulle part. Elle a emboîté le pas à la cybernétique, science des systèmes complexes et de leur commande, fondée dans les années 1940 et particulièrement active au début des années 1950. Celle-ci aspirait à modéliser la régulation des systèmes biologiques, psychiques, politiques ou sociaux avec des flux d’information […] Lire la suite☛ http://www.universalis.fr/encyclopedie/intelligence-artificielle-ia/#i_95392

ACQUISITION DU LANGAGE CHEZ LES MALENTENDANTS

  • Écrit par 
  • Jacqueline LEYBAERT
  •  • 2 560 mots

Dans le chapitre « Composantes amodales du traitement cérébral et plasticité neuronale »  : […] Depuis la fin des années 1990, une série d’études a montré que la modalité (signée ou parlée) a relativement peu d’impact sur les systèmes neuraux qui soutiennent les traitements phonologique, sémantique et syntaxique. La mise en évidence de réseaux neuronaux similaires dans une tâche de jugement phonologique en LP (juger si les noms de deux dessins riment) et en LS (juger si les signes correspon […] Lire la suite☛ http://www.universalis.fr/encyclopedie/acquisition-du-langage-chez-les-malentendants/#i_95392

MINSKY MARVIN LEE (1927-2016)

  • Écrit par 
  • Michael Aaron DENNIS, 
  • Universalis
  •  • 440 mots

Le scientifique américain Marvin Minsky fut un pionnier de l’intelligence artificielle (IA). Il contribua également à l’étude de la psychologie cognitive, des réseaux neuronaux et des mathématiques symboliques. Né le 9 août 1927 à New York, Marvin Lee Minsky sert dans la marine américaine (US Navy) en 1944-1945 avant d’étudier la physique, la neurophysiologie et la psychologie à l’université de Ha […] Lire la suite☛ http://www.universalis.fr/encyclopedie/marvin-lee-minsky/#i_95392

NEUROSCIENCES COGNITIVES ET SOMMEIL

  • Écrit par 
  • Philippe PEIGNEUX
  •  • 1 393 mots

Le sommeil est souvent perçu comme un arrêt nécessaire de nos activités d’éveil, mettant le corps et le cerveau au repos. L’analogie au mode de veille passif d’un ordinateur est toutefois erronée. En effet, ce qui caractérise le cerveau « endormi » est avant tout un changement de son mode opératoire avec la mise en place de réseaux d’activité qui diffèrent des profils observés à l’état de veille, […] Lire la suite☛ http://www.universalis.fr/encyclopedie/neurosciences-cognitives-et-sommeil/#i_95392

NEUROSCIENCES COGNITIVES ET DOULEUR

  • Écrit par 
  • Valery LEGRAIN
  •  • 1 405 mots

Dans le chapitre « Un système spécifique ou non spécifique ? »  : […] S’il existe un système de codage et de transport spécifique pour la nociception, soit le double système d’afférence associé aux fibres nerveuses Aδ et C, l’existence d’un système spécifique de transformation de l’information nociceptive en douleur au niveau du cortex cérébral est largement débattue. À ce niveau, le message nerveux issu de l’activation des récepteurs et fibres nociceptives est pro […] Lire la suite☛ http://www.universalis.fr/encyclopedie/neurosciences-cognitives-et-douleur/#i_95392

NUMÉRIQUE ART

  • Écrit par 
  • Edmond COUCHOT
  •  • 6 665 mots

Dans le chapitre « Nouvelles tendances : vers l'autonomie »  : […] Les chercheurs qui désirent doter leurs personnages de synthèse de plus en plus d'autonomie reviennent aux premières idées – simuler l'intelligence –, mais avec les ressources des sciences de la vie et de l'intelligence artificielle, qui se sont beaucoup développées depuis. Sans vouloir percer les secrets de la création, comme au début de l'art numérique, ils cherchent cependant à développer l'aut […] Lire la suite☛ http://www.universalis.fr/encyclopedie/art-numerique/#i_95392

ROBOTIQUE ET PSYCHOLOGIE

  • Écrit par 
  • Philippe GAUSSIER
  •  • 2 143 mots
  •  • 2 médias

Dans le chapitre « Le robot comme modèle ou caricature »  : […] En parallèle, les robots sont aussi utilisés pour tester les conséquences comportementales de modèles cognitifs. Les chercheurs ont été surpris de constater à quel point des architectures de contrôle très simples et caricaturales couplant directement capteurs et actionneurs permettent d’obtenir des comportements très riches que des observateurs naïfs interprètent comme des comportements « intelli […] Lire la suite☛ http://www.universalis.fr/encyclopedie/robotique-et-psychologie/#i_95392

SIMULATION ET DÉVELOPPEMENT (psychologie)

  • Écrit par 
  • Henri LEHALLE
  •  • 2 457 mots

Dans le chapitre « Connexionnisme et réseaux de neurones »  : […] L’approche connexionniste s’appuie sur un modèle du fonctionnement neuronal pour agencer une architecture cognitive dont la dynamique représentée par une suite de calculs doit parvenir à simuler le fonctionnement et le développement psychologiques. Un réseau connexionniste se caractérise d’abord par son architecture, c’est-à-dire par le nombre d’unités qu’il comporte et par leur agencement. Chaqu […] Lire la suite☛ http://www.universalis.fr/encyclopedie/simulation-et-developpement/#i_95392

TRAITEMENT AUTOMATIQUE DES LANGUES

  • Écrit par 
  • Anne ABEILLÉ
  •  • 8 408 mots
  •  • 5 médias

Dans le chapitre « Approches cognitives »  : […] Même si on n'a pas construit des avions en imitant le vol des oiseaux, il peut être tentant, pour le T.A.L., de s'inspirer des comportement langagier. Dans cette optique, le T.A.L. appartient au domaine des sciences cognitives, et il s'agit souvent moins de réaliser les meilleures applications pratiques que de modéliser et tester sur machine des hypothèses sur le fonctionnement humain. En liaison […] Lire la suite☛ http://www.universalis.fr/encyclopedie/traitement-automatique-des-langues/#i_95392

VISUALISATION DE L'ACTIVITÉ DU CERVEAU

  • Écrit par 
  • Jean-Gaël BARBARA
  •  • 6 298 mots
  •  • 5 médias

Dans le chapitre « Imagerie par magnétométrie »  : […] Durant les années 1980, d’autres techniques de visualisation des activités du cerveau furent développées selon des lignes de recherche antérieures, mais en s’affranchissant des contraintes liées à l’usage de la radioactivité. À la fin des années 1960, l’une d’entre elles consistait à exploiter la mesure de l’effet magnétique de faible intensité produit par l’activité électrique des neurones pour p […] Lire la suite☛ http://www.universalis.fr/encyclopedie/visualisation-de-l-activite-du-cerveau/#i_95392

Voir aussi

Pour citer l’article

Gérard DREYFUS, « RÉSEAUX DE NEURONES », Encyclopædia Universalis [en ligne], consulté le 10 septembre 2019. URL : http://www.universalis.fr/encyclopedie/reseaux-de-neurones-formels/