INFORMATION THÉORIE DE L'

Carte mentale

Élargissez votre recherche dans Universalis

Application à la thermodynamique

La notion de quantité d'information est l'un des concepts de base de la théorie de l'information. Remarquant que son expression mathématique ressemblait à celle que Ludwig Boltzmann avait donnée à la fin du xixe siècle pour l'entropie, Shannon a pressenti que l'on pouvait établir un pont entre la théorie de l'information et la thermodynamique. Afin de comprendre ce lien, souvenons-nous d'abord qu'un morceau de matière, même petit, comprend un si grand nombre de particules qu'on ne peut le décrire à l'échelle microscopique que de façon statistique. Prenons l'exemple d'une épingle d'acier. Elle contient quelque 1019 atomes. La plupart d'entre eux sont des atomes de fer, situés aux nœuds d'un réseau cristallin. Les autres (environ 1 p. 100 du total) sont des atomes de carbone, plus petits, qui s'intercalent en se plaçant dans certains des interstices. L'empilement des atomes de fer n'est pas parfaitement régulier, de sorte que la configuration de l'édifice est caractérisée par la nature et la position des défauts, ainsi que par les emplacements des atomes de carbone. Le nombre de ces configurations défie l'entendement. Déjà, le nombre d'états distincts obtenus en disposant les atomes de carbone de toutes les façons possibles dans un réseau régulier d'atomes de fer nécessiterait, si on voulait l'écrire, pas moins de 1017 chiffres. La connaissance de la configuration précise de notre tête d'épingle est donc hors de portée. En revanche, nous pouvons espérer rendre compte des propriétés, non pas d'un objet spécifique, mais d'échantillons génériques. Ce ne sont plus les particularités d'une certaine tête d'épingle qu'il s'agit alors de décrire, mais les propriétés communes à toutes les têtes d'épingle fabriquées dans les mêmes conditions.

Tous les objets ont alors les mêmes caractéristiques macroscopiques (volume, composition, masse, température), mais la configuration microscopique de chacun d'entre eux reste inconnue. On peut toutefois attribuer une probabilité pn à chacune des très nombreus [...]

1  2  3  4  5
pour nos abonnés,
l’article se compose de 5 pages

Écrit par :

  • : professeur émérite de biophysique aux universités de Paris-VI-Pierre-et-Marie-Curie et de Jérusalem, directeur d'études à l'École des hautes études en sciences sociales, Paris, directeur du Centre de recherches en biologie humaine, hôpital Hadassah, Jérusalem (Israël)
  • : professeur à l'université des sciences et technologies de Lille
  • : physicien au Commissariat à l'énergie atomique

Classification

Autres références

«  INFORMATION THÉORIE DE L'  » est également traité dans :

BRILLOUIN LÉON (1889-1969)

  • Écrit par 
  • André GUINIER
  •  • 839 mots

Le père et le grand-père de Léon Brillouin ont été professeurs de physique au Collège de France. Après ses études à l'École normale supérieure, il a passé un an auprès de A. Sommerfeld, à Munich. Pendant la Première Guerre mondiale, il est affecté au laboratoire « de T.S.F. » du général Ferrié, où il rencontre Maurice et Louis de Broglie. Après la guerre, il est professeur à l'École supérieure d'é […] Lire la suite

COGNITION

  • Écrit par 
  • Chrystel BESCHE-RICHARD, 
  • Raymond CAMPAN
  •  • 2 620 mots

Dans le chapitre « Intelligence artificielle et sciences cognitives »  : […] Vers le milieu du xx e  siècle, l'invention des premiers ordinateurs programmables et la cybernétique amènent à considérer ensemble le cerveau, l'esprit et la machine. L'intelligence artificielle offre des outils conceptuels, des méthodes et des machines à des disciplines très différentes. Si les neurosciences, la psychologie, la linguistique ou la philosophie participent naturellement à cette ap […] Lire la suite

COGNITIVES SCIENCES

  • Écrit par 
  • Daniel ANDLER
  •  • 19 239 mots
  •  • 4 médias

Dans le chapitre « Phase I (1950-1970) : l'émergence »  : […] Revenons aux États-Unis. La première cybernétique nous conduit directement à la fondation des sciences cognitives : la dernière conférence Macy se tient à Princeton en 1953, date à laquelle, par coïncidence, se tient un séminaire de huit semaines au cours duquel les objectifs et la dénomination d'une nouvelle discipline sont définis : il s'agit de la psycholinguistique, branche emblématique du cou […] Lire la suite

COMMUNICATION

  • Écrit par 
  • Yves WINKIN
  •  • 4 805 mots

Dans le chapitre « Une théorie mathématique de la communication »  : […] Pendant la Seconde Guerre mondiale, nombre d'équipes de recherches civiles se constituent aux États-Unis autour de thématiques précises. C'est ainsi qu'un groupe de chercheurs se rassemble au Massachusetts Institute of Technology (M.I.T.) autour de Claude Shannon, un spécialiste des théories mathématiques de l'information, pour repenser la transmission télégraphique. Le télégraphe est en effet […] Lire la suite

COMMUNICATION - Les processus de la communication

  • Écrit par 
  • Robert PAGÈS
  •  • 6 240 mots

L'évolution qui a marqué les problèmes de la communication dans le monde contemporain s'inscrit dans la terminologie, elle-même reflet de la conceptualisation. En français comme en anglais, tend à se constituer une opposition entre deux sens du mot « communication » : celui de possibilité de passage ou de transport entre deux points (on parle alors de voies de communication) ; celui de transmissio […] Lire la suite

ENTROPIE

  • Écrit par 
  • Bernard DIU
  •  • 1 359 mots
  •  • 1 média

Dans le chapitre « L'entropie statistique »  : […] Intervient dans la formule de Boltzmann le nombre total W d'états microscopiques accessibles lorsque est fixé l'état macroscopique du système. Voilà qui est surprenant : on s'attendait plutôt à ce que l'un de ces états soit réalisé – même s'il est sans doute impossible de savoir lequel –, ce qui exclurait les autres. Ce dilemme est résolu si l'on admet que la description microscopique d'un système […] Lire la suite

FINALITÉ

  • Écrit par 
  • Raymond RUYER
  •  • 6 602 mots

Dans le chapitre « La création de formes »  : […] Toute action finaliste est épigénétique, c'est-à-dire créatrice de formes. Le travail d'« implication », dans le temps et l'espace, est lié à ce caractère épigénétique de la finalité. Une œuvre finaliste en cours va se différenciant de plus en plus, au sens propre du mot. Il y apparaît (épi-genèse) des différences, dans l'ébauche, d'abord simple et homogène, qui ne se borne donc pas à fonctionner […] Lire la suite

FORME

  • Écrit par 
  • Jean PETITOT
  •  • 27 547 mots

Dans le chapitre « Phénoménologie, gestalt-théorie et écologisme »  : […] Nombre d'auteurs ont remarqué que la déréalisation du phénomène par réduction phénoménologique soulève d'inextricables difficultés lorsqu'il s'agit pour Husserl d'en revenir à la réalité physique. La reprise de l'ontologie aristotélicienne dans un cadre post-galiléen aboutit à une incompréhension radicale des sciences naturelles objectives. Entre les deux constitutions transcendantales, l'une d'u […] Lire la suite

INFORMATION GÉNÉTIQUE

  • Écrit par 
  • Henri ATLAN
  •  • 6 223 mots
  •  • 1 média

Dans le chapitre « Codage génétique et biosynthèse des protéines »  : […] Les caractères héréditaires « visibles », mais aussi toutes les propriétés d'un organisme sont déterminés, au niveau de la biochimie cellulaire, par des réseaux de réactions physico-chimiques, dont chacune est catalysée par une enzyme spécifique. Telle ou telle réaction est« branchée » ou « débranchée » suivant que l'enzyme responsable est ou non présente sous une forme active. Les enzymes sont de […] Lire la suite

JEUX THÉORIE DES

  • Écrit par 
  • Bernard GUERRIEN
  •  • 8 066 mots

Dans le chapitre « Les hypothèses sur l'information  »  : […] La plupart des modèles de théorie des jeux supposent qu'il y a information complète  : chacun connaît ses stratégies et celles des autres, leurs caractéristiques et leurs motivations, ainsi que les diverses issues possibles du jeu (avec les gains correspondants). En résumé, chacun sait tout sur tout, y compris que les autres savent qu'il sait, qu'il sait qu'ils savent, etc. : tous les éléments du […] Lire la suite

Les derniers événements

France. Annonce de la candidature de François Mitterrand à l'élection présidentielle. 22-31 mars 1988

intolérants », des « partis qui veulent tout », des « clans », des « bandes », des « factions » menacent « la paix civile ». Jacques Chirac s'étonne, le soir même, à Caen, de l'« agressivité du candidat socialiste » et souligne qu'il « ne s'est certainement pas présenté comme un rassembleur ». Le 23 […] Lire la suite

Pour citer l’article

Henri ATLAN, Jean-Paul DELAHAYE, Étienne KLEIN, « INFORMATION THÉORIE DE L' », Encyclopædia Universalis [en ligne], consulté le 02 février 2021. URL : https://www.universalis.fr/encyclopedie/theorie-de-l-information/