ENTROPIE, théorie de l'information

Articles

• COMMUNICATION

  • Écrit par Yves WINKIN
  • 4 813 mots
  ...Shannon va modéliser le processus télégraphique, avec force équations et schémas. Si l'on pose a priori que tout système, mécanique ou vivant, tend vers l'« entropie », c'est-à-dire vers la disparition totale de toute circulation d'information, on peut proposer que tout ce qui permet à un système de contrer...

• COMMUNICATION - Les processus de la communication

  • Écrit par Robert PAGÈS
  • 6 234 mots
  ...temps. Dans cette définition de la quantité d'information par le maximum de désordre (ou le minimum de prédétermination), on retrouve la définition de l' entropie. La formule fondamentale en est :

  

  dans laquelle p_i est la probabilité d'apparition d'un élément ou signal quelconque.

• ENTROPIE

  • Écrit par Bernard DIU
  • 1 350 mots
  • 1 média
  ...l'information, développée depuis les travaux de Claude Shannon et Warren Weaver (1948), propose de mesurer quantitativement le manque d'information par l'entropie statistique S, définie comme S = — k Σ _n=1^N P_n ln P_n (définition). la constante positive k est a priori arbitraire (en mécanique...

• INFORMATION THÉORIE DE L'

  • Écrit par Henri ATLAN, Jean-Paul DELAHAYE, Étienne KLEIN
  • 3 063 mots
  ...poursuivi est de transmettre une chaîne de caractère s à un récepteur disposant de la connaissance des fréquences p(i) des lettres de l'alphabet {a₁, a₂, ..., a_n}, on définira la valeur en information de s relativement à p(i) et a_i, valeur appelée entropie et notée E(s, {p(i)}), par :

  

• SHANNON CLAUDE ELWOOD (1916-2001)

  • Écrit par Frédéric GAUTHIER
  • 902 mots
  • 1 média

  Né le 30 avril 1916 à Gaylord (Michigan, États-Unis), Claude Elwood Shannon est considéré par l'ensemble de la communauté scientifique comme le père fondateur de la théorie de l'information et des communications numériques.

  En 1940, il obtient un master en ingénierie électrique et...