ENTROPIE, théorie de l'information

Ce sujet est traité dans les articles suivants :

1.  COMMUNICATION

Écrit par : Yves WINKIN

Dans le chapitre "Une théorie mathématique de la communication"  : … force équations et schémas. Si l'on pose a priori que tout système, mécanique ou vivant, tend vers* l'« entropie », c'est-à-dire vers la disparition totale de toute circulation d'information, on peut proposer que tout ce qui permet à un système de contrer l'entropie relève de l'information. L'information est tout ce qui contribue à maintenir un… Lire la suite

2.  COMMUNICATION - Les processus de la communication

Écrit par : Robert PAGÈS

Dans le chapitre "Le schéma de la communication"  : … par le maximum de désordre (ou le minimum de prédétermination), on retrouve la définition de l'*entropie. La formule fondamentale en est : dans laquelle pi est la probabilité d'apparition d'un élément ou signal quelconque. C. Shannon et W. Weaver (1949) ont insisté sur la portée explicative de la théorie et donné à leur… Lire la suite

3.  ENTROPIE

Écrit par : Bernard DIU

Dans le chapitre "L'entropie statistique"  : … Shannon et Warren Weaver (1948), propose de mesurer quantitativement le manque d'information par *l'entropie statistique S, définie comme S = — k Σ n=1^N Pn ln Pn (définition). la constante positive k est a priori arbitraire (en mécanique statistique, ce sera la… Lire la suite

4.  INFORMATION THÉORIE DE L'

Écrit par : Henri ATLAN, Jean-Paul DELAHAYE, Étienne KLEIN

Dans le chapitre "Théorie de Shannon"  : … de s relativement à p(i) et ai, valeur appelée *entropie et notée E(s, {p(i)}), par : Dans cette conception de l'information, on suppose implicitement que le récepteur est capable de faire certains calculs pour reconstituer s à partir de ce qu'on lui transmet.… Lire la suite

5.  SHANNON CLAUDE ELWOOD (1916-2001)

Écrit par : Frédéric GAUTHIER

…  une définition mathématique de l'information que Shannon et Warren Weaver introduisent la notion *d'entropie, jusque-là réservée au domaine de la thermodynamique. Cette notion peut s'expliquer en considérant une situation où M événements discrets mi peuvent se produire avec une probabilité d'apparition Pi… Lire la suite