|
Qu'est-ce que "l'information"? |
|
|
|
|
Débat -
Information (notes de référence)
- Écrit par Luc Fayard -
23-11-2004 |
 "La quantité d'information dans un message est inversement proportionnelle à la probabilité d'apparition de ce message." Ce n'est pas moi qui le dit mais Claude Shannon, l'inventeur en 1949 de la seule grande théorie de l'information, celle qui a créé le bit et donné naissance à l'informatique.
Si je sais à l'avance ce que tu vas me dire, il n'y a pas d'info! C'est pas beau?
Shannon a même trouvé la formule (ci-dessus) en calculant l'entropie ou logon.
L’entropie exprimée en bits est égale à moins la somme des probabilités des diverses éventualités possibles multipliées par le logarithme de base 2 de ces probabilités.
Exemple : si je tire à pile ou face, la probabilité p de pile (comme celle de face) est de ½, l’entropie H sera :H = - (1/2 log ½ ) + (1/2 log ½ ) = - 2 (1/2 log ½ ) = - log ½ = 1 bit.
Le bit est donc tout simplement la quantité d’information qui émerge dans la réponse « oui » ou « non » à une question ; d’où la naissance de l’informatique qui adore ce genre de réponse par oui ou par non, par 0 ou 1 : dans tel circuit, dans tel composant, le courant passe ou ne passe-t-il pas ?
On peut aller très loin dans la réflexion intellectuelle par la succession de réponses en oui ou non ... A suivre...
Trackback(0)
 |
|
Dernière mise à jour : ( 27-11-2006 )
|
REFZEN
TrackBack URI for this entry
RSS feed Comments
