Question:
Qu'est-ce que l'information?
Mitchell
2011-01-11 01:56:48 UTC
view on stackexchange narkive permalink

Nous connaissons tous des principes de base tels que «l'information ne peut pas être transmise plus rapidement que la lumière» et des idées telles que la conservation de l'information dans des scénarios comme le rayonnement de Hawking (et en général, évidemment). Le principe holographique dit, en gros, que les informations sur un volume d'espace sont encodées sur sa surface bidimensionnelle en bits de la taille de Planck.

Dans tous ces contextes, je peux prendre «information» pour désigner la capacité prédictive ou postdictive, c'est-à-dire que l'information est ce qui nous permet de dire quel a été ou sera le résultat d'une mesure (localement). Mais quelle est information, exactement? En avons-nous une description microscopique? Est-ce juste un concept et, si oui, comment pouvons-nous parler de sa transmission?

Je suppose que c'est probablement aussi irréfutable que ce qui constitue un observateur / mesure de l'effondrement de la fonction d'onde, mais j'aimerais savoir si nous avons une formulation de quelle information est faite, pour ainsi dire. Si je dis des bêtises, comme je suppose que je peux l'être, n'hésitez pas à le signaler.

Cinq réponses:
#1
+30
Johannes
2011-01-14 09:15:23 UTC
view on stackexchange narkive permalink

En bref:

informations contenues dans un système physique = le nombre de questions oui / non auxquelles vous avez besoin de répondre pour spécifier complètement le système.

+1 mais pourrait être amélioré en "le nombre _minimum_ de ..." IMHO
bien en effet, finalement [pas vrai] (http://physics.stackexchange.com/q/193677/85676)
@Probably - Bien sûr, vous pouvez affiner la réponse ci-dessus en faisant la déclaration plus élaborée "* l'entropie pour un état macroscopique donné d'un objet est le nombre de questions oui / non auxquelles vous devez répondre au minimum pour spécifier complètement l'état microscopique détailléde l'objet * ".cependant, cette élaboration ne rend pas la réponse plus succincte ci-dessus "* finalement pas vrai *".Gardez également à l'esprit que le nombre de questions oui / non requis est généralement le nombre d'Avogadro (ou beaucoup, beaucoup plus dans le cas du contexte de cette question qui implique des degrés de liberté de gravité quantique).
Je ne suis pas d'accord avec cette réponse.Supposons que j'ai un signal provenant du [bruit de tension d'une résistance] (https://en.wikipedia.org/wiki/Johnson%E2%80%93Nyquist_noise).Je dois poser beaucoup de questions oui / non pour spécifier ce signal, mais il ne contient pas beaucoup d'informations.Pour comprendre l'information, il faut vraiment parler des connaissances et des contraintes préalables.
@DanielSank - le bruit de tension d'une résistance, provenant des agitations thermiques détaillées dans les états électroniques, contient une énorme quantité d'informations ...
@DanielSank Le fait que l'information ne vous intéresse pas ne l'empêche pas d'être une information.
@Johannes donc le bruit statique du téléviseur aurait plus de contenu d'information que n'importe quelle vidéo.Le bruit aléatoire ne peut pas être compressé en un plus petit nombre de bits.Je pensais que l'information avait un caractère subjectif.
@Aditya - c'est correct: par définition, vous ne pouvez compresser un signal que jusqu'au nombre minimal de bits requis pour reconstruire le signal.Ainsi, les chaînes de bits résultant de tirages au sort ont le contenu d'information le plus élevé.Bien sûr, Broman a raison: que cette information vous intéresse ou non est une question différente (et en général subjective).Les informations qui ne vous intéressent pas, vous pouvez vous référer à l'entropie.
En utilisant cette définition, combien d'informations un atome d'hydrogène contient-il?La taille du fichier de la page Wikipedia compressée «atome d'hydrogène» serait-elle une bonne ou une mauvaise approximation?
#2
+20
Anixx
2011-01-11 03:31:40 UTC
view on stackexchange narkive permalink

L'information est un concept purement mathématique, généralement une caractéristique de l'incertitude (d'une fonction de distribution de probabilité), mais peut être interprétée de différentes manières. Dans sa forme la plus simple, il est introduit dans la théorie de l'information comme une différence entre les incertitudes de deux distributions, l'incertitude étant le logarithme d'un certain nombre d'états également probables possibles d'une variable aléatoire discrète. Pour une distribution continue, il peut être introduit comme un logarithme d'une intégrale. Parfois introduit des informations appropriées - une quantité qui ne diffère de l'entropie négative que par une constante indépendante de la distribution (cette constante peut être considérée comme nulle).

Ainsi, l'information est une différence d'informations propres (différence d'entropie négative ) de deux états. Les états sont représentés par des fonctions de distribution de probabilité, donc l'information est un opérateur formel de deux fonctions.

Pour les distributions continues (dont le cas discret est une variante), l'information propre de la distribution $ w $ est

$$ I [w] = - H (w) = - \ int_ {- \ infty} ^ {+ \ infty} w (x) \ log (w (x)) dx $$

et les informations relatives de $ w_2 $ par rapport à $ w_1 $ sont

$$I[w_2,w_1 =H(w_1)-H(w_2)=I(w_2)-I(w_1)$$

ou

$$ I [w_2, w_1] = \ int _ {- \ infty} ^ {+ \ infty} \ log \ left (\ frac {w_1 (x) ^ {w_1 (x)}} {w_2 (x) ^ {w_2 (x )}} \ right) $$

Cet opérateur n'est pas très différent de la norme ou de l'angle dans les espaces vectoriels. C'est juste une mesure, attribuée aux membres de l'espace.

Comparez cela avec la définition de la norme:

$$ || w || = \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w (x) ^ 2dx} $$

distance

$$ D [w_1, w_2] = || w_1-w_2 || = \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} (w_1 (x) -w_2 (x)) ^ 2dx} $$

angle

$$ \ Phi [w_1, w_2] = \ arccos \ frac {\ int _ {- \ infty} ^ {+ \ infty} w_1 (x) w_2 (x) dx} {\ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w_1 (x) ^ 2dx} \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w_2 (x) ^ 2dx}} $$

Pensez donc à l'information comme d'une mathématique quantité similaire à l'angle.

Toute discussion d'information d'un point de vue mathématique doit vraiment mentionner l'entropie de Shannon.
C'est mentionné ci-dessus.
Pour élaborer sur cela, on peut écrire une expression pour obtenir des informations appropriées en utilisant l'intégrale multiplicative: $$ I (w) = \ log \ int _ {- \ infty} ^ {\ infty} (w ^ w) ^ {dx} $$ et la comparer avec l'expression pour la norme $$ || w || = \ sqrt {\ int _ {- \ infty} ^ {\ infty} w ^ 2 dx} $$
Pour dire avec des mots simples, la norme répond à la question de savoir quelle est la taille de quelque chose, l'angle répond à la question de savoir dans quelle mesure quelque chose est orienté et l'entropie / l'information répond à la question de savoir à quel point quelque chose est complexe.
Bienvenue sur physics.se @anixx. C'est une réponse tout à fait remarquable. Le point de vue selon lequel l'information est une «quantité mathématique similaire à l'angle» est également au cœur de la mécanique quantique. En fait, en 1981, Wootters («Statistical distance and hilbert space», PRD) a montré que la «distance statistique» entre deux ensembles d'observations coïncide avec l'angle entre les rayons d'un espace de Hilbert. Bien sûr, rien de tout cela ne surprendrait R. A. Fisher;)
Ah ok. Je l'ai manqué semble-t-il. Vous devriez certainement l'appeler «entropie de Shannon» ou «entropie d'information» pour la distinguer de l'entropie thermodynamique, étant donné qu'il s'agit d'un site de physique.
@ space_cadet En fait, si vous comparez les formules, l'information ressemble plus à la distance (remplacez simplement la multiplication par l'exponentiation et la soustraction par la division). Mais contrairement à la distance, elle est indépendante de l'échelle (comme l'angle).
@Anixx pour voir l'analogie, je vous suggère de jeter un oeil à l'article que j'ai mentionné. Mais je comprends aussi votre point.
@Anixx @space_cadet - pour être un peu pédant, vous devriez appeler ce que vous avez écrit entropie différentielle. Dans l'entropie de Shannon, la variable aléatoire est discrète. L'entropie différentielle étend l'entropie de Shannon en utilisant des fonctions de densité de probabilité qui sont continues, mais celles-ci peuvent être délicates et peuvent avoir des valeurs supérieures à 1. Je suis d'accord, j'aime la réponse. +1
@Anixx Penser l'information comme "un angle" soulève quelques questions. At-elle un maximum et répète-t-elle ensuite ses propriétés? comme $ \ alpha $ et $ \ alpha + 2 \ pi $. Existe-t-il des "informations orthogonales"? etc..
@HDE non, cela ressemble plus à la distance en ce sens qu'elle est illimitée, et plus à l'angle en ce qu'elle est sans dimension. Comme vous pouvez le voir ci-dessus, la formule ressemble à celle pour la distance avec le carré remplacé par la puissance personnelle, la soustraction avec division et la racine avec le logarithme.
#3
+19
Humble
2011-01-19 07:59:30 UTC
view on stackexchange narkive permalink

Comme il existe déjà des réponses techniques exceptionnelles à cette question, je pense que nous devrions ajouter de meilleurs fondements philosophiques à explorer qui pourraient vous aider à acquérir une meilleure idée de ce qu'est l'information.

Warren Weaver a fourni une excellente discussion sur la théorie de l'information en 1949 dans son article intitulé " Contributions récentes à la théorie mathématique de la communication".

Dans cet article, il décompose les problèmes de communication en trois catégories principales : technique, sémantique et efficacité. Il explique en outre que le concept d'information est purement dérivé pour résoudre le problème technique de la théorie des communications.

Une définition simple de l'information, fournie par Weaver, est que "l'information est une mesure de la liberté de choix quand on sélectionne un message"; ou plus exactement, le logarithme de cette liberté de choix. L'information est donc plus clairement comprise comme le nombre de combinaisons de composants qui sont disponibles pour être choisies arbitrairement.

En ce sens, on peut le voir comme une mesure du caractère aléatoire associé à une chaîne de lettres. Un bon exemple est la roue de la fortune. Lorsque Pat Sajak vous montre un tableau avec les blocs blancs et verts, il vous a déjà fourni beaucoup d'informations en plaçant des espaces entre les blocs blancs, car il a considérablement réduit le nombre de combinaisons possibles qui pourraient être possibles pour remplir le blocs blancs.

L'information maximum (ou entropie) du tableau avec 52 cases ou "trilons" et utilisant 26 lettres est de 26 $ ^ {52} = 3,8 \ fois 10 ^ {73} $ combinaisons ou entre 244 $ $ et 245 $ $ bits de informations en binaire. Cependant, s'il n'y avait que 11 cases éclairées en blanc, alors les informations réelles du tableau sont soudainement tombées à 26 $ ^ {11} = 3,6 \ fois 10 ^ {15} $ combinaisons donnant un contenu d'information réel (ou une entropie) ou 51 $ à 52 $ bits. Les informations relatives sont $ \ dfrac {51} {244} = 0,21 $ ou 21%. La redondance est alors donnée par 1 $ - 0,21 = 0,79 $ ou 79%.

Alors que Vanna retourne des cases, elle diminue l'entropie relative et augmente la redondance à un point où la probabilité de résoudre le puzzle devient très élevée. Donc, dans ce sens, l'information, comme l'entropie, est une mesure de l'incertitude sur le système.

Il existe maintenant différents types d'incertitude, l'un est l'incertitude associée à la liberté de choix du message et l'autre est le bruit. L'incertitude discutée dans l'exemple de la roue de la fortune est due à la liberté de choix. Dans une situation silencieuse, on s'attendrait à ce que le mot ou la phrase que Vanna dévoile soit exactement celui choisi avant le spectacle. Dans un environnement bruyant, par exemple, où il y a une certaine probabilité qu'un membre d'équipage mal orthographié le mot lors de la mise en place des blocs, alors il est possible que le dernier mot affiché ne soit pas celui choisi avant le spectacle. Cette incertitude, ou bruit, est appelée équivoque et est apportée par l'environnement lui-même.

La distinction entre un environnement bruyant et silencieux est très importante. William Tuller en 1949 a publié un article " LIMITATIONS THÉORIQUES DU TAUX OF TRANSMISSION OF INFORMATION "qui prouvait qu'il n'y avait aucune limite dans la quantité d'informations qui pouvaient être transmises dans un canal silencieux. C'est pourquoi l'article de Shannon" Communication in the Presence of Noise " était critique pour la théorie de la communication en ce qu'elle quantifiait correctement ce qu'était réellement le bruit et comment il affectait la communication et le transfert d'informations.

Maintenant, avant de terminer, il convient de noter que Hartley dans son article de 1928 " Transmission d'informations "a été le premier à donner une définition moderne de l'information et à lui donner une mesure quantitative. Je recommanderais de consulter ce document comme point de départ. D'autres contributions importantes sont apportées par d'autres scientifiques, comme Wiener ce qui est mieux capturé en Cybernétique.

Pour conclure, il est rafraîchissant que l’importance du bruit quantique commence à être discutée, et j’espère que cela se poursuivra dans le futur.

absolument brillant
#4
+3
Luboš Motl
2011-01-14 06:28:00 UTC
view on stackexchange narkive permalink

L'information est une quantité sans dimension (sans unité) - et, en ce sens, "purement mathématique" - mesurant combien il faut apprendre à connaître quelque chose relativement au point où il ne le sait pas, exprimée en unités particulières . Sur le plan opérationnel, c'est la quantité de puces de RAM (ou leurs parties) dont on a besoin pour se souvenir de certaines connaissances. Bien sûr, en utilisant le mot «connaissance», j'évite simplement le mot «information», et il est impossible de définir aucun de ces termes sans «références circulaires» car il faut savoir au moins quelque chose pour pouvoir définir comme concepts élémentaires comme connaissance.

Une information est la connaissance nécessaire pour savoir si un nombre qui peut être 0 ou 1 avec la même probabilité s'est avéré (ou se révélera) être 0 ou 1. En mathématiques, une unité plus naturelle qu'un bit est un "e-bit" qui est tel qu'un bit est ln (2) "e-bits". Les informations nécessaires pour faire la distinction entre "N" alternatives également probables sont ln (N) "e-bits". Le logarithme naturel est toujours plus naturel que les autres logarithmes - c'est pourquoi il est appelé naturel. Par exemple, sa dérivée est égale à 1 / x, sans constantes compliquées. Les formules pour l'information sans dimension "Shannon", en supposant une distribution probabiliste, sont données ci-dessus.

En physique, tout système physique avec certains degrés de liberté peut transporter certaines informations. Dans l'information quantique, les «alternatives» sont généralement associées à des vecteurs de base de l'espace d'états de Hilbert autorisé. Mais dans ce contexte, un "bit" d'information est généralement appelé "qubit" ou "bit quantique", ce qui signifie que dans le monde réel, les alternatives peuvent également être combinées en superpositions linéaires complexes arbitraires, comme les postulats de quantum la mécanique dicte.

Dans les discussions sur la causalité, nous voulons dire que les objets spatialement séparés ne peuvent pas vraiment s'influencer les uns les autres. Ceci est garanti par la symétrie de Lorentz. En théorie des champs, la condition est équivalente à la contrainte que les champs séparés de type espace $ \ phi (x) $ et $ \ phi (y) $ font la navette l'un avec l'autre (ou anticommute si les deux sont fermioniques).

Meilleurs voeuxLubos

#5
  0
Terry Bollinger
2014-03-23 08:06:42 UTC
view on stackexchange narkive permalink

J'ai récemment fait une brève mais sérieuse tentative d'une manière différente d'interpréter un peu en termes de physique quantique, alors peut-être vaut-il la peine de mentionner cette réponse dans le contexte de cette question beaucoup plus ancienne:

https://physics.stackexchange.com/a/91035/7670

"En termes d'espace, de temps, d'élan et de matière, une seule information est le choix de un chemin quantique sur un autre tout aussi probable. Lorsqu'il est appliqué au niveau des atomes et des particules, le résultat est une tapisserie de choix dont la complexité devient rapidement presque infinie. "

Cette définition est facilement compatible avec les approches MWI , car elle définit le total des ensembles de bits dans l'univers que vous pouvez voir comme "l'adresse" de votre univers dans le multivers.

Pour le meilleur ou pour le pire, cette définition est la mienne, pas celle que je ' Je cite quoi que ce soit. Mais il est bien compatible avec des expériences aussi simples que l'analyse de la fente d'électrons de Feynman, où les photons déterminent le chemin de l'électron si vous êtes curieux à ce sujet, et ajoutent ainsi un peu plus à la définition de notre univers observable.



Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 2.0 sous laquelle il est distribué.
Loading...