Information classique avec des variables continues

Le projet général de cette thèse s’inscrit dans la conception et la réalisation de nouveaux protocoles de traitement de l’information à partir de la manipulation des propriétés quantiques du champ lumineux. Avant d’aborder le domaine de l’information quantique proprement dite, il est utile de rappeler les concepts et les résultats majeurs de la théorie classique de l’information. Ces résultats caractérisent les limites classiques des protocoles de communication et nous guideront ainsi naturellement dans nos choix de dispositifs expérimentaux et de protocoles quantiques de traitement de l’information. C’est donc avec une arrière-pensée d’utilisateur que nous abordons cette théorie classique, en vue d’une transposition dans le domaine quantique.Les fondements de la théorie de l’information telle que nous la connaissons aujourd’hui ont été posés par Claude Shannon dans un article devenu une référence célèbre [6] toujours d’actualité. Son intuition majeure est d’identifier un processus de communication comme un processus fonda- mentalement aléatoire où une source (communément nommée Alice) envoie un message inconnu à un récepteur (appelé Bob) à travers un canal physique qui est le siège d’inévitables perturba- tions. Si banale qu’elle puisse nous paraître maintenant, l’identification de ce schéma était une condition nécessaire à l’élaboration de la théorie de l’information, et dans une plus large mesure, à la conception de l’information en tant que grandeur physique au sens propre.

Introduction par les variables discrètes

Pour introduire la mesure quantitative et la communication de l’information, il est pratique de considérer une source discrète et finie. Les messages émis par une telle source sont des suites de symboles issus d’un ensemble fini qui constitue l’alphabet de la source. Nous pouvons déjà préciser d’autres caractéristiques de cette source : du point de vue du destinataire, les signaux émis sont nécessairement aléatoires (s’ils étaient parfaitement déterministes, le problème de la communication ne se poserait pas). Par ailleurs, la source réalisant une succession d’événement répétitifs, nous supposerons par la suite que la distribution de probabilité des messages est invariante dans le temps, ce qui nous amène à considérer le cas d’un système stationnaire et ergodique. Ces remarques ont conduit Shannon à traiter une source d’information comme le siège d’événements aléatoires formant le message et à définir la quantité d’information de ce message comme une mesure de son imprévisibilité [6]. Une analogie avec la thermodynamique conduit alors à introduire l’entropie d’une variable statistique.Si le nombre de messages à considérer est fini, alors n’importe qu’elle fonction monotone de ce nombre peut être considérée comme une mesure de l’information véhiculée par chacun des messages. Cette information apportée étant directement liée au caractère imprévisible du message, la mesure quantitative de l’information devra donc être reliée à l’inattendu. Ainsi, un événement certain apportera une quantité d’information nulle alors qu’un ensemble d’événements d’égales probabilités apportera une quantité d’information maximale. Par ailleurs, notre intuition de deux événements indépendants nous amène à concevoir leur quantité d’information mutuelle comme la somme de leurs quantités d’information individuelles. Ces critères conduisent alors naturellement vers une quantification de l’information basée sur la fonction logarithme.

Le théorème fondamental de codage de source [6, 7, 8] assure qu’il est possible d’éliminer toute redondance d’une source par un codage adéquat des messages émis. Pour un message codé dépourvu de redondance, l’entropie par symbole est alors le nombre de bits nécessaires à la spécification de chaque symbole du message, ce qui s’exprime par la relation :m(L) le nombre de bits nécessaires pour spécifier complètement le message. Dans le cas d’une source émettant des symboles uniformément répartis suivant la norme ASCII (alphabet de 128 éléments), chaque symbole envoyé représentera donc 7 bits d’information.communications, le transfert d’information est optimal lorsque l’entropie de la source est adaptée à la capacité du canal. Mais si la théorie de Shannon affirme qu’un tel taux de transfert est atteignable, elle ne fournit malheureusement pas de codage explicite pour atteindre un tel niveau. Par la suite, nous considérerons que la distribution de la source est connue et fixée et que le canal de transmission est adapté à la source, c’est-à-dire qu’il n’introduit pas de déformation non- corrigeable au signal. Dans ce cas, le paramètre pertinent pour la transmission est l’information mutuelle Ivariable discrète et l’information transmise entre deux parties. Le cas de la source discrète émettant des symboles (lettres) issus d’un alphabet fini a permis d’introduire simplement une certaine intuition de l’information en tant que grandeur physique. Pour bien comprendre les choix qui ont motivé notre équipe vers des protocoles de communication à base de variables continues, voyons maintenant les avantages spécifiques de telles variables dans le cadre de la théorie classique de l’information.