Entropia congiunta

Pagine da unire
Questa pagina sull'argomento Matematica sembra trattare argomenti unificabili alla pagina Entropia (teoria dell'informazione)#Entropia congiunta.
Entropie individuali (H(X),H(Y)), congiunte (H(X,Y)), ed entropie condizionali per una coppia di sottosistemi correlati X,Y con mutua informazione I(X; Y).

L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.

Definizione

L'entropia congiunta di due variabili X {\displaystyle X} e Y {\displaystyle Y} è definita come:

H ( X , Y ) = − ∑ x ∑ y P ( x , y ) log 2 ⁡ [ P ( x , y ) ] {\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}

dove x {\displaystyle x} e y {\displaystyle y} sono valori di X {\displaystyle X} and Y {\displaystyle Y} , rispettivamente, P ( x , y ) {\displaystyle P(x,y)} è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:

lim P ( x , y ) → 0 P ( x , y ) log 2 ⁡ [ P ( x , y ) ] = 0 {\displaystyle \lim _{P(x,y)\to 0}P(x,y)\log _{2}[P(x,y)]=0} .

Per un numero di variabili maggiore di due X 1 , . . . , X n {\displaystyle X_{1},...,X_{n}} la formula si estende a:

H ( X 1 , . . . , X n ) = − ∑ x 1 . . . ∑ x n P ( x 1 , . . . , x n ) log 2 ⁡ [ P ( x 1 , . . . , x n ) ] {\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}

in cui x 1 , . . . , x n {\displaystyle x_{1},...,x_{n}} sono valori rispettivamente di X 1 , . . . , X n {\displaystyle X_{1},...,X_{n}} , P ( x 1 , . . . , x n ) {\displaystyle P(x_{1},...,x_{n})} è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:

lim P ( x 1 , . . . , x n ) → 0 P ( x 1 , . . . , x n ) log 2 ⁡ [ P ( x 1 , . . . , x n ) ] = 0 {\displaystyle \lim _{P(x_{1},...,x_{n})\to 0}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]=0} .

Proprietà

Maggiore o uguale delle entropie individuali

L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme

H ( X , Y ) ≥ max [ H ( X ) , H ( Y ) ] {\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}
H ( X 1 , . . . , X n ) ≥ max [ H ( X 1 ) , . . . , H ( X n ) ] {\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}

Minore o uguale alla somma delle entropie individuali

L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se X {\displaystyle X} e Y {\displaystyle Y} sono statisticamente indipendenti.

H ( X , Y ) ≤ H ( X ) + H ( Y ) {\displaystyle H(X,Y)\leq H(X)+H(Y)}
H ( X 1 , . . . , X n ) ≤ H ( X 1 ) + . . . + H ( X n ) {\displaystyle H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})}

Relazioni con altre misure di entropia

L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale

H ( X | Y ) = H ( Y , X ) − H ( Y ) {\displaystyle H(X|Y)=H(Y,X)-H(Y)\,}

e della mutua informazione

I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}

Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.