Scribd
Cargar
4 vistas3 páginas

Información Mutua y Entropía: Definiciones y Relaciones

La información mutua es una medida de la cantidad de información que una variable aleatoria contiene sobre otra, definida numéricamente a través de la función de densidad conjunta y marginal. Se relaciona con la entropía mediante varias ecuaciones que muestran cómo la información mutua puede ser expresada en términos de entropía y entropía condicional. El documento también incluye pruebas de estas relaciones y propiedades fundamentales de la información mutua.

Cargado por

afiyazahid5
Derechos de autor
© All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd
4 vistas3 páginas

Información Mutua y Entropía: Definiciones y Relaciones

La información mutua es una medida de la cantidad de información que una variable aleatoria contiene sobre otra, definida numéricamente a través de la función de densidad conjunta y marginal. Se relaciona con la entropía mediante varias ecuaciones que muestran cómo la información mutua puede ser expresada en términos de entropía y entropía condicional. El documento también incluye pruebas de estas relaciones y propiedades fundamentales de la información mutua.

Cargado por

afiyazahid5
Derechos de autor
© All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd

Lecture-5: Mutual Information

Section-1: Mutual Information and its relation with entropy

1. Mutual Information: Mutual information is a measure of the amount of information that one random variable contains
about another.
Numerical Definition: The mutual information I(X;Y) between two random variables X and Y with the joint pdf P X,Y(x,y)
and marginal pdf’s PX(x) and PY(y) is defined as

PX ,Y  x, y 
I ( X ; Y )    pX ,Y ( x, y) log dxdy
PX  x  PY  y 

2. Relation between entropy and mutual information:

1) I ( X ;Y )  H ( X )  H ( X | Y )
2) I ( X ; Y )  H (Y )  H (Y | X )
3) I ( X ; Y )  H ( X )  H (Y )  H ( X , Y )
4) I ( X ; Y )  I (Y ; X )
5) I(X; X )  H(X )
6) I (Y ; Y )  H (Y )

3. Some important relationships:

H ( X )    p X ( x) log p X ( x ) dx

H ( X )     p X ,Y ( x, y ) log PX  x dxdy

H (Y )    pY ( y ) log pY ( y ) dy

H (Y )     p X ,Y ( x, y ) log PY  y dxdy

H ( X / Y )    p X /Y ( x y ) log pX /Y ( x y ) dx

H ( X | Y )     p X ,Y ( x, y ) log PX |Y  x | y dxdy

H (Y / X )    pY / X ( y | x) log pY / X ( y x)
dy

H (Y | X )     p X ,Y ( x, y ) log PY | X  y | x dxdy
PX ,Y  x, y 
PX |Y ( x | y ) 
PY  y 
PX ,Y  x, y 
PY | X ( y | x) 
PX  x 

1
4. Proof of Relation between entropy and mutual information:

(a) Prove that I ( X ; Y )  H ( X )  H ( X | Y ) .

Proof:
We have
PX ,Y  x, y 
I ( X ; Y )    pX ,Y ( x, y) log dxdy
PX  x  PY  y 

PX ,Y  x, y 
PY  y 
   p X ,Y ( x, y ) log dxdy
PX  x 

PX |Y  x | y 
   p X ,Y ( x, y ) log dxdy
PX  x 

   p X ,Y ( x, y ) log PX |Y  x | y dxdy    p X ,Y ( x, y ) log PX  x dxdy


    p X ,Y ( x, y ) log PX  x dxdy     p X ,Y ( x, y ) log PX |Y  x | y dxdy 
 H(X )  H(X |Y)
Proved.

(b) Prove that I ( X ; Y )  H (Y )  H (Y | X ) .

Proof:
We have
PX ,Y  x, y 
I ( X ; Y )    pX ,Y ( x, y) log dxdy
PX  x  PY  y 

PX ,Y  x, y 
PX  x 
   p X ,Y ( x, y ) log dxdy
PY  y 

PY | X  y | x 
   p X ,Y ( x, y ) log dxdy
PY  y 

   p X ,Y ( x, y ) log PY | X  y | x dxdy    p X ,Y ( x, y ) log PY  y dxdy

 
    p X ,Y ( x, y ) log PY  y dxdy     p X ,Y ( x, y ) log PY | X  y | x dxdy

 H (Y )  H (Y | X )
Proved.

2
(c) Prove that I ( X ; Y )  H ( X )  H (Y )  H ( X , Y ) .

Proof:
We have

PX ,Y  x, y 
I ( X ; Y )    pX ,Y ( x, y) log dxdy
PX  x  PY  y 

   p X ,Y ( x, y ) log PX ,Y  x, y dxdy    p X ,Y ( x, y ) log PX  x dxdy    p X ,Y ( x, y ) log PY  y dxdy

 
    p X ,Y ( x, y ) log PX  x dxdy    p X ,Y ( x, y ) log PY  y dxdy     p X ,Y ( x, y ) log PX ,Y  x, y dxdy
 H ( X )  H (Y )  H ( X , Y )

Proved.

(d) Prove that I ( X ; Y )  I (Y ; X ) .


Proof:
We have
I ( X ;Y )  H ( X )  H ( X | Y )
 H (Y )  H (Y | X )
 I (Y ; X )

Proved.

(e) Prove that I ( X ; X )  H ( X ) .


Proof:
We have
I(X ; X )  H(X )  H(X | X )
 H(X )  0
 H (X )
Proved.
(f) Prove that I (Y ; Y )  H (Y ) .
Proof:
We have
I (Y ; Y )  H (Y )  H (Y | Y )
 H (Y )  0
 H (Y )
Proved.

Reference:
1. Thomas M. Cover and Joy A. Thomas, “Elements of Information Theory”, 2nd Edition.

También podría gustarte