Cuando queremos diseñar sistemas de computo o de comunicaciones, la información debe ser almacenada o transportada, por lo cual su tamaño es importante para dimensionar los sistemas. Pero que unidades tendrían los hechos y experiencias, si nos concentramos en que debería ser simple de almacenar y transmitir, necesitaremos estados diferentes e identificables, el mínimo número de estados requeridos serian 2, y podríamos representarlos como encendido y apagado, verdadero y falso, o como ya debe haber escuchado 0 y 1 lógico.
Esa mínima diferencia que puede tomar 1 de 2 valores es conocida como bit y tradicionalmente se organiza en grupos de 8 llamados Bytes, y cuando su número es grande tenemos prefijos de magnitud donde los más conocidos están a continuación:
1024 bytes = 1 Kilobyte = 1 Kbyte
1024 Kbytes = 1 Megabyte = 1 Mbyte
1024 Mbytes = 1 Gigabyte = 1 Gbyte
1024 Gbytes = 1TeraByte = 1 Tbyte
Ahora trataremos la información como eventos que pueden ocurrir o no, y trataremos de relacionar la probabilidad de ocurrencia de los eventos con la cantidad de información que se genera cuando ellos ocurren, a continuación 2 ejemplos:
La tierra tiene un movimiento sobre su propio eje que para la gente cerca del ecuador divide el día en 2 partes prácticamente iguales, el día cuando tenemos la presencia de sol y la noche cuando tenemos la ausencia de sol, podríamos decir sin mucho error que la probabilidad de que el sol esté presente en un día es el 100% sin cometer un gran error.
Ahora imaginemos que una mañana tenemos la suerte de encontrarnos y yo le afirmo que el sol salió, probablemente ud. piense que estoy loco, y la razón es que el sol sale cada dia y para nosotros es una información obvia, observe que la probabilidad de ocurrencia es alta pero la información que se genera al ocurrir el evento es baja.
Evaluemos otra situación, en una localidad se registra que el agua de tubería es recibida cada 30 días y permanece durante 1 día, como puede ver la probabilidad de ocurrencia es baja. Qué pasaría si yo paso por las calles de la localidad gritando que llego el agua, estoy seguro que nadie diría que estoy loco, seguro todos irían a recoger el agua y aprovechar al máximo el tiempo, observe que la probabilidad de ocurrencia es baja pero la información que se genera al ocurrir el evento es alta.
Podemos concluir entonces que la información es inversamente proporcional a la probabilidad de ocurrencia, en otras palabras a mayor probabilidad menor cantidad de información genera el evento cuando ocurre, algebraicamente podría decirse I α 1/P, evaluando esta relación obtendremos que para probabilidades pequeñas la información puede ser gigantesca, serian números monotónicamente crecientes, esta situación la resolveremos utilizando logaritmos con base 2, que aproximaran los resultados al origen y permitirán que el resultado sea binario debido a la base 2. Podemos escribir entonces:
Ix = log2 (1/Px) bits
donde:
Ix : Cantidad de información generada al ocurrir el evento x en bits
Px: Probabilidad de ocurrencia del evento x
Ejemplo: Dados los eventos A, B, C y D, con probabilidades de ocurrencia 1/2, 1/4, 1/8 y 1/8 respectivamente, estos eventos son estadísticamente independientes, y se requiere conocer la cantidad de información en el mensaje:
M=BDA
para obtener la cantidad de información del mensaje incluiremos la cantidad de información que genera cada evento que compone al mensaje, así:
IM = IB + ID + IA
IM = log2(1/PB) + log2(1/PD) + log2(1/PA)
IM = log2(1/1/4) + log2(1/1/8) + log2(1/1/2)
IM = log2(4) + log2(8) + log2(2)
IM = 2 + 3 + 1 = 6 bits
la cantidad de información en el mensaje es de 6 bits, en otras palabras no podemos representarlo con menos de 6 bits sin perder parte de la información.
Otro ejemplo: Dado el mensaje,
“LA CASA BLANCA”
No considere comillas (“)
Considere los espacios en blanco (b)
Todas las letras son mayúsculas
El alfabeto esta compuesto por los caracteres presentes en el mensaje.
Determine la cantidad de información en el mensaje.
Análisis: Las comillas no pertenecen al mensaje, los espacios pertenecen al mensaje y se transmitirán, al considerar todas las letras mayúsculas no tenemos códigos distintos entre mayúsculas y minúsculas por lo que el trabajo se simplifica, por ultimo considerar solo los caracteres en el mensaje permite calcular la probabilidad de ocurrencia dividiendo la frecuencia del carácter entre el total de los caracteres en el mensaje, de este modo:
fL = 2 PL = 2/14
fA = 5 PA = 5/14
fb = 2 Pb = 2/14
fC = 2 PC = 2/14
fS = 1 PS = 1/14
fB = 1 PB = 1/14
fN = 1 PN = 1/14
∑f = 14 ∑P = 1
Recuerden que nuestra formula nos dará la cantidad de información de cada evento, esta cantidad se repetirá cada vez que aparece el evento, por lo tanto para los mensajes utilizaremos:
Imensaje = ∑ fI * log2(1/PI)
de esta manera:
Imensaje = 2log2(1/2/14) + 5log2(1/5/14) + 2log2(1/2/14) + 2log2(1/2/14) + 1log2(1/1/14) +1log2(1/1/14) + 1log2(1/1/14)
Imensaje = 2log2(14/2) + 5log2(14/5) + 2log2(14/2) + 2log2(14/2) + 1log2(14) +1log2(14) + 1log2(14)
Imensaje = 35.69 bits
Entropía: la definiremos como la cantidad de información promedio que contienen los eventos (Símbolos) utilizados en el mensaje. Algebraicamente la representaremos como:
H = ∑ PI * log2 (1/PI)
Continuando con nuestro problema, los eventos con igual probabilidad generan los mismos términos así que los agruparemos, desarrollando:
H = 3 * [(2/14)log2(1/2/14)] + (5/14) * log2(1/5/14) + 3 * [(1/14) * log2(1/1/14)]
H = (6/14)log2(14/2) + (5/14) * log2(14/5) + (3/14) * log2(14)
H = 2.549 bits
Bibliografia:
Transmisión de datos, Forousan
Introducción a los sistemas de comunicaciones, Stremler