¿Cómo se define el concepto de entropía y qué relación guarda con el de información?

Primero veamos la definición de Entropía:

El concepto entropía se puede definir como el grado de desorden que tiene un sistema. En el campo de la teoría de la información, la entropía es el número que mide el grado de incertidumbre que tiene un mensaje.

Podemos citar algun ejempo para que el concepto sea mas entendible. Si decimos que letra sigue en el abecedario a,b,c,d,e,f, ....  es bastante facil deducir que letra continua y aqui la entropía es minima. Si hablaremos de una clave que contiene letras DHJC... y se debe decir cual continua? pues se observa que no hay información que nos ayude a descifrarlo por lo tanto la información llega con máxima entropía.