Энтропия является мерой неопределенности опыта, в котором проявляются случайные события. Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит. Величина энтропии с равновероятными исходами: Энтропия - мера неопределенности опыта, имеющего nравновероятных исходов:f(n) = log2n