On the Estimation of Mutual Information

0329752 - ÚTIA 2010 RIV CZ eng C - Konferenční příspěvek (zahraniční konf.)
Marek, Tomáš - Tichavský, Petr
On the Estimation of Mutual Information.
[O odhadu vzájemné informace.]
ROBUST 2008. Praha: JČMF, 2009 - (Antoch, J.; Dohnal, G.), s. 263-269. ISBN 978-80-7015-004-7.
[ROBUST 2008. Letní škola JČMF /15./. Pribylina (SK), 08.09.2008-12.09.2008]
Grant CEP: GA MŠMT 1M0572
Výzkumný záměr: CEZ:AV0Z10750506
Klíčová slova: mutual information * redundancy * adaptive histogram
Kód oboru RIV: BA - Obecná matematika
http://library.utia.cas.cz/separaty/2009/SI/marek-on the estimation of mutual information.pdf

The mutual information is useful measure of a random vector component dependence. It is important in many technical applications. The estimation methods are often based on the well known relation between the mutual information and the appropriate entropies. In 1999 Darbellay and Vajda proposed a direct estimation methods. In this paper we compare some available estimation methods using different 2-D random distributions.

Vzájemná informace je hojně užívanou mírou vzájemné závislosti jednotlivých složek vícerozměrných náhodných vektorů. Časté uplatnění nachází především v inženýrských aplikacích. Metody odhadu vzájemné informace většinou vychází ze známého vztahu mezi vzájemnou informací a entropiemi příslušných rozdělení, ale vzájemnou informaci je možné odhadnout také přímo. Na příkladech různých typů dvojrozměrných rozdělení srovnáme některé dostupné metody odhadu vzájemné informace.
Trvalý link: http://hdl.handle.net/11104/0175693