Iterative principles of recognition in probabilistic neural networks

0311199 - ÚTIA 2009 RIV GB eng J - Journal Article
Grim, Jiří - Hora, Jan
Iterative principles of recognition in probabilistic neural networks.
[Iterativní principy rozpoznávání v pravděpodobnostních neuronových sítích.]
Neural Networks. Roč. 21, č. 6 (2008), s. 838-846. ISSN 0893-6080. E-ISSN 1879-2782
R&D Projects: GA MŠMT 1M0572; GA ČR GA102/07/1594
Grant - others:GA MŠk(CZ) 2C06019
Institutional research plan: CEZ:AV0Z10750506
Keywords : Probabilistic neural networks * Distribution mixtures * EM algorithm * Recognition of numerals * Recurrent reasoning
Subject RIV: IN - Informatics, Computer Science
Impact factor: 2.656, year: 2008

When considering the probabilistic approach to neural networks in the framework of statistical pattern recognition we assume approximation of class-conditional probability distributions by finite mixtures of product components. The mixture components can be interpreted as probabilistic neurons in neurophysiological terms and, in this respect, the fixed probabilistic description contradicts the well known short-term dynamic properties of biological neurons. By introducing iterative schemes of recognition we show that some parameters of probabilistic neural networks can be /released/ for the sake of dynamic processes without disturbing the statistically correct decision making. In particular, we can iteratively adapt the mixture component weights or modify the input pattern in order to facilitate correct recognition. Both procedures are shown to converge monotonically as a special case of the well known EM algorithm for estimating mixtures.

Pravděpodobnostní přístup patří k nejnovějším metodám návrhu neuronových sítí. Základní paradigma pravděpodobnostního přístupu je jiné než v případě standardních metod. Návrh „klasické“ neuronové sítě zpravidla vychází z formálního modelu neuronu a předpokládá nějaký způsob propojení neuronů v síti. Adaptace neuronové sítě pro daný účel (rozpoznávání vstupních objektů, aproximaci výstupní funkce a pod.) probíhá na základě nějakého algoritmu učení, který je navržen heuristicky, nebo je odvozen z vhodně zvoleného kriteria optimální funkce sítě.
Permanent Link: http://hdl.handle.net/11104/0162881