Mixture based outlier filtration

0040543 - ÚTIA 2007 RIV CZ eng J - Journal Article
Pecherková, Pavla - Nagy, Ivan
Mixture based outlier filtration.
[Filtrace odlehlých pozorování založená na modelu směsi distribucí.]
Acta Polytechnica. Roč. 46, č. 2 (2006), s. 30-35. ISSN 1210-2709. E-ISSN 1805-2363
R&D Projects: GA MŠMT 1M0572; GA MDS 1F43A/003/120
Institutional research plan: CEZ:AV0Z10750506
Keywords : data filtration * system modelling * mixture models
Subject RIV: BD - Theory of Information
http://library.utia.cas.cz/prace/20060165.pdf

In this paper, we propose an algorithm for outlier detection and removel. It is based on modelling the corrupted data by a two-component probabilistic mixture. The first component of the mixture models uncorrupted process data, while the second models outliers. When the outlier component is derected to be active, a prediction from the uncorrupted data component is computed and used as a reconstruction of the observed data. The filter exhibits fine properties, especially in the case of blocks of outliers.

V článku je navržen algoritmus pro detekci odlehlých pozorování a jejich korekci. Algoritmus je založen na modelování poškozených dat pomocí dvou-komponentové pravděpodobnostní směsi. První komponenta modeluje čistá data, druhá odlehlá pozorování. Jestliže se stane aktivní druhá komponenta, aktuální data se odstaní a místo nich se generuje predikce z první komponenty. Filtr vykazuje dobré vlastnosti, zejména v případě odlehlých pozorování vykytujících se v blocích.
Permanent Link: http://hdl.handle.net/11104/0134245