A New Measure of Feature Selection Algorithms’ Stability

0337780 - ÚTIA 2010 RIV US eng C - Conference Paper (international conference)
Novovičová, Jana - Somol, Petr - Pudil, Pavel
A New Measure of Feature Selection Algorithms’ Stability.
[Nová míra stability algoritmů výběru příznaků.]
ICDMW '09: Proceedings of the 2009 IEEE International Conference on Data Mining Workshops. Washington, DC, USA: IEEE Computer Society, 2009, s. 382-387. ISBN 978-0-7695-3902-7.
[ICDMW '09: International Conference on Data Mining Workshops. Miami, Florida (US), 06.12.2009-09.12.2009]
R&D Projects: GA MŠMT 1M0572; GA ČR GA102/07/1594; GA ČR GA102/08/0593
Grant - others:GA MŠk(CZ) 2C06019
Institutional research plan: CEZ:AV0Z10750506
Keywords : feature selection * stability * measure
Subject RIV: BD - Theory of Information

Stability or robustness of feature selection methods is a topic of recent interest. A new stability measure based on the Shannon entropy is proposed in this paper to evaluate the overall occurrence of individual features in selected subsets of possibly varying cardinality. We compare the new measure to stability measures proposed recently by Somol et al. The new measure is computationally very efficient and adds another type of insight into the stability problem. All considered measures have been used to compare the stability of several feature selection methods (individually best ranking, sequential forward selection, sequential forward floating selection and dynamic oscillating search) on a set of examples.

Stabilita (robustnost) metod výběru příznaků je předmětem aktuálního zájmu. V této práci je prezentovaná nová míra stability založená na Shannonovské entropii, zaměřená na vyhodnocování celkového výskytu příznaků ve vybraných podmnožinách různorodé kardinality. Porovnáváme tuto novou míru s mírami publikovanými nedávno v práci Somol et al. Nová míra je výpočetně velmi efektivní a přidává nový typ pohledu na problém stability. Všechny uvažované míry byly použity pro porovnání stability několika metod výběru příznaků (individuální řazení, sekvenční dopředné vyhledávání, sekvenční dopředné plovoucí vyhledávání a dynamické oscilační vyhledávání) na sérii příkladů.
Permanent Link: http://hdl.handle.net/11104/0181702