Evaluating Stability of Single and Multiple Feature Selectors that Optimize Feature Subset Cardinality

0325643 - ÚTIA 2010 CZ eng V - Research Report
Somol, Petr - Novovičová, Jana
Evaluating Stability of Single and Multiple Feature Selectors that Optimize Feature Subset Cardinality.
[Vyhodnocení stability jednotlivých metod i skupin metod výběru příznaků, který optimalizují kardinalitu podmnožiny příznaků.]
Praha: ÚTIA AV ČR, 2009. 38 s. Research Report, 2251.
R&D Projects: GA ČR GA102/07/1594; GA ČR GA102/08/0593; GA MŠMT 1M0572
Grant - others:GA MŠk(CZ) 2C06019
Institutional research plan: CEZ:AV0Z10750506
Keywords : feature selection * stability measure * consistency measure * feature subset size optimization * sequential search * floating search * individual ranking * feature selection evaluation
Subject RIV: BB - Applied Statistics, Operational Research

Stability (robustness) of feature selection methods is a topic of recent interest yet often neglected importance with direct impact on the reliability of machine learning systems. We investigate the problem of evaluating the stability of feature selection processes yielding subsets of varying size. We introduce several novel feature selection stability measures and adjust some existing measures in a unifying framework that offers broad insight into the stability problem. We study in detail the properties of considered measures and demonstrate on various examples what information about the feature selection process can be gained. We also introduce an alternative approach to feature selection evaluation in form of measures that enable comparing the similarity of two feature selection processes. These measures enable comparing, e.g., the output of two feature selection methods or two runs of one method with different parameters. The information obtained using the considered stability and similarity measures is shown usable for assessing feature selection methods (or criteria) as such

Stabilita (robustnost) metod výběru příznaků je jedno z aktuálních témat diskutovaných v současné době, neboť má vliv na spolehlivost systémů strojového učení. Byly navrženy nové míry stability procesu výběru příznaků, které vyhodnocují celkový výskyt jednotlivých příznaků ve vybraných podmnožinách příznaků ne nutně stejné kardinality. Podrobně jsou studovány vlastnosti uvažovaných měr a na mnoha příkladech demonstrováno, jaké informace je možné získat o procesu výběru příznaků. V práci je také uvažován alternativní přístup k vyhodnocování výběru příznaků pomocí měr, které umožňují porovnat podobnost dvou procesů výběru příznaků
Permanent Link: http://hdl.handle.net/11104/0172988