Evaluating Stability of Single and Multiple Feature Selectors that Optimize Feature Subset Cardinality

0325643 - ÚTIA 2010 CZ eng V - Výzkumná zpráva
Somol, Petr - Novovičová, Jana
Evaluating Stability of Single and Multiple Feature Selectors that Optimize Feature Subset Cardinality.
[Vyhodnocení stability jednotlivých metod i skupin metod výběru příznaků, který optimalizují kardinalitu podmnožiny příznaků.]
Praha: ÚTIA AV ČR, 2009. 38 s. Research Report, 2251.
Grant CEP: GA ČR GA102/07/1594; GA ČR GA102/08/0593; GA MŠMT 1M0572
Grant ostatní: GA MŠk(CZ) 2C06019
Výzkumný záměr: CEZ:AV0Z10750506
Klíčová slova: feature selection * stability measure * consistency measure * feature subset size optimization * sequential search * floating search * individual ranking * feature selection evaluation
Kód oboru RIV: BB - Aplikovaná statistika, operační výzkum

Stability (robustness) of feature selection methods is a topic of recent interest yet often neglected importance with direct impact on the reliability of machine learning systems. We investigate the problem of evaluating the stability of feature selection processes yielding subsets of varying size. We introduce several novel feature selection stability measures and adjust some existing measures in a unifying framework that offers broad insight into the stability problem. We study in detail the properties of considered measures and demonstrate on various examples what information about the feature selection process can be gained. We also introduce an alternative approach to feature selection evaluation in form of measures that enable comparing the similarity of two feature selection processes. These measures enable comparing, e.g., the output of two feature selection methods or two runs of one method with different parameters. The information obtained using the considered stability and similarity measures is shown usable for assessing feature selection methods (or criteria) as such

Stabilita (robustnost) metod výběru příznaků je jedno z aktuálních témat diskutovaných v současné době, neboť má vliv na spolehlivost systémů strojového učení. Byly navrženy nové míry stability procesu výběru příznaků, které vyhodnocují celkový výskyt jednotlivých příznaků ve vybraných podmnožinách příznaků ne nutně stejné kardinality. Podrobně jsou studovány vlastnosti uvažovaných měr a na mnoha příkladech demonstrováno, jaké informace je možné získat o procesu výběru příznaků. V práci je také uvažován alternativní přístup k vyhodnocování výběru příznaků pomocí měr, které umožňují porovnat podobnost dvou procesů výběru příznaků
Trvalý link: http://hdl.handle.net/11104/0172988