Criteria Ensembles in Feature Selection

0326643 - ÚTIA 2010 RIV DE eng C - Conference Paper (international conference)
Somol, Petr - Grim, Jiří - Pudil, Pavel
Criteria Ensembles in Feature Selection.
[Spolupracující skupiny kritérií ve výběru příznaků.]
Multiple Classifier Systems, LNCS 5519. Berlin Heidelberg: Springer, 2009 - (Benediktsson, J.; Kittler, J.; Roli, F.), s. 304-313. Lecture Notes In Computer Science. ISBN 3-642-02325-8. ISSN 0302-9743.
[Multiple Classifier Systems. Reykjavik (IS), 10.06.2009-12.06.2009]
R&D Projects: GA MŠMT 1M0572; GA ČR GA102/08/0593
Grant - others:GA MŠk(CZ) 2C06019
Institutional research plan: CEZ:AV0Z10750506
Keywords : feature selection * criterion * ensemble * combining criteria
Subject RIV: BD - Theory of Information

In feature selection the effect of over-fitting may lead to serious degradation of generalization ability. We introduce the concept of combining multiple feature selection criteria in feature selection methods with the aim to obtain feature subsets that generalize better. The concept is applicable with many existing feature selection methods. Here we discuss in more detail the family of sequential search methods. The concept does not specify which criteria to combine – to illustrate its feasibility we give a simple example of combining the estimated accuracy of k-nearest neighbor classifiers for various k.We perform the experiments on a number of datasets. The potential to improve is clearly seen on improved classifier performance on independent test data as well as on improved feature selection stability.

Efekt přetrénování může při výběru příznaků výrazně zhoršit generalizační schopnost. Představujeme koncept kombinování několika kritérií výběru příznaků s cílem získat příznaky které lépe generalizují. V této práci se věnujeme podrobněji implementaci ve skupině sekvenčních metod. Abychom ukázali smysl konceptu, provedli jsme vzorové experimenty za použití klasifikátorů "k-nejbližších sousedů" v roli kritérií pro různé hodnoty k. Potenciál kombinování kritérií je jasně vidět na zlepšené úspěšnosti klasifikace nezávislých dat a na zlepšené stabilitě výběru příznaků.
Permanent Link: http://hdl.handle.net/11104/0173682