Conditional Mutual Information Based Feature Selection for Classification Task

0085611 - ÚTIA 2008 RIV DE eng J - Článek v odborném periodiku
Novovičová, Jana - Somol, Petr - Haindl, Michal - Pudil, Pavel
Conditional Mutual Information Based Feature Selection for Classification Task.
[Výběr příznaků pro klasifikaci založený na podmíněné vzájemné informaci.]
Lecture Notes in Computer Science. Roč. 45, č. 4756 (2007), s. 417-426. ISSN 0302-9743
Grant CEP: GA MŠMT 1M0572; GA AV ČR IAA2075302
GRANT EU: European Commission(XE) 507752 - MUSCLE
Grant ostatní: GA MŠk(CZ) 2C06019
Výzkumný záměr: CEZ:AV0Z10750506
Klíčová slova: Pattern classification * feature selection * conditional mutual information * text categorization
Kód oboru RIV: BB - Aplikovaná statistika, operační výzkum
Impakt faktor: 0.402, rok: 2005

We propose a sequential forward feature selection method to find a subset of features that are most relevant to the classification task. Our approach uses novel estimation of the conditional mutual information between candidate feature and classes, given a subset of already selected features which is utilized as a classifier independent criterion for evaluation of feature subsets. The proposed mMIFS-U algorithm is applied to text classification problem and compared with MIFS method and MIFS-U method proposed by Battiti and Kwak and Choi, respectively. Our feature selection algorithm outperforms MIFS method and MIFS-U in experiments on high dimensional Reuters textual data.

Byl navržen mMIFS-U algoritmus pro výběr příznaků, založený na novém odhadu kriteria podmíněné vzájemné informace. Algoritmus byl aplikován na problém klasifikace textových dokumentů a porovnán s dříve navrženými algoritmy MIFS a MIFS-U. Účinnost navrženého kriteria byla porovnána při použití naivního Bayesova klasifikátoru pro multinomický model textového dokumentu, lineárního support vektor machine klasifikátoru a k-nejbližších sousedů na Reuters-21578 textových souborech s vysokou dimensionalitou. Klasifikační metody při použití příznaků vybraných pomocí navrženého algoritmu mMIFS-U vykazuje vyšší přesnost klasifikace oproti výše zmíněným algoritmům.
Trvalý link: http://hdl.handle.net/11104/0148084