Conditional Mutual Information Based Feature Selection for Classification Task

0085611 - ÚTIA 2008 RIV DE eng J - Journal Article
Novovičová, Jana - Somol, Petr - Haindl, Michal - Pudil, Pavel
Conditional Mutual Information Based Feature Selection for Classification Task.
[Výběr příznaků pro klasifikaci založený na podmíněné vzájemné informaci.]
Lecture Notes in Computer Science. Roč. 45, č. 4756 (2007), s. 417-426. ISSN 0302-9743
R&D Projects: GA MŠMT 1M0572; GA AV ČR IAA2075302
EU Projects: European Commission(XE) 507752 - MUSCLE
Grant - others:GA MŠk(CZ) 2C06019
Institutional research plan: CEZ:AV0Z10750506
Keywords : Pattern classification * feature selection * conditional mutual information * text categorization
Subject RIV: BB - Applied Statistics, Operational Research
Impact factor: 0.402, year: 2005

We propose a sequential forward feature selection method to find a subset of features that are most relevant to the classification task. Our approach uses novel estimation of the conditional mutual information between candidate feature and classes, given a subset of already selected features which is utilized as a classifier independent criterion for evaluation of feature subsets. The proposed mMIFS-U algorithm is applied to text classification problem and compared with MIFS method and MIFS-U method proposed by Battiti and Kwak and Choi, respectively. Our feature selection algorithm outperforms MIFS method and MIFS-U in experiments on high dimensional Reuters textual data.

Byl navržen mMIFS-U algoritmus pro výběr příznaků, založený na novém odhadu kriteria podmíněné vzájemné informace. Algoritmus byl aplikován na problém klasifikace textových dokumentů a porovnán s dříve navrženými algoritmy MIFS a MIFS-U. Účinnost navrženého kriteria byla porovnána při použití naivního Bayesova klasifikátoru pro multinomický model textového dokumentu, lineárního support vektor machine klasifikátoru a k-nejbližších sousedů na Reuters-21578 textových souborech s vysokou dimensionalitou. Klasifikační metody při použití příznaků vybraných pomocí navrženého algoritmu mMIFS-U vykazuje vyšší přesnost klasifikace oproti výše zmíněným algoritmům.
Permanent Link: http://hdl.handle.net/11104/0148084