0105191 - UIVT-O 20040182 RIV DE eng C - Konferenční příspěvek (zahraniční konf.)
Savický, Petr - Kotrč, Emil
Experimental Study of Leaf Confidences for Random Forest.
[Experimentální studie vážení listů pro metodu Random Forests.]
COMPSTAT Proceedings in Computational Statistics. Heidelberg: Physica-Verlag, 2004 - (Antoch, J.), s. 1767-1774. ISBN 978-3-7908-1554-2.
[COMPSTAT 2004. Symposium /16./. Prague (CZ), 23.08.2004-27.08.2004]
Grant CEP: GA MŠMT LN00A056
Klíčová slova: decision trees * random forest * weights * leaf confidences
Kód oboru RIV: BA - Obecná matematika

Decision forests (ensembles of trees) achieve usually smaller generalization error compared to single trees. In the classical methods for growing forests, bagging and boosting, the individual trees are constructed by methods originally developed for growing a single tree as the final predictor. In particular, the trees are usually pruned. For such trees, using weights (confidences) for individual trees improves the accuracy of the prediction of the ensemble. Random forests technique (Breiman 2001) uses a specific tree growing process, which does not produce good individual trees, but the whole ensemble frequently achieves better results than ensembles of trees obtained by classical bagging and boosting. One of the default features of Random Forests technique is that it does not use any weights. The current paper presents experiments demonstrating that in specific situations, appropriately chosen weights may improve the prediction for Random Forests of limited size.

Rozhodovací lesy (soubory rozhodovacích stromů) obvykle dosahují menší generalizační chyby než jednotlivé stromy. V klasických metodách pro konstrukci lesů (bagging a boosting) jsou jednotlivé stromy konstruovány metodami, které byly původně navrženy pro konstrukci jednotlivých stromů jakožto výsledných prediktorů. Speciálně, tyto stromy jsou obvykle prořezávány. Pro takovéto stromy použití vah listů pro jednotlivé stromy zvyšuje přesnost predikce celého souboru. Metoda Random Forests (Breiman 2001) používá specifický postup konstrukce stromů, který nedává dobré jednotlivé stromy, ale celý soubor často dosahuje lepších výsledků než soubory získané klasickým baggingem a boostingem. Jedna ze základních vlastností metody Random Forests je, že nepoužívá žádné váhy listů. Prezentovaný článek ukazuje výsledky experimentů, které potvrzují, že v určitých situacích vhodně vybrané váhy listů mohou zlepšit predikci souboru získaného metodou Random Forests při omezeném počtu použitých stromů.
Trvalý link: http://hdl.handle.net/11104/0012438