Optimal solutions for undiscounted variance penalized Markov decision chains

0106191 - UTIA-B 20040001 RIV DE eng C - Konferenční příspěvek (zahraniční konf.)
Sladký, Karel - Sitař, M.
Optimal solutions for undiscounted variance penalized Markov decision chains.
[Optimální řízení nediskontovaných markovských rozhodovacích procesu s penalizací rozptylem.]
Dynamic Stochastic Optimization. Berlin: Springer, 2004 - (Marti, K.; Ermoliev, Y.; Pflug, G.), s. 43-66. Lecture Notes in Economics and Mathematical Systems., 532. ISBN 3-540-40506-2.
[IFIP/IIASA/GAMM Workshop on Dynamic Stochastic Optimization. Laxenburg (AT), 11.03.2002-14.03.2002]
Grant CEP: GA ČR GA402/02/1015; GA ČR GA402/01/0539
Výzkumný záměr: CEZ:AV0Z1075907
Klíčová slova: Markov decision processes * optimal policies * mean-variance
Kód oboru RIV: BC - Teorie a systémy řízení

We investigate how the minimum variance criterion can work in discrete stochastic dynamic programmig. We adapt notions and notation used in Markov decision processes and in contrast to the classical models we also considered variance of the obtained total reward. Various mean-variance optimality criteria are discussed and an algorithmical procedure for finding optimal policies is suggested. An illustrative numerical example is supplied.

V práci se studují vlastnosti kritérií optimality pro úlohy diskrétního stochastického dynamického programování zahrnující též rozptyl celkového výnosu. Jsou vyšetřovány různé varianty kritérií optimality typu průměrný výnos a jeho rozptyl a jsou navrženy algoritmické postupy pro nalezení optimálních řízení vzhledem k uvažovaným kritériím. Práce je doplněna ilustrativním numerickým příkladem
Trvalý link: http://hdl.handle.net/11104/0013374