Optimal solutions for undiscounted variance penalized Markov decision chains

0106191 - UTIA-B 20040001 RIV DE eng C - Conference Paper (international conference)
Sladký, Karel - Sitař, M.
Optimal solutions for undiscounted variance penalized Markov decision chains.
[Optimální řízení nediskontovaných markovských rozhodovacích procesu s penalizací rozptylem.]
Dynamic Stochastic Optimization. Berlin: Springer, 2004 - (Marti, K.; Ermoliev, Y.; Pflug, G.), s. 43-66. Lecture Notes in Economics and Mathematical Systems., 532. ISBN 3-540-40506-2.
[IFIP/IIASA/GAMM Workshop on Dynamic Stochastic Optimization. Laxenburg (AT), 11.03.2002-14.03.2002]
R&D Projects: GA ČR GA402/02/1015; GA ČR GA402/01/0539
Institutional research plan: CEZ:AV0Z1075907
Keywords : Markov decision processes * optimal policies * mean-variance
Subject RIV: BC - Control Systems Theory

We investigate how the minimum variance criterion can work in discrete stochastic dynamic programmig. We adapt notions and notation used in Markov decision processes and in contrast to the classical models we also considered variance of the obtained total reward. Various mean-variance optimality criteria are discussed and an algorithmical procedure for finding optimal policies is suggested. An illustrative numerical example is supplied.

V práci se studují vlastnosti kritérií optimality pro úlohy diskrétního stochastického dynamického programování zahrnující též rozptyl celkového výnosu. Jsou vyšetřovány různé varianty kritérií optimality typu průměrný výnos a jeho rozptyl a jsou navrženy algoritmické postupy pro nalezení optimálních řízení vzhledem k uvažovaným kritériím. Práce je doplněna ilustrativním numerickým příkladem
Permanent Link: http://hdl.handle.net/11104/0013374