Constrained Risk-Sensitive Markov Decision Chains

0326474 - ÚTIA 2010 RIV DE eng C - Conference Paper (international conference)
Sladký, Karel
Constrained Risk-Sensitive Markov Decision Chains.
[Markovské rozhodovací procesy s omezeními za rizika.]
Operations Research Proceedings 2008. Berlin: Springer, 2009 - (Fleischmann, B.; Borgwardt, K.; Klein, R.; Tuma, A.), s. 363-368. ISBN 978-3-642-00141-3.
[Operations Research 2008. Augsburg (DE), 03.09.2008-05.09.2008]
R&D Projects: GA ČR(CZ) GA402/08/0107; GA ČR GA402/07/1113
Institutional research plan: CEZ:AV0Z10750506
Keywords : Markov decision chains * exponential utility functions * constraints
Subject RIV: BB - Applied Statistics, Operational Research

For a classical Markov decision chain we suppose that the streams of transition rewards are evaluated by an exponential utility function. Attention is focused on the asymptotic properties of the expected utility and the corresponding certainty equivalents if the optimal values considered with respect to transition rewards must fulfill certain additional constraint on the expected utility or the certainty equivalent generated by different transition rewards. Our analysis is based policy iterations applied on a collection of nonnegative matrices arising in the recursive formulas for the growth of expected utilities.

Pro markovský rozhodovací proces se předpokládá, že náhodné posloupnosti obdržených výnosů jsou vyhodnocovány pomocí exponenciální užitkové funkce. Vyšetřují se limitní vlastnosti očekávané hodnoty užitkové funkce i odpovídajího ekvivalentu za jistoty za podmínky, že optimální hodnoty musí splňovat určitá omezení. Optimální řízení lze pak nalézt iterativním postupem v souboru nezáporných matic sestrojených pomocí vztahů pro růst očekávaného užitku.
Permanent Link: http://hdl.handle.net/11104/0173570