Some Remarks on Risk-Sensitive Optimality Criteria in Markov Decision Processes

0047531 - ÚTIA 2007 RIV SK eng C - Konferenční příspěvek (zahraniční konf.)
Sladký, Karel
Some Remarks on Risk-Sensitive Optimality Criteria in Markov Decision Processes.
[Několik poznámek k sensitivním kritériím optimality v markovských rozhodovacích procesech.]
Proceedings of the International Conference of Quantitative Methods in Economics. Multiple Criteria Decision MakingXIII. Bratislava: University of Economics in Bratislava, 2006 - (Pekár, J.; Lukáčik, M.), s. 165-173. ISBN 80-8078-129-X.
[Quantitative Methods in Economics. Multiple Criteria Decision Making XIII. Bratislava (SK), 06.12.2006-08.12.2006]
Grant CEP: GA ČR GA402/05/0115; GA ČR GA402/04/1294
Výzkumný záměr: CEZ:AV0Z10750506
Klíčová slova: discrete-time Markov decision processes, * risk-sensitive optimality
Kód oboru RIV: BB - Aplikovaná statistika, operační výzkum

In this note we focus attention on discrete-time Markov decision processes with risk-sensitive optimality criteria (i.e. the case when the stream of rewards generated by the Markov processes is evaluated by an exponential utility function). It is shown that this problem can be studied as a classical Markov decision process on condition that the transition probabilities are replaced by general nonnegative matrices. Under some unichain conditions we suggest a value iteration method for finding optimal policies.

Práce je věnována diskrétním markovským rozhodovacím procesům se sensitivními kritérii optimality (tj.posloupnost výnosů generovaných markovským procesem je vyhodnocena pomocí exponenciální funkce užitku). Je ukázáno, že tuto úlohu lze řešit jako klasickou úlohu o markovských rozhodovacích procesech za podmínky, že matice pravděpodobnosti přechodů jsou nahrazeny obecnými nezápornými maticemi. Za určitých podmínek ergodicity je navržena metoda postupných aproximací pro nalezení optimálního řízení.
Trvalý link: http://hdl.handle.net/11104/0138414