Solving Growth Rates and Average Optimality in Risk-Sensitive Markov Decision Chains

0333145 - ÚTIA 2010 RIV MX eng C - Conference Paper (international conference)
Sladký, Karel
Solving Growth Rates and Average Optimality in Risk-Sensitive Markov Decision Chains.
[Výpočet míry růstu and optimality v průměru v markovských rozhodovacích řetězcích za rizika.]
Proceedings of 1st International Conference on Applied Mathematics. Almoloya de Juárey, Edo de México: Universidad Politécnica del Valle de Toluca, 2009 - (Díaz Nunez, J.; Carmona, R.; Leal, J.; Ramos, C.; Rodríguez, M.; ére González, L.; Castillo Rubi, M.), s. 27-60
[1st International Conference on Applied Mathematics. Almoloya, Edo. de México (MX), 04.11.2009-06.11.2009]
R&D Projects: GA ČR(CZ) GA402/08/0107
Institutional research plan: CEZ:AV0Z10750506
Keywords : risk-sensitive Markov decision chains * growth rate * average optimality
Subject RIV: BB - Applied Statistics, Operational Research
http://library.utia.cas.cz/separaty/2009/E/sladky-solving growth rates and average optimality in risk-sensitive markov decision chains.pdf

The study of risk-sensitive Markov decision processes is usually restricted to processes with a single class of recurrent state and no transient states. Moreover, the analysis was restricted only to discrete-time models, only little attention, if any, was devoted to the continuous-time models. The aim of this article is to extend the analysis to models with transient states as well as to multichain Markov processes both in discrete- and continuous-time setting. Our analysis is based on more general models of stochastic dynamic programming where transition probability matrices are replaced by general nonnegative matrices (discrete-time case) or by matrices with nonnegative off-diagonal entries (continuous-time case).

Problematika markovských rozhodovacích procesů za přítomnosti rizika se obvykle studuje pouze pro nerozložitelné procesy a v existující literatuře byly pouze studovány procesy s diskrétním časovým parametrem. Cílem této práce je rozšířít analýzu těchto procesů na modely s tranzientními stavy a dále na obecný případ markovských procesů jak pro diskrétní, tak i pro spojitý časový parametr. Použitá metodika řešení je založena na analýze zobecněných modelů stochastického dynamického programování, kde pravděpodobnosti přechodu jsou nahrazeny obecnými nezápornými maticemi (modely s diskrétní časovým parametrem) nebo maticemi s nezápornými elementy mimo hlavní diagonálu (modely ve spojitém čase).
Permanent Link: http://hdl.handle.net/11104/0178208