Solving Growth Rates and Average Optimality in Risk-Sensitive Markov Decision Chains

0333145 - ÚTIA 2010 RIV MX eng C - Konferenční příspěvek (zahraniční konf.)
Sladký, Karel
Solving Growth Rates and Average Optimality in Risk-Sensitive Markov Decision Chains.
[Výpočet míry růstu and optimality v průměru v markovských rozhodovacích řetězcích za rizika.]
Proceedings of 1st International Conference on Applied Mathematics. Almoloya de Juárey, Edo de México: Universidad Politécnica del Valle de Toluca, 2009 - (Díaz Nunez, J.; Carmona, R.; Leal, J.; Ramos, C.; Rodríguez, M.; ére González, L.; Castillo Rubi, M.), s. 27-60
[1st International Conference on Applied Mathematics. Almoloya, Edo. de México (MX), 04.11.2009-06.11.2009]
Grant CEP: GA ČR(CZ) GA402/08/0107
Výzkumný záměr: CEZ:AV0Z10750506
Klíčová slova: risk-sensitive Markov decision chains * growth rate * average optimality
Kód oboru RIV: BB - Aplikovaná statistika, operační výzkum
http://library.utia.cas.cz/separaty/2009/E/sladky-solving growth rates and average optimality in risk-sensitive markov decision chains.pdf

The study of risk-sensitive Markov decision processes is usually restricted to processes with a single class of recurrent state and no transient states. Moreover, the analysis was restricted only to discrete-time models, only little attention, if any, was devoted to the continuous-time models. The aim of this article is to extend the analysis to models with transient states as well as to multichain Markov processes both in discrete- and continuous-time setting. Our analysis is based on more general models of stochastic dynamic programming where transition probability matrices are replaced by general nonnegative matrices (discrete-time case) or by matrices with nonnegative off-diagonal entries (continuous-time case).

Problematika markovských rozhodovacích procesů za přítomnosti rizika se obvykle studuje pouze pro nerozložitelné procesy a v existující literatuře byly pouze studovány procesy s diskrétním časovým parametrem. Cílem této práce je rozšířít analýzu těchto procesů na modely s tranzientními stavy a dále na obecný případ markovských procesů jak pro diskrétní, tak i pro spojitý časový parametr. Použitá metodika řešení je založena na analýze zobecněných modelů stochastického dynamického programování, kde pravděpodobnosti přechodu jsou nahrazeny obecnými nezápornými maticemi (modely s diskrétní časovým parametrem) nebo maticemi s nezápornými elementy mimo hlavní diagonálu (modely ve spojitém čase).
Trvalý link: http://hdl.handle.net/11104/0178208