On mean reward variance in semi-Markov processes

0025925 - ÚTIA 2006 RIV DE eng J - Journal Article
Sladký, Karel
On mean reward variance in semi-Markov processes.
[O průměrné varianci výnosu v semimarkovských procesech.]
Mathematical Methods of Operations Research. Roč. 62, č. 3 (2005), s. 387-397. ISSN 1432-2994. E-ISSN 1432-5217
R&D Projects: GA ČR(CZ) GA402/05/0115; GA ČR(CZ) GA402/04/1294
Institutional research plan: CEZ:AV0Z10750506
Keywords : Markov and semi-Markov processes with rewards * variance of cumulative reward * asymptotic behaviour
Subject RIV: BB - Applied Statistics, Operational Research
Impact factor: 0.259, year: 2005

As an extension of the discrete-time case, this note investigates the variance of the total cumulative reward for the embedded Markov chain of semi-Markov processes. Under the assumption that the chain is aperiodic and contains a single class of recurrent states recursive formulae for the variance are obtained which show that the variance growth rate is asumptotically linear in time. Expression are provided to compute this growth rate.

V práci jsou vyšetřovány vlastnosti rozptylu celkového výnosu semimarkovského procesu s ohodnoceními využitím vlastností vloženého Markovova řetězce. Za předpokladu, že vložený řetězec je aperiodický a obsahuje jedinou třídu rekurentních stavu, jsou nalezeny analytické vztahy pro rozptyl celkového výnosu vloženého Markovova řetězce a je ukázáno, že růst celkového rozptylu je asymptoticky lineární.
Permanent Link: http://hdl.handle.net/11104/0116250