-
题名Markov决策过程不确定策略特征模式
被引量：2
- 1
-
-
作者
黄镇谨
陆阳
杨娟
方欢
-
机构
合肥工业大学计算机与信息学院
广西工学院计算机工程系
安徽省矿山物联网与安全监控技术重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2013年第4期263-266,共4页
-
基金
国家自然科学基金资助项目(60873195
61070220)
高等学校博士点基金资助项目(20090111110002)资助
-
文摘
马尔科夫决策过程可以建模具有不确定性特征的复杂系统,而在进行模型分析时需要采用策略对不确定性进行处理。首先,研究不同策略下时空有界可达概率问题,给出不确定性解决策略的定义及分类方法。其次,在时间无关策略下,证明基于确定性选取动作和随机选取动作的时空有界可达概率的一致性,并且论证了时间依赖策略相对于时间无关策略具有更好的时空有界可达概率。最后结合实例简要阐述了结论的正确性。
-
关键词
马尔科夫决策过程
不确定性策略
时空有界可达概率
-
Keywords
Markov decision process
Nonderministic scheduler
time-and space-bounded reachability probability
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
-
题名带动作回报的连续时间Markov回报过程验证
- 2
-
-
作者
黄镇谨
陆阳
杨娟
王智文
-
机构
合肥工业大学计算机与信息学院
广西科技大学计算机与通信工程学院
-
出处
《电子测量与仪器学报》
CSCD
北大核心
2015年第11期1603-1613,共11页
-
基金
国家自然科学基金(61462008
61070220)
广西高科学技术研究(LX2014186)项目
-
文摘
为了能够更准确的表达不确定性复杂系统的时空验证,针对当前连续时间Markov回报过程(continue time markov reward decision process,CMRDP)验证中只考虑状态回报的问题,提出带动作回报的验证方法。考虑添加了动作回报的空间性能约束,扩展现有的基于状态回报的连续时间Markov回报过程,用正则表达式表示验证属性的路径规范,扩展已有路径算子的表达能力。给出带动作回报CMRDP和路径规范的积模型,求解积模型在确定性策略下的诱导Markov回报模型(markov reward model,MRM),将CMRDP上的时空性能验证转换为MRM模型上的时空可达概率分析,并提出MRM中求解可达概率的算法。实例分析表明,提出的验证思路和验证算法是可行的。
-
关键词
Markov回报过程
模型验证
动作回报
时空有界可达概率
-
Keywords
Markov reward process
model checking
impulse reward
time-and space-bounded reachability probability
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
TN915
[自动化与计算机技术—计算机科学与技术]
-
