貝葉斯強化學習中策略迭代算法研究.pdf

1、貝葉斯強化學習是基于貝葉斯技術，利用概率分布對值函數、策略和環(huán)境模型等參數進行建模，求解強化學習相關任務，其主要思想是利用先驗分布估計未知參數的不確定性，然后通過獲得的觀察信息計算后驗分布來學習知識。基于此，本文以策略迭代方法為框架，提出三種改進的基于貝葉斯推理和策略迭代的強化學習算法：
　?。?）針對傳統(tǒng)的貝葉斯強化學習算法在學習未知的環(huán)境模型時，不能動態(tài)地控制環(huán)境模型學習次數的缺陷，提出一種基于貝葉斯智能模型學習的策略迭代算法

2、。一方面，算法在模型學習部分利用Dirichlet分布方差閾值決定是否需要繼續(xù)學習模型，既保證模型學習的充分性，又降低模型學習的無效率。另一方面，算法在策略學習時利用探索激勵因子為選取探索動作提供保障，同時，也使得模型學習能夠遍歷所有狀態(tài)動作對，確保算法收斂。模型學習和策略學習相輔相成，使得算法收斂到最優(yōu)策略。
　?。?）針對傳統(tǒng)的強化學習算法無法高效地解決動作探索與利用的平衡問題，提出一種基于動作值函數(Q值函數)概率估計的異步

3、策略迭代算法。在策略評估部分，利用高斯伽瑪分布對Q值函數進行建模，基于先驗分布和觀察的數據求解Q值函數后驗，評估策略好壞。在策略改進部分，基于Q值函數后驗分布，利用Myopic-VPI求解最優(yōu)動作，保證動作探索與利用達到平衡。最后，算法采用異步更新方法，傾向于計算與策略相關的動作值函數，提高算法收斂速度。
　?。?）針對傳統(tǒng)的策略迭代算法無法高效地解決狀態(tài)連續(xù)的且環(huán)境模型未知的MDP問題，提出一種基于高斯過程時間差分的在線策略迭代