基于強(qiáng)化學(xué)習(xí)的認(rèn)知無(wú)線電動(dòng)態(tài)頻譜分配研究.pdf

1、強(qiáng)化學(xué)習(xí)技術(shù)從控制理論、統(tǒng)計(jì)學(xué)、心理學(xué)等相關(guān)學(xué)科發(fā)展而來(lái)，被認(rèn)為是設(shè)計(jì)智能系統(tǒng)的核心技術(shù)之一。它對(duì)環(huán)境知識(shí)要求較少，對(duì)動(dòng)態(tài)變化環(huán)境適應(yīng)性強(qiáng)，應(yīng)用于無(wú)線網(wǎng)絡(luò)時(shí)兼容性較好，這些特點(diǎn)都使得強(qiáng)化學(xué)習(xí)與生俱來(lái)地成為認(rèn)知無(wú)線電的備選技術(shù)，并且具有廣泛的應(yīng)用前景。
　　 本文將強(qiáng)化學(xué)習(xí)中一個(gè)典型的模型，部分感知馬爾可夫決策過(guò)程(PartiallyObservable Markov Decision Process，POMDP)應(yīng)用到Ad Ho

2、e機(jī)會(huì)式頻譜接入（Opportunistic Spectrum Access，OSA）網(wǎng)絡(luò)中研究認(rèn)知用戶頻譜感知與接入算法，使其具有較強(qiáng)的學(xué)習(xí)能力，從而通過(guò)認(rèn)知循環(huán)(Cognitive Cycle，CC)高效機(jī)會(huì)式地接入授權(quán)頻譜。
　　 然而OSA網(wǎng)絡(luò)面臨的諸多挑戰(zhàn)，給我們的研究提出了以下具體的問(wèn)題，首先在實(shí)際情況中，由于硬件的限制及能量的消耗，尤其是伴隨突發(fā)性業(yè)務(wù)的認(rèn)知用戶不可能完全感知所有信道的信息，因此我們需要解決部分感知

3、問(wèn)題;第二，頻譜感知接入策略應(yīng)當(dāng)同時(shí)具備機(jī)會(huì)識(shí)別和探索的能力;第三，如何在面臨感知錯(cuò)誤時(shí)，將對(duì)授權(quán)用戶的干擾限制在一個(gè)指定的水平并最大化認(rèn)知用戶吞吐量;第四，頻譜機(jī)會(huì)需要收發(fā)端聯(lián)合識(shí)別，當(dāng)有感知錯(cuò)誤時(shí)，收發(fā)器能夠同時(shí)跳頻。針對(duì)上述研究問(wèn)題，本文利用強(qiáng)化學(xué)習(xí)中一個(gè)典型模型POMDP，設(shè)計(jì)了減少狀態(tài)量的基于信念向量的貪心策略算法，將感知與接入聯(lián)合考慮，并將其應(yīng)用于完美感知和不完美感知接入兩種場(chǎng)景，詳細(xì)地分類驗(yàn)證了其策略算法的性能;在最后提出