科研評(píng)估體系中數(shù)據(jù)預(yù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、知識(shí)經(jīng)濟(jì)條件下，知識(shí)更新速度加快，科學(xué)技術(shù)發(fā)展迅猛，科研評(píng)估體系出現(xiàn)了新的發(fā)展動(dòng)向。在科研評(píng)估體系中，數(shù)據(jù)的處理在其中占有重要的作用，隨著大型科技文獻(xiàn)、論文、專利數(shù)據(jù)庫系統(tǒng)等在科學(xué)研究中的廣泛應(yīng)用，全球范圍內(nèi)的科技數(shù)據(jù)信息量急劇增大。面對(duì)龐大的科技信息數(shù)據(jù)庫，需要快捷地從中提取出有用和有效的知識(shí)，因此巨大的科技信息數(shù)據(jù)有待分析處理。 本項(xiàng)研究基于中國科學(xué)院ARP項(xiàng)目評(píng)估評(píng)價(jià)系統(tǒng)，結(jié)合實(shí)際的應(yīng)用實(shí)施，分析了現(xiàn)行科研評(píng)估系統(tǒng)中

2、數(shù)據(jù)情況，介紹了如何在中科院評(píng)估評(píng)價(jià)系統(tǒng)中構(gòu)建數(shù)據(jù)預(yù)處理系統(tǒng)。本文首次嘗試將數(shù)據(jù)預(yù)處理技術(shù)應(yīng)用到科研評(píng)估系統(tǒng)的數(shù)據(jù)預(yù)處理過程中，開發(fā)一個(gè)針對(duì)海量評(píng)估數(shù)據(jù)的數(shù)據(jù)預(yù)處理系統(tǒng)。 本文首先介紹了中國科研評(píng)估體系的現(xiàn)狀及其面臨的問題，并對(duì)現(xiàn)行的數(shù)據(jù)預(yù)處理和元數(shù)據(jù)的研究現(xiàn)狀進(jìn)行了分析，在此基礎(chǔ)上提出了本研究所設(shè)計(jì)的系統(tǒng)——數(shù)據(jù)預(yù)處理系統(tǒng)。其共分為三個(gè)部分：元數(shù)據(jù)庫、規(guī)則定義模塊和數(shù)據(jù)處理模塊。系統(tǒng)的整個(gè)工作流程如下：首先將通過數(shù)據(jù)庫掃描

3、獲取源數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)庫的結(jié)構(gòu)內(nèi)容信息，并將其存入元數(shù)據(jù)庫中；然后用戶根據(jù)這些結(jié)構(gòu)內(nèi)容信息，定義數(shù)據(jù)抽取、轉(zhuǎn)換等各種規(guī)則，以期獲取自己所需要的數(shù)據(jù)，并將其存入元數(shù)據(jù)庫中；最后數(shù)據(jù)處理模塊從元數(shù)據(jù)庫中獲取各種已定義好的規(guī)則，調(diào)用其功能模塊對(duì)其進(jìn)行處理，從而獲取用戶所需要的數(shù)據(jù)。在整個(gè)系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)中涉及到一系列技術(shù)和方法，像數(shù)據(jù)預(yù)處理技術(shù)、元數(shù)據(jù)模型技術(shù)和)(ML技術(shù)等等，本文對(duì)此也作了一定的介紹。 本文解決的關(guān)鍵問題有以下幾方

4、面： 第一、針對(duì)數(shù)據(jù)預(yù)處理系統(tǒng)設(shè)計(jì)中關(guān)鍵問題之一一元數(shù)據(jù)庫的設(shè)計(jì)，本文采用三層模型結(jié)構(gòu)：將元數(shù)據(jù)庫邏輯上分為代理層、服務(wù)層和對(duì)象層。與此層次結(jié)構(gòu)相對(duì)應(yīng)的，元數(shù)據(jù)庫的系統(tǒng)結(jié)構(gòu)設(shè)計(jì)仍然采用技術(shù)比較成熟的客戶機(jī)/服務(wù)器模式(C1 ient/Server mude)，這樣設(shè)計(jì)提高系統(tǒng)獨(dú)立性，同時(shí)為決策和技術(shù)人員提供同樣的視角，但提供不同的操作功能。 第二、針對(duì)以前評(píng)估系統(tǒng)存在的問題——抽取的數(shù)據(jù)不盡如人意，系統(tǒng)設(shè)計(jì)了規(guī)則定義

5、模塊，方便用戶按照自己的需求定義各種數(shù)據(jù)處理規(guī)則，使系統(tǒng)具有很強(qiáng)的靈活性；同時(shí)設(shè)計(jì)了統(tǒng)一的接口，友好的人機(jī)界面，簡單易操作。第三、用戶可以自定義數(shù)據(jù)轉(zhuǎn)換規(guī)則，給用戶帶來方便的同時(shí)，增加了系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)難度。針對(duì)數(shù)據(jù)轉(zhuǎn)換的復(fù)雜性和繁瑣性，本系統(tǒng)采用了系統(tǒng)方法和人工設(shè)計(jì)方法相結(jié)合，來處理各種數(shù)據(jù)格式轉(zhuǎn)化、不一致性等問題，這樣既不會(huì)造成冗余，同時(shí)也會(huì)使數(shù)據(jù)轉(zhuǎn)換徹底。 第四、由于在數(shù)據(jù)集成時(shí)，數(shù)據(jù)可能來源于多個(gè)數(shù)據(jù)源，這樣會(huì)給數(shù)據(jù)集成