今天給各位分享san框架的知識,,其中也會對san框架能用flex嘛?
今天給各位分享san框架的知識,其中也會對san框架能用flex嘛?進行解釋,,如果能碰巧解決你現(xiàn)在面臨的問題,,別忘了關注本站,現(xiàn)在開始吧,!
本文目錄一覽:
- 1,、hadoop叢集的儲存架構一般適宜采用das,,nas,,san或其他什么架構
- 2、基于SAN存儲的國家級土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設
- 3,、存儲技術是純屬系統(tǒng)的框架里面的么
hadoop叢集的儲存架構一般適宜采用das,,nas,,san或其他什么架構
hadoop叢集的儲存架構一般適宜采用das,nas,,san或其他什么架構
It may take a whils to crawl a site ...
set_time_limit(10000);
Inculde the phpcrawl-mainclass
include("libs/PHPCrawler.class.php");
Extend the class and override the handleDocumentInfo()-method
class MyCrawler extends PHPCrawler
{
資料區(qū)域性性(data locality):這是Hadoop的主要特性,,指的是直接在儲存資料的節(jié)點上做CPU密集型計算。顯然,,SAN/NAS不適用于任何形式的CPU密集型計算,。
RAID:SAN/NAS采用RAID磁碟陣列進行儲存,而Hadoop框架通過復本來確保資料的可靠性和容錯性,。
DAS采用JBOD磁碟陣列進行儲存,,如果Hadoop節(jié)點的內(nèi)建儲存容量較小,可以采用DAS做擴充套件。如果只是想通過Hadoop做資料歸檔,,沒有計算,,好吧,SAN/NAS是個選擇,。
hadoop叢集的儲存架構一般適宜采用das,,nas,san或其他什么架構,,適宜采用哪些raid
配置資訊在gridmix_config.xml檔案中,。gridmix中,每種作業(yè)有大中小三種類型:小作業(yè)只有3個輸入檔案(即3個map),;
中作業(yè)的輸入檔案是與正則表示式{part-0000,part-0001,part-000*2}匹配的檔案,;
大作業(yè)會處理處有資料。
分析hadoop叢集的儲存架構一般適宜采用das,,nas,,san或其他什么架構,適宜采用哪些ra
Hadoop提供非常方便的方式來獲取一個任務的統(tǒng)計資訊,,使用以下命令即可作到:
$ hadoop job -history all job output directory
這個命令會分析任務的兩個歷史檔案(這兩個檔案儲存在job output directory/_logs/history目錄中)并計算任務的統(tǒng)計資訊,。
NAS,DAS和SAN三種儲存架構的區(qū)別
NAS儲存特點(網(wǎng)路直連儲存) DAS儲存特點(直連儲存)SAN儲存(光纖儲存)
svn叢集使用什么樣的儲存架構
Svn命令
1,、將檔案checkout到本地目錄
svn checkout path(path是伺服器上的目錄)
例如:svn checkout svn:192.168.1.1/pro/domain
簡寫:svn co
2,、往版本庫中新增新的檔案
svn add file
amazon云端儲存采用什么架構
這個具體還是要根據(jù)儲存的資料型別和資料量的大小來決定的!有很多型別的云端儲存軟體,。比如:云創(chuàng)儲存的Minicloud迷你云,,這是一款適合中小企業(yè)的云端儲存系統(tǒng),是一個超安全的私有云計算資料中心,,采用高可靠的云端儲存技術,,檔案資料塊始終以雙副本方式在不同節(jié)點上存放,絕不丟失資料,。同時,迷你云海量儲存空間支援靈活使用,,既可作為應用軟體(如郵箱,、視訊監(jiān)控)的海量儲存空間,又可作為員工的私密儲存空間,,還可以作為資料共享空間,,為了確保資料安全,公室內(nèi)部共享資料與通過網(wǎng)際網(wǎng)路共享資料采用完全隔離的兩套系統(tǒng),。在公室內(nèi)部,,可通過逗我的電腦地直接訪問自己的私有資料空間,在公室外部,可通過PCWeb介面和移動終端(安卓手機,、iPhone以及iPad)等訪問minicloud,,實現(xiàn)移動公。同時,,還提供豐富多彩的應用系統(tǒng),,系統(tǒng)自帶企業(yè)郵箱、內(nèi)部虛擬磁碟,、網(wǎng)路云盤*,、FTP等應用,使用者還可按需安裝配置其它應用,;可選配超強的桌面虛擬化系統(tǒng):單伺服器支援100多個瘦終端流暢共享各類應用軟體和上網(wǎng),。
網(wǎng)路儲存架構是什么呀?
網(wǎng)路儲存有兩大要件,一者為儲存裝置,一者為網(wǎng)通裝置。企業(yè)的網(wǎng)路儲存已行之有年,大致分為兩種架構:儲存區(qū)域網(wǎng)絡(SAN, Storage Area Neork)和網(wǎng)路附加儲存(NAS, Neork Attach Storage),。前者為支援伺服器和儲存裝置的直接高速資料傳輸?shù)膬Υ婢W(wǎng)路架構,后者為直接聯(lián)機至區(qū)域網(wǎng)絡 (LAN) 或廣域網(wǎng)路 (WAN),以方便由多臺伺服器存取資料的儲存架構,。
請教低成本型Hadoop叢集的網(wǎng)路架構與華為網(wǎng)路裝置選型
云端計算和Hadoop中網(wǎng)路是討論得相對比較少的領域。本文原文由Dell企業(yè)技術專家Brad Hedlund撰寫,,他曾在思科工作多年,,專長是資料中心、云網(wǎng)絡等,。文章素材基于作者自己的研究,、實驗和Cloudera的培訓資料。
基于SAN存儲的國家級土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設
張定祥 戴建旺 李憲文 何歡樂
(中國土地勘測規(guī)劃院,,北京,,100035)
摘要:本文在對國家級土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設項目背景分析的基礎上,提出了系統(tǒng)建設的總體目標和任務,,全面闡述了系統(tǒng)的總體設計,、運行模式、系統(tǒng)功能設計思想,,系統(tǒng)地介紹了各子系統(tǒng)的功能模塊設計,,最后本文對該管理與集成系統(tǒng)的應用進行了展望。
關鍵詞:土地調(diào)查,;數(shù)據(jù)集成,;SAN (Storage Area Network);數(shù)據(jù)倉庫
1 項目背景
目前,,隨著我國土地調(diào)查技術水平不斷提高,,數(shù)據(jù)的精度和現(xiàn)勢性不斷加強,數(shù)據(jù)資源發(fā)揮了越來越重要的作用,。但是,,我國土地調(diào)查數(shù)據(jù)管理方面還存在一些問題,。主要表現(xiàn)在:①數(shù)據(jù)管理手段落后、數(shù)據(jù)整合集成度差,。大量調(diào)查監(jiān)測與評價數(shù)據(jù)以文件光盤或紙質(zhì)方式存放,,大多數(shù)沒有建立集成化的空間數(shù)據(jù)庫;土地資源調(diào)查監(jiān)測數(shù)據(jù)內(nèi)容不統(tǒng)一,,不同時期數(shù)據(jù)成果的可比性差,,難以形成管理和研究分析需要的區(qū)域性時間系列數(shù)據(jù);土地數(shù)據(jù)庫存在多種比例尺,、多種格式等問題,。②數(shù)據(jù)共享應用存在障礙,數(shù)據(jù)信息挖掘不夠,。由于多方面的原因,,土地調(diào)查數(shù)據(jù)共享渠道還不夠通暢,大量數(shù)據(jù)資源還未納入管理,,數(shù)據(jù)應用潛力遠沒有開發(fā),。
當前,建立國家級土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)的意義在于:①有效整合,、集成土地資源調(diào)查工程數(shù)據(jù)成果,,為工程提供系列化、標準化的展示成果,;②為“金土工程”和“全國土地資源二次詳查”等新項目提供標準化,、集成化數(shù)據(jù)產(chǎn)品;③加強數(shù)據(jù)基礎建設,,并進行數(shù)據(jù)信息挖掘,,形成土地管理科學決策的數(shù)據(jù)基礎,提高土地科技創(chuàng)新能力和土地資源參與國民經(jīng)濟宏觀調(diào)控的科學性,;④挽救土地資源調(diào)查歷史數(shù)據(jù),,加快數(shù)據(jù)共享應用,保護國家在土地調(diào)查多年巨額投資成果,。鑒于以上考慮,,“土地數(shù)據(jù)存儲管理系統(tǒng)”采用現(xiàn)代數(shù)據(jù)倉庫數(shù)據(jù)集成技術思路,以三個數(shù)據(jù)庫(土地資料庫,、土地成果庫,、土地應用庫)、數(shù)據(jù)整合集成工具包,、數(shù)據(jù)分發(fā)和對內(nèi)對外發(fā)布等開發(fā)為主要內(nèi)容,將為國土資源大調(diào)查——土地調(diào)查原始數(shù)據(jù)管理,、成果數(shù)據(jù)集成,、應用數(shù)據(jù)產(chǎn)品開發(fā),、數(shù)據(jù)分發(fā)服務一體化提供集成的網(wǎng)絡化管理與共享平臺。該系統(tǒng)的建設將大大提高土地調(diào)查數(shù)據(jù)管理和集成信息化水平,。
2 系統(tǒng)建設目標
本系統(tǒng)建設目標為:在對國家級土地數(shù)據(jù)現(xiàn)狀和預測分析基礎上,,設計并建立基于SAN (Storage Area Network)存域網(wǎng)的土地數(shù)據(jù)管理與集成系統(tǒng),實現(xiàn)客戶端,、數(shù)據(jù)存儲中心和業(yè)務系統(tǒng)有機銜接,,滿足海量土地數(shù)據(jù)的動態(tài)存儲、管理維護,、更新,、整合處理、查詢檢索等功能,,實現(xiàn)土地數(shù)據(jù)的分布式共享和應用,;能夠?qū)崿F(xiàn)對國家級土地調(diào)查、評價,、規(guī)劃等數(shù)據(jù)進行整合,、編目、集成形成多層次專題數(shù)據(jù)建庫,,并加入數(shù)據(jù)管理系統(tǒng),;在此基礎上,構建土地分中心對外服務共享平臺,,通過專題數(shù)據(jù)庫整合,、集成、網(wǎng)上發(fā)布,,實現(xiàn)土地調(diào)查數(shù)據(jù)社會化共享,。
3 總體設計
3.1 系統(tǒng)總體框架設計
基于SAN存儲的國家級土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)由基礎設施、數(shù)據(jù)和業(yè)務應用三層技術體系,,安全和整合集成兩個技術保障構成,,具體的土地數(shù)據(jù)分中心總體設計架構如圖1所示。
圖1 土地數(shù)據(jù)分中心總體設計架構
3.1.1 基礎設施層
基礎設施層是系統(tǒng)建立及日常運行的基本軟硬件環(huán)境,,其中硬件環(huán)境構成了分中心的網(wǎng)絡環(huán)境,、存儲環(huán)境及安全環(huán)境,軟件環(huán)境則包括操作系統(tǒng),、數(shù)據(jù)庫管理系統(tǒng),、GIS軟件環(huán)境等。
3.1.2 數(shù)據(jù)層
數(shù)據(jù)層是系統(tǒng)建設的核心部分,,該層構成了分中心的數(shù)據(jù)基礎設施,。全部數(shù)據(jù)通過建立統(tǒng)一的土地資料元數(shù)據(jù)實現(xiàn)集中管理與維護。數(shù)據(jù)層主要由土地資料數(shù)據(jù)庫,、土地成果數(shù)據(jù)庫和土地應用數(shù)據(jù)庫組成,,數(shù)據(jù)庫內(nèi)所有土地資料信息在元數(shù)據(jù)庫中管理維護,。
3.1.3 業(yè)務應用層
業(yè)務應用層是分中心的運行層,所有具體的業(yè)務人員都在這個基礎上實現(xiàn)土地數(shù)據(jù)分中心的應用,。根據(jù)應用內(nèi)容的不同,,應用系統(tǒng)包括:土地數(shù)據(jù)庫管理與維護;土地數(shù)據(jù)庫信息檢索與查詢,;土地數(shù)據(jù)的加工處理與整合,;各種土地業(yè)務管理應用;國土資源輔助決策支持,;科學數(shù)據(jù)共享服務網(wǎng)站六部分職能,。
3.2 運行模式
國家級土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)日常運行模式有三種,即分中心內(nèi)部運行模式,、院內(nèi)部運行模式以及院外部運行模式,。分中心內(nèi)部運行模式的核心是土地資料數(shù)據(jù)的匯交、存儲,、管理,、元數(shù)據(jù)庫維護、數(shù)據(jù)整合與整理等,。院內(nèi)部運行模式主要為非專業(yè)應用系統(tǒng)的普通土地數(shù)據(jù)用戶則可以通過元數(shù)據(jù)的檢索查詢完成土地數(shù)據(jù)的信息瀏覽,、數(shù)據(jù)下載、數(shù)據(jù)轉(zhuǎn)換及數(shù)據(jù)應用工作,;此外院內(nèi)運行的各類土地專業(yè)應用系統(tǒng)通過計算機網(wǎng)絡,,通過訪問、檢索元數(shù)據(jù)庫實現(xiàn)土地數(shù)據(jù)倉庫的信息共享,,從而達到不同格式的土地數(shù)據(jù)在不同部門和業(yè)務系統(tǒng)間的流通,、交換和共享利用的目標。
規(guī)劃院外運行模式涉及國務院各部委機關,、國土資源部機關,、相關數(shù)據(jù)中心及信息中心、各級省級國土資源數(shù)據(jù)中心,、省級規(guī)劃院系統(tǒng)等不同層次和需求用戶,。
3.3 系統(tǒng)功能設計
3.3.1 采用基于高性能的 SAN 的網(wǎng)絡結構
SAN (Storage Area Network)是當前最先進的網(wǎng)絡存儲方式,本系統(tǒng)數(shù)據(jù)存儲采用光纖布線的方式為用戶提高數(shù)據(jù)傳輸?shù)膸捄涂煽啃詳?shù)據(jù),。系統(tǒng)硬件設備主要包括P650小型機,、H16 SAN光纖交換機、FastT600光纖磁盤陣列,、3583光纖磁帶庫,、IBM EXP400陣列、IBM X365服務器及IBM X445服務器等IBM的設備,、SUN的Blade2500圖形工作站及Cisco的網(wǎng)絡交換機(數(shù)據(jù)存儲結構見圖2),。
圖2 數(shù)據(jù)存儲結構圖
3.3.2 高可擴展性存儲設計
從存儲容量來看,,目前IBM FastT600磁盤陣列可以提供2 T的存儲空間,最大可以擴展到16 T的存儲容量,。IBM 3583-L36光纖磁帶庫內(nèi)有36個磁帶的艙位,配置了4個磁帶驅(qū)動器和40盤200 GB的磁帶,,正常情況下可以存儲8 TB的數(shù)據(jù),,壓縮的狀態(tài)下可存儲16 TB的數(shù)據(jù)。3583磁帶庫驅(qū)動器可以再增加2個,,磁帶的艙位可以增加到72個,。離線磁帶的數(shù)量理論上是沒有限制的,只需更換新的磁帶就可以了,。
3.3.3 基于數(shù)據(jù)倉庫設計思想的數(shù)據(jù)存儲管理系統(tǒng)
針對國家級土地調(diào)查數(shù)據(jù)多源異構情況復雜而應用目標不十分明確的矛盾,,借鑒數(shù)據(jù)倉庫技術思想,設計了數(shù)據(jù)存儲管理系統(tǒng)中土地數(shù)據(jù)整合集成技術流程,。其核心思想在于國家級土地數(shù)據(jù)通過數(shù)據(jù)集成工具逐步形成土地資料庫,、土地成果庫、專題產(chǎn)品庫等系列產(chǎn)品,。系統(tǒng)土地數(shù)據(jù)整合集成技術體系在以下方面:①外部歷史數(shù)據(jù)進入資料庫的元數(shù)據(jù)錄入和數(shù)據(jù)入庫規(guī)范,,主要由人工處理和系統(tǒng)自動完成;②數(shù)據(jù)從資料庫進入成果庫之前的數(shù)據(jù)轉(zhuǎn)換,、抽取,、重組、建模,、綜合和集成過程,,主要由系統(tǒng)提供工具軟件或數(shù)據(jù)接口人工操作完成;③成果數(shù)據(jù)進入應用庫之前的數(shù)據(jù)裁減,、融合,、接邊、格式轉(zhuǎn)換等數(shù)據(jù)集成過程,,以及數(shù)據(jù)成果庫數(shù)據(jù)挖掘,、決策分析功能,此部分主要通過Arc/Engine開發(fā)工具的模塊和利用Oracle相應的數(shù)據(jù)挖掘功能實現(xiàn),。
4 功能模塊設計
4.1 資料庫管理子系統(tǒng)
土地資料庫系統(tǒng)通過建立數(shù)據(jù)的管理元數(shù)據(jù),、數(shù)據(jù)命名、數(shù)據(jù)目錄規(guī)范入庫,、構建資料庫,,實現(xiàn)基于元數(shù)據(jù)的檢索、數(shù)據(jù)查詢,、數(shù)據(jù)預覽等功能,。土地數(shù)據(jù)資料進入資料庫系統(tǒng)是數(shù)據(jù)資料的初步整合過程,,紙質(zhì)資料和電子數(shù)據(jù)進行分類管理,紙質(zhì)資料只錄入編目系統(tǒng),,資料本身不進入數(shù)據(jù)目錄管理系統(tǒng),。電子數(shù)據(jù)納入文件目錄管理范疇,需要進行元數(shù)據(jù)錄入和文件重命名和數(shù)據(jù)入庫等過程,。數(shù)據(jù)資料整合管理過程主要包括:數(shù)據(jù)內(nèi)容選擇,、元數(shù)據(jù)錄入、文件進入資料庫文件目錄系統(tǒng)(目錄資料不入庫),、文件的規(guī)范命名,、元數(shù)據(jù)檢查修改、元數(shù)據(jù)查詢?yōu)g覽,、數(shù)據(jù)分發(fā)和發(fā)布等過程,。
土地資料庫管理子系統(tǒng)由數(shù)據(jù)庫、管理和維護應用系統(tǒng),、土地數(shù)據(jù)對外服務系統(tǒng)構成,。具體包括:①數(shù)據(jù)庫。根據(jù)數(shù)據(jù)層次的不同,,土地資料庫管理子系統(tǒng)中含有經(jīng)過重新目錄組織和文件命名的土地資料數(shù)據(jù)和體現(xiàn)數(shù)據(jù)目錄信息及其他內(nèi)容的元數(shù)據(jù),。②數(shù)據(jù)管理維護系統(tǒng)。針對土地資料數(shù)據(jù)庫,、元數(shù)據(jù)庫分別由土地資料管理維護系統(tǒng),、元數(shù)據(jù)管理維護系統(tǒng)提供相應數(shù)據(jù)內(nèi)容的入庫、檢索,、利用,、存取控制、備份,、恢復等,。③土地數(shù)據(jù)對外服務與數(shù)據(jù)分發(fā)系統(tǒng)。土地數(shù)據(jù)對外服務系統(tǒng)基于互聯(lián)網(wǎng),,向社會公眾提供元數(shù)據(jù),、土地資料數(shù)據(jù)的瀏覽、查詢,、下載等土地數(shù)據(jù)服務,。
4.2 成果庫管理子系統(tǒng)
在數(shù)據(jù)庫結構預先構建前提下,在經(jīng)過數(shù)據(jù)整合和成果提取過程之后,,成果數(shù)據(jù)存儲在Oracle Spatial中,,數(shù)據(jù)管理工作包括空間數(shù)據(jù)本地瀏覽、數(shù)據(jù)內(nèi)容維護和數(shù)據(jù)庫結構維護。具體包括以下幾個方面,。
4.2.1 成果數(shù)據(jù)管理
成果最小的組織單位是縣,,然后確定一個縣的土地專題,如縣級土地利用,、縣級動態(tài)監(jiān)測等,,系統(tǒng)建庫標準參考相關國家建庫標準。成果數(shù)據(jù)的體現(xiàn)按照樹型來組織,,第一級是成果主題,,然后根據(jù)成果組織的類型分為分幅和行政區(qū)兩種方式。分幅方式主要是根據(jù)標準比例尺將全國區(qū)域分為相應數(shù)量的邏輯尺寸,,數(shù)據(jù)的組織采用這兩種方式相結合,主要是因為目前有很多已有土地數(shù)據(jù)成果,,本身就是采用分幅來匯交數(shù)據(jù),,在不改變原有數(shù)據(jù)的數(shù)據(jù)范圍下就可以完成數(shù)據(jù)的拼接。另一方面,,一般顯示數(shù)據(jù)采用行政區(qū)省—市—縣逐級索引的,,便于數(shù)據(jù)檢索。
(1)成果分幅管理 標準百萬分幅,、標準50 萬分幅,、標準25 萬分幅、標準10 萬分幅,、標準5萬分幅,、標準2.5萬分幅、標準1萬分幅,。
(2)成果行政區(qū)管理 省級索引圖,、市級索引圖、縣級實際成果數(shù)據(jù) (圖3),。
圖3a 百萬分幅索引圖
圖3b 全國省界索引圖
圖3c 廣東省界索引圖
圖3d 縣級土地利用專題數(shù)據(jù)
4.2.2 成果空間數(shù)據(jù)瀏覽
此功能模塊主要用來實現(xiàn)對存儲在Oracle Spatial中的成果數(shù)據(jù)進行預覽,,主要包括如下空間圖形操作功能。放大,、縮小,、漫游、全圖,、查閱屬性數(shù)據(jù),、查閱元數(shù)據(jù)。
4.2.3 成果整合管理
成果庫的建立是通過整合工具將目標數(shù)據(jù)整合而成,。成果的整合管理主要是指將數(shù)據(jù)整合到成果庫的過程管理,,系統(tǒng)提供整合入庫向?qū)лo助完成這個整合過程。整合過程包括如下步驟:①選擇成果目標庫;②查詢選擇整合數(shù)據(jù)源,;③確定數(shù)據(jù)源與目標庫(數(shù)據(jù)表)的對應關系,,系統(tǒng)支持多種格式的數(shù)據(jù)源,包括Arcgis shape,,Arcgis coverage,,Map-gis,VCT 多種國內(nèi)外主流 GIS 平臺數(shù)據(jù)格式,;④確定數(shù)據(jù)源屬性表與成果庫數(shù)據(jù)字段的對應關系,;⑤確定數(shù)據(jù)源元數(shù)據(jù)與成果庫元數(shù)據(jù)的對應關系;⑥調(diào)用數(shù)據(jù)整合工具完成目標數(shù)據(jù)源向成果庫的整合,。
4.2.4 成果建庫管理
成果庫包括兩個部分,,一個是核心庫,包括分幅信息,、行政區(qū)索引信息,、成果元數(shù)據(jù)、縣級標準主題庫,;另一個部分是成果擴展庫,,主要為了實現(xiàn)系統(tǒng)的兼容性和用戶自定義。
由于成果核心數(shù)據(jù)庫結構是預先生成,,在系統(tǒng)正常運行階段不提供用戶接口進行調(diào)整,,可提供根據(jù)預先生成的數(shù)據(jù)庫腳本重新創(chuàng)建數(shù)據(jù)庫框架;在不影響資料庫數(shù)據(jù)整合入庫和數(shù)據(jù)發(fā)布的情況下,,通過和開發(fā)人員共同合作實現(xiàn)對數(shù)據(jù)庫的調(diào)整,。對于成果擴展庫,系統(tǒng)提供建庫向?qū)лo助用戶完成自定義擴展,。擴建庫建立向?qū)е饕瓿扇缦鹿δ埽孩俣x擴展數(shù)據(jù)庫,、數(shù)據(jù)表結構;②確定擴展數(shù)據(jù)庫,、數(shù)據(jù)表與核心庫關系,;③定義數(shù)據(jù)獲取與更新機制。
4.3 應用庫管理子系統(tǒng)
數(shù)據(jù)的最終目的很大程度上是為了應用于專題中作為數(shù)據(jù)存儲系統(tǒng)的重要功能,,要求實現(xiàn)根據(jù)專題用戶輸入應用要求,,實現(xiàn)數(shù)據(jù)提取。完成專題產(chǎn)品的來源可以來自于資料庫和成果庫,,由于各種專題的要求并不一致,,因此需要具有通用性且功能強大的通用工具,以便實現(xiàn)專題數(shù)據(jù)產(chǎn)品的生成,。
4.4 數(shù)據(jù)發(fā)布管理子系統(tǒng)
土地數(shù)據(jù)管理模式采用土地數(shù)據(jù)存域網(wǎng)和土地數(shù)據(jù)中心對外發(fā)布平臺的有機集成管理模式,。中國土地勘測規(guī)劃院內(nèi)部土地數(shù)據(jù)管理由對內(nèi)發(fā)布服務系統(tǒng)實現(xiàn),,社會共享數(shù)據(jù)和信息管理通過土地數(shù)據(jù)中心對外發(fā)布平臺實現(xiàn)。土地數(shù)據(jù)資源要求可以被授權用戶使用,,使用方式將改變以前通過文件復制的方式,,而采用更加方便而且安全有效的方式,即通過信息發(fā)布——用戶下載的方式來實現(xiàn),。具體功能包括:①數(shù)據(jù)查詢,;②數(shù)據(jù)分發(fā)申請登記;③數(shù)據(jù)分發(fā)申請審核,;④數(shù)據(jù)分發(fā)授權,;⑤數(shù)據(jù)下載服務;⑥數(shù)據(jù)下載備案,。
圖4 數(shù)據(jù)產(chǎn)品下載申請登記
圖5 數(shù)據(jù)分發(fā)審核管理
4.5 數(shù)據(jù)整合環(huán)境與集成工具包
數(shù)據(jù)整合處理環(huán)境由多個數(shù)據(jù)提取工具構成,。利用數(shù)據(jù)模型構建工具,面向土地專題應用,,構建相應的數(shù)據(jù)倉庫框架,,逐步擴充土地專題業(yè)務應用數(shù)據(jù)庫所涵蓋的土地分析專題;通過開發(fā)面向特定土地成果數(shù)據(jù)庫或土地專題應用的整合特定數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)提取工具,,逐步充實數(shù)據(jù)整合處理環(huán)境的數(shù)據(jù)提取工具;通過運行數(shù)據(jù)提取工具,,逐步充實土地成果數(shù)據(jù)庫和土地專題數(shù)據(jù)倉庫的內(nèi)容,。編寫數(shù)據(jù)提取工具,從各土地資料數(shù)據(jù)庫抽取數(shù)據(jù)到土地成果數(shù)據(jù)庫中,,由土地成果數(shù)據(jù)抽取數(shù)據(jù)到土地專題應用數(shù)據(jù)庫中,。
基于 ESRI Arc/Engine 組件工具,開發(fā)服務于“土地數(shù)據(jù)整合處理”的各種通用 GIS工具組件備用,,同時開發(fā)具有友好圖形用戶界面,,實現(xiàn)基于“土地資料庫”或“土地成果數(shù)據(jù)庫”及其元數(shù)據(jù)庫提取特定專題應用產(chǎn)品數(shù)據(jù)庫的流程管理的專題產(chǎn)品數(shù)據(jù)庫提取與維護管理系統(tǒng)??紤]到數(shù)據(jù)產(chǎn)品數(shù)據(jù)庫創(chuàng)建的復雜性,,在系統(tǒng)實現(xiàn)過程中,只實現(xiàn)可自動化進行的流程的管理,,對于無法自動化的過程,,系統(tǒng)給出信息提示,實施手工處理,。
圖6a 數(shù)據(jù)整合處理環(huán)境提取工具
圖6b 通用集成 GIS 工具組件
5 應用展望
當前,,加快土地調(diào)查評價數(shù)據(jù)集成既是深化大調(diào)查成果的需要,也是國家土地管理新形勢對土地資源調(diào)查監(jiān)測數(shù)據(jù)集成提出的新要求,。充分發(fā)揮土地調(diào)查評價數(shù)據(jù)的基礎性作用,,促進國家科技數(shù)據(jù)資源共享也必須對土地數(shù)據(jù)進行整合集成。如何對多年來取得的國家級土地調(diào)查評價數(shù)據(jù),特別是大調(diào)查數(shù)據(jù)進行有效集成和管理,,并為國家土地管理宏觀決策提供快速,、準確的信息服務是國家級土地調(diào)查評價數(shù)據(jù)集成面臨的首要問題?;?SAN 存儲的國家級土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng),,首次將土地數(shù)據(jù)倉庫技術思想應用于土地數(shù)據(jù)管理系統(tǒng)建設中,提出資料庫,、成品庫,、應用庫三庫一體的數(shù)據(jù)倉庫解決方案,對不同處理級別數(shù)據(jù)分級存儲,,為土地數(shù)據(jù)挖掘提供可能,,也為不同應用目的數(shù)據(jù)集成提供實現(xiàn)有效途徑。通過該系統(tǒng)建設將能夠?qū)崿F(xiàn)土地數(shù)據(jù)管理,、土地數(shù)據(jù)處理和信息發(fā)布網(wǎng)絡化,,大大提高信息化建設水平。目前本系統(tǒng)已經(jīng)初步建成,,并處于試運行階段,,正利用本數(shù)據(jù)管理集成系統(tǒng)平臺進行全國城市土地利用動態(tài)遙感監(jiān)測數(shù)據(jù)、1∶1 萬土地利用建庫,、土地詳查1∶5 萬縣級土地利用柵格數(shù)據(jù)等土地調(diào)查監(jiān)測數(shù)據(jù)的整合集成工作,。目前已經(jīng)完成2004年度全國土地利用動態(tài)遙感監(jiān)測成果數(shù)據(jù)、“數(shù)字國土”工程1∶1 萬土地利用建庫200 多個縣區(qū),、土地詳查1∶5 萬縣級土地利用柵格數(shù)據(jù)全部數(shù)據(jù)(2000 多個縣)的整合入庫和元數(shù)據(jù)錄入,,并可實現(xiàn)對元數(shù)據(jù)和數(shù)據(jù)的管理。系統(tǒng)建設已經(jīng)初見成效,,實現(xiàn)了土地調(diào)查數(shù)據(jù)科學有效管理,、避免重復投資,為國家寶貴的數(shù)據(jù)資源科學管理,、有效集成和共享應用打下了堅實基礎,。可以預見,,本系統(tǒng)平臺將在國土資源大調(diào)查——土地資源調(diào)查數(shù)據(jù)整合集成發(fā)揮重要作用,。當然由于受人員、時間,,特別是水平等各方面條件的限制,,本系統(tǒng)還需要在國家級土地調(diào)查監(jiān)測的數(shù)據(jù)整合集成實踐中不斷地完善、提高,。
存儲技術是純屬系統(tǒng)的框架里面的么
什么是存儲,?
用于存放數(shù)據(jù)信息的設備或者系統(tǒng)
等同與計算機系統(tǒng)中的外部存儲
存儲是一個系統(tǒng)
是計算機技術發(fā)展的結果
在計算機系統(tǒng)中存儲分為外部存儲和內(nèi)部存儲,,這里我們談存儲主要指計算機系統(tǒng)中的外部存儲。
如果再把概念收縮一下,,一般來講我們談存儲是指存儲系統(tǒng),,并不是簡單的談硬盤、軟盤等,。
存儲系統(tǒng)是信息技術發(fā)展的結果,。
為什么要了解存儲技術
很簡單的原因,存儲變得越來越重要了,,我們必須要了解存儲技術,,了解存儲技術的發(fā)展方向!
存儲系統(tǒng)中到底使用了什么技術?
SCSI/ATA
FC/iSCSI
RAID/JBOD
DAS/NAS/SAN
SCSI/ATA是存儲系統(tǒng)中最基本的技術,,其中SCSI是最重要的.
在存儲設備上,,使用的SCSI/ATA/FC的硬盤,做成RAID或者JBOD,,通過DAS,、NAS、SAN的形式,,中間使用SCSI,、FC或者TCP/IP技術連接主機。存儲技術其實就是是計算機技術與通信技術的結合,。iSCSI是將來的存儲形式,,這里不做討論
存儲系統(tǒng)架構—三種架構介紹
DAS ( Direct Attached Storage)直接掛接存儲
SAN ( Storage Area Network )存儲區(qū)域網(wǎng)絡
NAS ( Network Attached Storage )網(wǎng)絡掛接存儲
存儲系統(tǒng)架構—DAS
DAS-Direct Attached Storag-存儲設備(通常為磁盤或磁帶)通過電纜直接與計算機相連;
系統(tǒng)存取訪問I/O請求(又稱為協(xié)議或命令)直接在計算機和存儲設備間進行.
存儲設備(通常為磁盤或磁帶)通過電纜直接與計算機相連,,系統(tǒng)存取訪問I/O請求(又稱為協(xié)議或命令)直接在計算機和存儲設備間進行。這是一種總線方式的存儲,,傳輸距離短,,連接方式差。當服務器在地理上比較分散,,很難通過遠程連接進行互連時,,直接連接存儲是比較好的解決方案,甚至是唯一的解決方案,。
存儲系統(tǒng)架構—SAN
SAN- Storage Area Network
主要目的用于在計算機和存儲設備之間傳輸數(shù)據(jù)
IP-SAN,,F(xiàn)C-SAN
SAN(Storage Area Network存儲區(qū)域網(wǎng)):是為連接服務器、磁盤陣列,、帶庫等存儲設備專門而建立的高性能網(wǎng)絡,。SAN技術中最具深遠意義的并給SAN技術帶來最大好處的,即它由從前采用面向總線的存儲結構,,轉(zhuǎn)而采用現(xiàn)在的面向網(wǎng)絡的存儲結構,。
存儲系統(tǒng)架構—NAS
NAS-Network Attached Storage
一種直連到網(wǎng)絡(LAN or WAN)里的特殊用途的存儲設備
突出的文件服務性能
向異構客戶端平臺提供高可用的數(shù)據(jù)共享
存儲產(chǎn)品
磁盤陣列柜
RAID技術
FC技術
SAS技術
iSCSI技術
IB技術
存儲服務器
服務器技術
RAID技術
…
關于san框架和san框架能用flex嘛?的介紹到此就結束了,,不知道你從中找到你需要的信息了嗎 ?如果你還想了解更多這方面的信息,,記得收藏關注本站,。