發(fā)布時(shí)間:2021-05-15所屬分類:科技論文瀏覽:1次
摘 要: 摘要隨著海洋觀測技術(shù)和數(shù)值仿真技術(shù)的發(fā)展,人們能獲取到規(guī)模更大、分辨率更高的海洋數(shù)據(jù),這為復(fù)雜多元海洋環(huán)境要素及結(jié)構(gòu)現(xiàn)象的分析帶來了機(jī)遇,同時(shí)也給傳統(tǒng)的分析方法帶來了挑戰(zhàn)。因此,將大數(shù)據(jù)可視分析方法引入了海洋數(shù)據(jù)分析,并探索了其在多元海洋
摘要隨著海洋觀測技術(shù)和數(shù)值仿真技術(shù)的發(fā)展,人們能獲取到規(guī)模更大、分辨率更高的海洋數(shù)據(jù),這為復(fù)雜多元海洋環(huán)境要素及結(jié)構(gòu)現(xiàn)象的分析帶來了機(jī)遇,同時(shí)也給傳統(tǒng)的分析方法帶來了挑戰(zhàn)。因此,將大數(shù)據(jù)可視分析方法引入了海洋數(shù)據(jù)分析,并探索了其在多元海洋時(shí)空數(shù)據(jù)分析、海洋重要結(jié)構(gòu)的時(shí)空特征和演化分析等方面的應(yīng)用價(jià)值,開發(fā)了多個(gè)可視分析系統(tǒng),并通過全球和我國周邊一些海域數(shù)據(jù)分析的案例研究,提出了海洋數(shù)據(jù)可視分析的基本框架,展示了可視分析是大數(shù)據(jù)時(shí)代海洋復(fù)雜數(shù)據(jù)分析方面一種很有前途的技術(shù)。
關(guān)鍵詞可視分析;多元海洋時(shí)空數(shù)據(jù);海洋結(jié)構(gòu);可視分析應(yīng)用
1引言
隨著海洋觀測技術(shù)和數(shù)值仿真技術(shù)的不斷進(jìn)步,人們逐漸可以獲取到更高分辨率和更大規(guī)模的多元時(shí)空變化的數(shù)據(jù)集,這給針對海洋復(fù)雜過程的分析研究提供了更多的機(jī)會(huì),也帶來了很大的挑戰(zhàn)。首先,海洋數(shù)據(jù)本身隱含著復(fù)雜的時(shí)空過程和多元要素的動(dòng)態(tài)變化,多個(gè)時(shí)空變量在空間和時(shí)間上與多個(gè)尺度高度相關(guān),這使得從這些龐雜的數(shù)據(jù)中獲取有價(jià)值的模式或發(fā)現(xiàn)海洋結(jié)構(gòu)(現(xiàn)象)及其時(shí)空演化規(guī)律變得困難;同時(shí)大數(shù)據(jù)使得傳統(tǒng)的依賴人工發(fā)現(xiàn)、評(píng)估和解釋時(shí)空模式或特征的分析方法變得低效;另外對海洋結(jié)構(gòu)及其時(shí)空模式的識(shí)別目前還是局部粒度的,缺少對其時(shí)空模式的整體概覽和多尺度細(xì)致的分析,而且目前的分析系統(tǒng)也缺少符合海洋研究者探索不同海洋時(shí)空情形的高效交互方式;此外,海量海洋大數(shù)據(jù)導(dǎo)致存儲(chǔ)困難、計(jì)算時(shí)間過長,雖然采用常規(guī)的數(shù)據(jù)約簡技術(shù)可以降低數(shù)據(jù)規(guī)模,但同時(shí)容易引起數(shù)據(jù)細(xì)節(jié)甚至關(guān)鍵結(jié)構(gòu)信息的丟失;高緯度的海洋多元要素間的關(guān)系分析也變得復(fù)雜和困難;傳統(tǒng)的2D/3D可視化方法難以應(yīng)對海量高維復(fù)雜時(shí)空數(shù)據(jù)的挑戰(zhàn),視覺混淆和過度繪制問題變得尤為突出?梢暦治鍪墙Y(jié)合了機(jī)器學(xué)習(xí)、統(tǒng)計(jì)等自動(dòng)化數(shù)據(jù)分析算法和交互式可視化來促進(jìn)數(shù)據(jù)分析和推理的科學(xué)[1],能從大規(guī)模和復(fù)雜數(shù)據(jù)中多尺度地提取有用的信息和有意義的知識(shí)[2],并通過交互可視化數(shù)據(jù)探索生成假設(shè)和驗(yàn)證,以獲得對物理現(xiàn)象的科學(xué)洞察,因而可視分析是現(xiàn)有的基于經(jīng)驗(yàn)、理論和基于數(shù)值模式方法進(jìn)行復(fù)雜海洋數(shù)據(jù)分析研究的有力補(bǔ)充。
為此,筆者將先進(jìn)的可視分析技術(shù)引入復(fù)雜海洋數(shù)據(jù)分析中,開發(fā)了多個(gè)可視分析系統(tǒng),用于輔助領(lǐng)域?qū)<姨剿鞫嘣Q蟓h(huán)境要素的時(shí)空特征或相關(guān)性,分析渦旋及海洋鋒等重要海洋結(jié)構(gòu)(現(xiàn)象)的時(shí)空特征及其演化規(guī)律,呈現(xiàn)可視分析技術(shù)在海洋數(shù)據(jù)分析領(lǐng)域的應(yīng)用前景,并總結(jié)了海洋數(shù)據(jù)可視分析的基本框架。
2相關(guān)工作
2.1多元海洋時(shí)空數(shù)據(jù)可視分析
常見的多元海洋時(shí)空數(shù)據(jù)可視分析是圍繞研究一個(gè)或多個(gè)海洋標(biāo)量(溫度、鹽度等)和矢量(流場)的變化特征展開的,例如,SteinRJ等人[3]提出了一個(gè)用于水質(zhì)研究的交互式可視分析系統(tǒng),該系統(tǒng)利用剖面、等值面、輪廓面、矢量箭頭等方法,對水源鹽度和流場數(shù)據(jù)的時(shí)空特征進(jìn)行多視圖協(xié)同交互分析。SuTY等人[4]開發(fā)了海洋數(shù)據(jù)可視分析系統(tǒng),它支持對等高線、等值面、體繪制和流場的動(dòng)態(tài)模擬,該集成系統(tǒng)采用基于圖形處理器(graphicsprocessingunit,GPU)的渲染方法加速標(biāo)量或矢量場的繪制,直觀地分析海量海洋水文環(huán)境要素的空間特征,提升了數(shù)據(jù)分析時(shí)交互的速度。
由于海洋數(shù)據(jù)是由多個(gè)相互關(guān)聯(lián)的變量組成的多場數(shù)據(jù)集,出現(xiàn)了一些基于平行坐標(biāo)分析多變量關(guān)系的可視分析系統(tǒng)。例如,GuoHQ等人[5]提出了一種針對多變量體數(shù)據(jù)的可視分析系統(tǒng),利用平行坐標(biāo)圖和基于多維比例尺圖對多變量體數(shù)據(jù)進(jìn)行可視化和交互分析,實(shí)驗(yàn)證明,該系統(tǒng)對不同大小和不同屬性的數(shù)據(jù)集的可視分析具有較高的可擴(kuò)展性。YanoM等人[6]提出了一個(gè)三維可視化系統(tǒng),利用平行坐標(biāo)圖對全球多個(gè)模態(tài)水域的多元屬性(溫度、密度和鹽度)進(jìn)行對比分析,以發(fā)現(xiàn)模態(tài)相似的水域。RochaA等人[7]提出了一個(gè)用于分析仿真模型中多個(gè)海洋標(biāo)量、矢量間相關(guān)性的可視分析系統(tǒng),以不同的可視化形式同時(shí)疊加多個(gè)變量的可視化顯示,支持靈活的用戶交互和多變量切換顯示,以滿足用戶多層次的分析需求。但基于平行坐標(biāo)的可視分析系統(tǒng)存在線條重疊和視覺混亂的問題,因此又出現(xiàn)了一些帶有聚合功能的平行坐標(biāo)圖的新設(shè)計(jì)?傊,相比傳統(tǒng)的可視化分析方法,多元時(shí)空數(shù)據(jù)可視分析系統(tǒng)提供了更多的交互探索和可視化新設(shè)計(jì),可在不同程度上提升數(shù)據(jù)分析的質(zhì)量和效率。
2.2海洋結(jié)構(gòu)(現(xiàn)象)的可視分析
大規(guī)模海洋數(shù)據(jù)中隱含著與復(fù)雜海洋過程相關(guān)的多種結(jié)構(gòu)或現(xiàn)象,這里筆者主要以海洋鋒和渦旋等重要海洋結(jié)構(gòu)識(shí)別與檢測、時(shí)空特征分析和演化兩個(gè)方面介紹相關(guān)可視分析系統(tǒng)。
2.2.1海洋結(jié)構(gòu)(現(xiàn)象)的識(shí)別與檢測
在海洋中,各種現(xiàn)象/結(jié)構(gòu)時(shí)時(shí)刻刻都會(huì)發(fā)生變化,并且每種現(xiàn)象都有其自身的物理特征,因此產(chǎn)生了多種特有結(jié)構(gòu)的檢測和分析方法。海洋鋒的檢測方法主要有梯度法、直方圖法、熵方法、Canny邊緣算子方法[8]等。常用的渦旋檢測方法有3種[9]:第一種是基于幾何的方法,該方法利用流場中流線的幾何形狀確定渦旋;第二種是基于閾值的方法,代表性的閾值法是基于Okubo-Weiss參數(shù)檢測渦旋;第三種是結(jié)合幾何法與閾值法的混合檢測方法,該方法可以提高渦流檢測的準(zhǔn)確性和從海平面高度異常識(shí)別渦旋多核結(jié)構(gòu)的能力。此外,通過Okubo-Weiss參數(shù)閾值法識(shí)別渦旋,并將其作為訓(xùn)練集,然后通過卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork,CNN)進(jìn)行特征學(xué)習(xí),可實(shí)現(xiàn)基于深度學(xué)習(xí)的渦旋檢測[10]。
2.2.2海洋結(jié)構(gòu)(現(xiàn)象)的時(shí)空特征和演化
由于海洋數(shù)據(jù)規(guī)模變大,海洋結(jié)構(gòu)(現(xiàn)象)通常涉及多個(gè)變量在空間、時(shí)間和多個(gè)尺度上的變化,這加大了海洋結(jié)構(gòu)(現(xiàn)象)時(shí)空特征及演化分析的難度。MatsuokaD等人[9]提出了一種渦旋檢測、跟蹤、事件檢測和可視化的新方法,分析渦旋演化過程中的合并和分叉,以及渦旋和洋流之間的相互作用等事件。WoodringJ等人[11]開發(fā)了一個(gè)全球海洋渦旋系統(tǒng),利用折線圖、直方圖等常見的圖表對渦旋的大小、深度進(jìn)行可視化,還利用大量的高分辨率時(shí)空建模數(shù)據(jù)對渦旋進(jìn)行多尺度的空間探索分析?梢暦治黾夹g(shù)確實(shí)在時(shí)空模式發(fā)現(xiàn)和演化分析的效率和質(zhì)量方面有顯著的促進(jìn)作用,但是在海洋領(lǐng)域應(yīng)用可視分析技術(shù)的研究目前還處于起步階段,如何應(yīng)用可視分析技術(shù)更好地提升復(fù)雜海洋數(shù)據(jù)分析的能力,值得進(jìn)一步探索和研究。
3海洋領(lǐng)域的可視分析技術(shù)
3.1海洋數(shù)據(jù)及預(yù)處理
通常,海洋數(shù)據(jù)來自觀測設(shè)備(如衛(wèi)星、船舶或傳感器等),或來自計(jì)算機(jī)仿真(如海洋大氣模型)。海洋和大氣在循環(huán)系統(tǒng)中相互耦合,因此這里的海洋數(shù)據(jù)主要指各種海洋環(huán)境要素,包括海洋水文數(shù)據(jù)和海洋氣象數(shù)據(jù)。海洋水文數(shù)據(jù)包含水深、水溫、鹽度、水流、波浪、水色、透明度、海冰和海洋光等。海洋氣象數(shù)據(jù)包含氣溫、壓力、濕度、風(fēng)速、降水、云、霧等[12]。
相關(guān)知識(shí)推薦:大數(shù)據(jù)論文投稿核心期刊
單個(gè)時(shí)間步長的觀測數(shù)據(jù)和模擬數(shù)據(jù)全部由空間場數(shù)據(jù)組成,該空間場數(shù)據(jù)的每個(gè)網(wǎng)格點(diǎn)處都由多個(gè)變量組成。因此,各種時(shí)間序列的空間場數(shù)據(jù)構(gòu)成了海洋數(shù)據(jù)集(觀測數(shù)據(jù)集或仿真集)。隨著觀測技術(shù)和計(jì)算機(jī)模擬技術(shù)的不斷發(fā)展,海洋數(shù)據(jù)的獲取量正在以不可預(yù)測的速度迅速增長。同時(shí),海洋數(shù)據(jù)包含強(qiáng)大的時(shí)空過程,涉及多尺度結(jié)構(gòu)之間的復(fù)雜相互作用。海洋數(shù)據(jù)具有異構(gòu)性高、維度高、體積大、時(shí)空變化大以及多種海洋數(shù)據(jù)屬性之間耦合相關(guān)的特點(diǎn)。因此,在收集到海洋數(shù)據(jù)后,首先要進(jìn)行數(shù)據(jù)清洗,以消除重復(fù)性數(shù)據(jù)、缺失數(shù)據(jù)等;其次要進(jìn)行數(shù)據(jù)精簡,例如過濾/采樣(如簡單隨機(jī)采樣、等距抽樣、分層抽樣等)、降維、分組聚合和模型擬合等[12-13]。
3.2海洋領(lǐng)域的可視分析技術(shù)
3.2.1海洋領(lǐng)域常用的可視化方法
海洋領(lǐng)域的可視分析系統(tǒng)通常采用科學(xué)可視化技術(shù),信息可視化技術(shù)用得較少,但信息可視化技術(shù)在以挖掘信息和獲取知識(shí)為目標(biāo)的大數(shù)據(jù)分析中尤為重要[1]。早期,多維海洋環(huán)境要素(如水溫、鹽度等標(biāo)量和流場矢量)可視化的常用方法是使用二維點(diǎn)、線、面、粒子、標(biāo)記符和3D體進(jìn)行繪制。對于空間數(shù)據(jù)可視化,2D地圖或基于地球上的投影展示通常是地理分布的首選,同時(shí)還需要考慮投影、比例尺和視覺編碼設(shè)置;對于時(shí)間序列數(shù)據(jù)可視化,通常用時(shí)間序列圖展示海洋變量或現(xiàn)象的變化趨勢。當(dāng)對象的時(shí)空信息維度較高時(shí),三維展示也存在局限性,因此通常還需要結(jié)合高維數(shù)據(jù)可視化方法,如散點(diǎn)圖、熱圖/相關(guān)矩陣、投影、平行坐標(biāo)圖以及集成的平行坐標(biāo)散點(diǎn)圖等常用的可視化方式[13]。但是在大數(shù)據(jù)環(huán)境下,平行坐標(biāo)圖會(huì)遇到線條密集、重疊覆蓋的問題,根據(jù)線條的聚合特征可以對平行坐標(biāo)圖進(jìn)行簡化,減少視覺混淆[1]。
3.2.2海洋領(lǐng)域常用的交互方法
在大數(shù)據(jù)可視分析的界面中,還需要提供相應(yīng)的交互組件以及合適的交互方式來幫助用戶使用和管理分析過程。目前,信息可視化中的人機(jī)交互技術(shù)主要可以分為5類:動(dòng)態(tài)過濾技術(shù)、整體+詳細(xì)技術(shù)、平移+縮放技術(shù)、焦點(diǎn)+上下文技術(shù)、多視圖關(guān)聯(lián)協(xié)同技術(shù)[1]。但對于一個(gè)具體的海洋領(lǐng)域可視分析系統(tǒng)而言,往往需要依據(jù)其特定的分析任務(wù)和用戶習(xí)慣來設(shè)計(jì)更恰當(dāng)?shù)慕换シ绞健?/p>
常用的交互方式有選擇、探索、抽象/具象、過濾、重配置、編碼、連接等。選擇是海洋數(shù)據(jù)可視分析系統(tǒng)中最常見的交互技術(shù),允許用戶在很多顯示項(xiàng)目中標(biāo)記感興趣的特定項(xiàng)目,選擇這些項(xiàng)目并跟蹤它們;探索允許用戶通過更改視圖來查看無法在視口或顯示屏上可視化的項(xiàng)目;抽象/具象可以幫助用戶查看不同級(jí)別的詳細(xì)信息,例如執(zhí)行各種聚合和匯總,實(shí)現(xiàn)對海洋數(shù)據(jù)的多尺度、多分辨率分析;過濾允許用戶查看指定范圍或條件的數(shù)據(jù)子集;重配置允許用戶更改可視化的空間排列,如排序、重對齊、重布局等常見交互類型,可查看多變量數(shù)據(jù)集在不同視角下的呈現(xiàn),以獲得更全面的認(rèn)識(shí);編碼允許用戶選擇不同的視覺通道(如顏色、大小、形狀等)來編碼多變量數(shù)據(jù)集的不同數(shù)據(jù)屬性,通過多種可視化的呈現(xiàn)獲得對數(shù)據(jù)的洞察;連接允許用戶查看海洋數(shù)據(jù)項(xiàng)之間的關(guān)聯(lián)和關(guān)系,或顯示與特定顯示項(xiàng)目相關(guān)的隱藏項(xiàng),例如多視圖中的刷取和高亮顯示,以及與單視圖中的高亮選中項(xiàng)關(guān)聯(lián)的其他條目[13]。但就目前海洋研究者日常使用的海洋數(shù)據(jù)分析工具來看,上述許多交互方式的實(shí)際使用率有待提升。
3.2.3海洋領(lǐng)域常用的分析方法
可視分析技術(shù)很好地融合了高效的計(jì)算分析方法和專家的經(jīng)驗(yàn)知識(shí),因而能更好地提高分析的效率和質(zhì)量。筆者基于海洋研究者日常不同的分析任務(wù),闡述海洋領(lǐng)域的常用計(jì)算分析方法。對于多種海洋環(huán)境要素特征分析以及多變量之間相關(guān)性分析,一方面,采用各種聚類、降維等數(shù)據(jù)約減的方法來降低數(shù)據(jù)的維度,如在海洋數(shù)據(jù)可視分析中經(jīng)常使用k均值聚類、自組織映射、主成分分析和多維尺度變換等降維方法;另一方面,回歸分析在探索數(shù)據(jù)變量的多元關(guān)系方面已經(jīng)顯示出良好的潛力,回歸和相關(guān)分析已經(jīng)與平行坐標(biāo)圖集成一種新技術(shù)——多維數(shù)據(jù)瀏覽器[13]。此外,可以基于改進(jìn)的Pearson相關(guān)系數(shù)和互信息相關(guān)性分析(mutualinformationcorrelationanalysis)方法分別檢測多變量間的線性和非線性相關(guān)性[12]。
對于海洋結(jié)構(gòu)(現(xiàn)象)識(shí)別與跟蹤的任務(wù),通常需要根據(jù)海洋結(jié)構(gòu)自身的物理特征進(jìn)行不同的檢測和使用不同的跟蹤算法。第一類方法使用聚類來實(shí)現(xiàn)對海洋結(jié)構(gòu)邊緣位置的識(shí)別,但聚類的簇?cái)?shù)設(shè)置會(huì)直接影響檢測結(jié)果的準(zhǔn)確性[14];第二類方法基于正交經(jīng)驗(yàn)?zāi)J椒纸狻⒅鞒煞址治觥⑿〔ǚ治龅瘸S玫臅r(shí)空模式檢測方法;第三類方法使用機(jī)器學(xué)習(xí)的決策樹和類比較等自動(dòng)數(shù)據(jù)挖掘技術(shù)進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的復(fù)雜時(shí)空模式檢測和分析[15]。此外,F(xiàn)ranzK等人[10]提出了一種深度學(xué)習(xí)的渦旋檢測和跟蹤框架,該框架結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)和特定的圖像處理工具,可以更客觀、更可靠地檢測和跟蹤渦旋?梢,結(jié)合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)進(jìn)行時(shí)空模式檢測正在成為大數(shù)據(jù)時(shí)代復(fù)雜數(shù)據(jù)分析的一個(gè)重要方向。
4可視分析技術(shù)在海洋領(lǐng)域
的應(yīng)用筆者嘗試在海洋領(lǐng)域使用可視分析技術(shù)分析復(fù)雜的海洋時(shí)空數(shù)據(jù),主要包括多元海洋時(shí)空數(shù)據(jù)可視分析、海洋結(jié)構(gòu)(現(xiàn)象)可視分析,并在此基礎(chǔ)上總結(jié)了海洋數(shù)據(jù)可視分析的基本框架。
4.1多元海洋時(shí)空數(shù)據(jù)可視分析
多元海洋時(shí)空數(shù)據(jù)可視分析通常研究多個(gè)不同的屬性值在時(shí)間和空間上的變化規(guī)律以及多變量間的相關(guān)性。
4.1.1海洋水文數(shù)據(jù)可視分析
為了探索海表溫度、鹽度、流速場以及海面高度等多元海洋要素的時(shí)空特征以及相關(guān)性,筆者設(shè)計(jì)了一個(gè)多元海洋數(shù)據(jù)時(shí)空特征及相關(guān)性分析系統(tǒng),系統(tǒng)包括用于數(shù)據(jù)導(dǎo)入、篩選和參數(shù)閾值設(shè)置的交互面板,海洋標(biāo)量顏色映射和二維箭頭矢量地圖,成對的標(biāo)量屬性統(tǒng)計(jì)散點(diǎn)圖,某網(wǎng)格點(diǎn)的垂向深度和時(shí)間上的屬性變化趨勢折線圖,展示多元海洋要素相關(guān)性的平行坐標(biāo)圖。除此之外,該系統(tǒng)還包括選擇、導(dǎo)航、編碼、視圖切換、抽象/具象、過濾和關(guān)聯(lián)等交互方式。
選取特定海域數(shù)據(jù)集進(jìn)行分析,利用該系統(tǒng)多個(gè)視圖交互聯(lián)動(dòng)的探索,分析海面高度與海平面速度矢量、海表溫度與海平面速度矢量、不同水深下鹽度場與海平面速度矢量的時(shí)空分布特征,以及海面高度與海溫、鹽度的相關(guān)性。分析發(fā)現(xiàn):海表溫度與速度矢量的關(guān)系比海面高度與速度矢量的關(guān)系弱,并且隨著水深的增加,速度矢量的分布并沒有太劇烈的變化;而鹽度場分布變化卻出現(xiàn)明顯的跳變(躍層),此處也是海水流動(dòng)相對劇烈的地方。此外,海表溫度和海面高度大體呈正相關(guān)的線性關(guān)系,而海面高度和鹽度的相關(guān)性不明顯。通過大量的案例研究,進(jìn)一步證明了該系統(tǒng)在探索多個(gè)海洋要素的相關(guān)性及其時(shí)空變化特征方面都有不錯(cuò)的性能。——論文作者:解翠1,李明悝2,陳萍1,李孝天1,宋鍵1,董軍宇1,趙佳萌1