發(fā)布時(shí)間：所屬分類(lèi)：科技論文瀏覽：1次
摘 要： 摘要：大規(guī)模的模擬和傳感器設(shè)備陣列與現(xiàn)今日益龐大的計(jì)算資源相結(jié)合，產(chǎn)生了海量的復(fù)雜高維數(shù)據(jù)集，這些數(shù)據(jù)集應(yīng)用在眾多領(lǐng)域的研究中。與此同時(shí)，計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域的研究者們?nèi)〉昧嗽S多重大突破，尤其是卷積神經(jīng)網(wǎng)絡(luò)近年來(lái)在該領(lǐng)域取得的成就尤為
摘要：大規(guī)模的模擬和傳感器設(shè)備陣列與現(xiàn)今日益龐大的計(jì)算資源相結(jié)合，產(chǎn)生了海量的復(fù)雜高維數(shù)據(jù)集，這些數(shù)據(jù)集應(yīng)用在眾多領(lǐng)域的研究中。與此同時(shí)，計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域的研究者們?nèi)〉昧嗽S多重大突破，尤其是卷積神經(jīng)網(wǎng)絡(luò)近年來(lái)在該領(lǐng)域取得的成就尤為突出。文章將高維數(shù)據(jù)應(yīng)用于深度卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)實(shí)驗(yàn)與分析比對(duì)，證明高維數(shù)據(jù)應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)中的可能性。
關(guān)鍵詞：數(shù)據(jù)可視化,深度學(xué)習(xí),卷積神經(jīng)網(wǎng)絡(luò),計(jì)算機(jī)視覺(jué)
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)分支，起源于人工智能領(lǐng)域，其起源可以追溯到1980年提出的新認(rèn)知機(jī)[1]概念，而現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)得以發(fā)展離不開(kāi)向后傳播算法[2]的提出，現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)基本上都使用反向傳播(BackPropagation，BP)算法進(jìn)行訓(xùn)練。之后很長(zhǎng)一段時(shí)間內(nèi)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練由于BP神經(jīng)網(wǎng)絡(luò)模型帶來(lái)的梯度彌散(GradientDiffusion)，直到Hinton[3]在2006年提出的逐層訓(xùn)練方法才重新將人們的目光轉(zhuǎn)向深度神經(jīng)網(wǎng)絡(luò)。
隨著近年傳感器技術(shù)發(fā)展以及越來(lái)越強(qiáng)大越來(lái)越容易獲取的計(jì)算資源，出現(xiàn)了許多復(fù)雜高維數(shù)據(jù)集。在這一類(lèi)數(shù)據(jù)集上使用淺層機(jī)器學(xué)習(xí)模型的表現(xiàn)通常會(huì)變差。例如K近鄰(K-NearsertNeighbor，KNN)學(xué)習(xí)是一種常用的監(jiān)督學(xué)習(xí)方法，常用于分類(lèi)問(wèn)題，其工作機(jī)制非常簡(jiǎn)單;給定測(cè)試樣本，基于某種距離度量找出訓(xùn)練集中與其最靠近的K個(gè)訓(xùn)練樣本，然后基于這K個(gè)近鄰的信息來(lái)進(jìn)行預(yù)測(cè)。
在模式識(shí)別領(lǐng)域中，最近鄰居法是一種用于分類(lèi)和回歸的非參數(shù)統(tǒng)計(jì)學(xué)方法。在這兩種情況下，輸入包含特征空間中的K個(gè)最接近的訓(xùn)練樣本。近年來(lái)，計(jì)算機(jī)視覺(jué)領(lǐng)域取得許多引人注目的成果，尤其是卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks，CNNs)在分類(lèi)、目標(biāo)檢測(cè)問(wèn)題上取得了優(yōu)異成績(jī)。因此，本文通過(guò)對(duì)比K近鄰模型與卷積神經(jīng)網(wǎng)絡(luò)在高維度數(shù)據(jù)集上的表現(xiàn)，證明卷積神經(jīng)網(wǎng)絡(luò)處理高維數(shù)據(jù)集有優(yōu)異的性能。
1模型選取及構(gòu)建
在機(jī)器學(xué)習(xí)的模型上，選取了具有代表性的KNN模型作為淺層機(jī)器學(xué)習(xí)模型的代表。卷積神經(jīng)網(wǎng)絡(luò)方面，構(gòu)建了2個(gè)卷積神經(jīng)網(wǎng)絡(luò)的模型作為卷積神經(jīng)網(wǎng)絡(luò)對(duì)比項(xiàng)。
1.1ResNet50-mini
使用了基于ResNet50[4]裁剪后的迷你版作為實(shí)驗(yàn)的第一階段的卷積神經(jīng)網(wǎng)絡(luò)模型，在卷積層尺度上進(jìn)行相應(yīng)縮小。使用殘差網(wǎng)絡(luò)隨著深度增加，準(zhǔn)確度也會(huì)隨之增加。其中Conv2，Conv3，Conv4，Conv5層均是由殘差塊組成的一系列卷積層池化層。如表1所示，基于RestNet50層模型修改而來(lái)的縮小版的架構(gòu)，我們稱之為ResNet50-mini。1.26層CNN對(duì)于實(shí)驗(yàn)第二階段使用了一個(gè)6層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由1層卷積層、1層池化層、4層全連接層組成。
2實(shí)驗(yàn)
實(shí)驗(yàn)主要分為兩個(gè)階段：第一階段，對(duì)比KNN與ResNet50-mini在同一數(shù)據(jù)集以及相同劃分下對(duì)分類(lèi)任務(wù)的準(zhǔn)確度。第二階段，對(duì)比KNN與6層卷積神經(jīng)網(wǎng)絡(luò)在統(tǒng)一數(shù)據(jù)以及同一劃分下對(duì)分類(lèi)任務(wù)的準(zhǔn)確度，來(lái)獲得更具有普遍性的結(jié)論。
2.1實(shí)驗(yàn)階段一
2.1.1實(shí)驗(yàn)數(shù)據(jù)選擇與處理
實(shí)驗(yàn)階段一使用的數(shù)據(jù)集為加州大學(xué)歐文(爾灣)分校(UniversityofCaliforniaIrvine，UCI)的可穿戴計(jì)算體態(tài)運(yùn)動(dòng)分類(lèi)數(shù)據(jù)集[5]。此數(shù)據(jù)集一共有18列，165632條數(shù)據(jù)，使用4個(gè)三軸加速傳感器記錄了8h的活動(dòng)數(shù)據(jù)，將活動(dòng)分為5類(lèi)(坐，坐下，站立，站起，行走)。將數(shù)據(jù)集按1∶4比例隨機(jī)劃分訓(xùn)練集以及測(cè)試集，訓(xùn)練集為124224條數(shù)據(jù)測(cè)試集有41409條數(shù)據(jù)。選取年齡、身高、體重、BMI指數(shù)、4個(gè)三軸傳感器數(shù)據(jù)，一共16列作為特征值�？纱┐饔�(jì)算體態(tài)分類(lèi)數(shù)據(jù)集各列數(shù)據(jù)類(lèi)型如表2所示。
如圖2所示，這兩張的4×4大小的灰階圖片都包含著可以用來(lái)判斷體態(tài)行為的所有數(shù)據(jù)。雖然通過(guò)肉眼看上去，這兩張圖片好像有著很大的差異，但是事實(shí)上，這兩張圖片所表示的數(shù)據(jù)都屬于同一類(lèi)體態(tài)。KNN算法在此數(shù)據(jù)集上的表現(xiàn)為99.54%的準(zhǔn)確率。
2.1.2訓(xùn)練ResNet50-mini模型
使用ResNet50-mini模型，模型使用的優(yōu)化算法為Adam算法[6]，損失函數(shù)為多類(lèi)交叉熵(categoricalcrossentropy)函數(shù)。如圖3所示，ResNet50-mini經(jīng)過(guò)10個(gè)Epoch的訓(xùn)練損失和準(zhǔn)確率的變化情況�？梢灾庇^地看到，損失下降得很快，隨著損失的快速下降，訓(xùn)練集的準(zhǔn)確率也在不斷提升。經(jīng)過(guò)1000個(gè)Epoch的訓(xùn)練，ResNet50-mini在測(cè)試集上的分類(lèi)精度達(dá)到了99.56%。
2.2實(shí)驗(yàn)階段二
2.2.1實(shí)驗(yàn)數(shù)據(jù)選擇與處理
實(shí)驗(yàn)階段二使用的數(shù)據(jù)維數(shù)較實(shí)驗(yàn)階段一使用的數(shù)據(jù)更為龐大。選用的數(shù)據(jù)集為NIPS2003特征選取挑戰(zhàn)賽中5個(gè)數(shù)據(jù)集之一的Arcene數(shù)據(jù)集[7]。Arcene數(shù)據(jù)集的任務(wù)是使用大量的質(zhì)譜數(shù)據(jù)分辨目標(biāo)是否患有癌癥。Arcene數(shù)據(jù)集一共包含有900條數(shù)據(jù)訓(xùn)練集、驗(yàn)證集、測(cè)試集分別來(lái)自3個(gè)不同的來(lái)源。其中訓(xùn)練集、驗(yàn)證集各100條數(shù)據(jù)，測(cè)試集700條數(shù)據(jù)，但未給出標(biāo)注。選取ml-benchmarks中的已標(biāo)注的100條數(shù)據(jù)作為測(cè)試集。其中，每條數(shù)據(jù)有10000個(gè)特征。
如圖4所示，這是Arcene數(shù)據(jù)集中一條數(shù)據(jù)展開(kāi)成100×100大小矩陣所轉(zhuǎn)化成的灰度圖片。與實(shí)驗(yàn)階段一不同的是，通過(guò)肉眼已經(jīng)無(wú)法看出其中存在的模式。2.2.2訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)將數(shù)據(jù)集中的測(cè)試集、驗(yàn)證集與驗(yàn)證集合并，并隨機(jī)劃分為270條數(shù)據(jù)為訓(xùn)練集，30條數(shù)據(jù)為測(cè)試集。本階段實(shí)驗(yàn)選取的模型為4層卷積神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)如圖1所示，訓(xùn)練中使用的優(yōu)化算法為Adam算法，損失函數(shù)為多類(lèi)交叉熵(categoricalcrossentropy)函數(shù)。
如圖5所示，ARCENE數(shù)據(jù)集在6層卷積神經(jīng)網(wǎng)絡(luò)上的訓(xùn)練情況可以看出，雖然一開(kāi)始損失很大，但是隨著訓(xùn)練的時(shí)間開(kāi)始快速下降，100個(gè)Epoch訓(xùn)練后分類(lèi)準(zhǔn)確度達(dá)到69.99%。
2.3實(shí)驗(yàn)結(jié)果
在實(shí)驗(yàn)階段一中，KNN在UCI可穿戴體態(tài)分類(lèi)數(shù)據(jù)集上進(jìn)行多分類(lèi)任務(wù)準(zhǔn)確度可以達(dá)到99.54%，而卷積神經(jīng)網(wǎng)絡(luò)ResNet50-mini在這一任務(wù)上的表現(xiàn)則為99.56%。階段二中，KNN在ARCENE數(shù)據(jù)集上的表現(xiàn)為53.33%，而6層卷積神經(jīng)網(wǎng)絡(luò)在這一任務(wù)上可以達(dá)到69.99%的準(zhǔn)確度。實(shí)驗(yàn)結(jié)果如表3所示，無(wú)論在ResNet50-mini這樣深度較大的神經(jīng)網(wǎng)絡(luò)或是一個(gè)6層卷積神經(jīng)網(wǎng)絡(luò)，對(duì)高維數(shù)據(jù)集的分類(lèi)任務(wù)都有著優(yōu)異的表現(xiàn)。
3結(jié)語(yǔ)
經(jīng)過(guò)兩個(gè)階段的實(shí)驗(yàn)，可以直觀地看出深度卷積神經(jīng)網(wǎng)絡(luò)在提取高維數(shù)據(jù)集特征以及處理分類(lèi)任務(wù)上有著優(yōu)異的表現(xiàn)，取得了普通淺層機(jī)器學(xué)習(xí)模型難以達(dá)到的成績(jī)。通過(guò)淺層機(jī)器學(xué)習(xí)模型來(lái)處理這一類(lèi)高維數(shù)據(jù)集的分類(lèi)問(wèn)題是有一定難度的，通常需要消耗大量的時(shí)間來(lái)預(yù)處理數(shù)據(jù)或使用一些方法來(lái)降低維度。而卷積神經(jīng)網(wǎng)絡(luò)在關(guān)于圖片視頻的計(jì)算機(jī)視覺(jué)問(wèn)題上擁有的優(yōu)勢(shì)可以運(yùn)用在傳統(tǒng)的高維數(shù)據(jù)集中[8]。實(shí)驗(yàn)表明，對(duì)于高維數(shù)據(jù)集，深度卷積神經(jīng)網(wǎng)絡(luò)往往有著比KNN更優(yōu)異的性能。通過(guò)較短時(shí)間的訓(xùn)練，對(duì)于高維數(shù)據(jù)集的分類(lèi)問(wèn)題上能夠達(dá)到較KNN更高的準(zhǔn)確度。
[參考文獻(xiàn)]
[1]FUKUSHIMAK.Neocognitron:aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition[J].BiologicalCybernetics，1980(4)：193-202.
[2]WERBOSP.Beyondregression:newtoolsforpredictionandanalysisinthebehavioralscience[D].Massachusetts：HarvardUniversity，1974.
[3]HINTONGE，SALAKHUTDINOVRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science，2006(5786)：504-507.
