广东福彩网

基于迭代型形態成分分析的多聚焦圖像融合

作者:未知

  摘 要:為了提高多幅多聚焦圖像的融合質量,提出一種基于迭代型形態成分分析的特征加權融合算法。該方法利用形態成分分析正交性和稀疏性的特點,改進形成能夠有效對源圖像進行多尺度分解的迭代型形態成分分析方法;然后采用移動窗口計算方法對分解后的多尺度子圖提取四維特征向量,用以反映子圖的亮度、紋理規則性、光滑程度和隨機性。此外,提出以四維特征向量的特征值作為權值,設計適用于兩幅及以上多幅源圖情況下的以特征權重作為判別依據的融合規則,并運用這一規則對復合子圖進行逐層融合,最終通過多尺度逆變換得到融合圖像。實驗結果證明,與已有多尺度融合算法相比,新方法融合得到的圖像具有更好的主觀感受和更高的客觀評價指標值。
  關鍵詞:多幅多聚焦圖像融合;迭代型形態成分分析;特征提取;特征權重
  DOI:10. 11907/rjdk. 192035 開放科學(資源服務)標識碼(OSID):
  中圖分類號:TP317.4 文獻標識碼:A 文章編號:1672-7800(2020)005-0230-04
  0 引言
  隨著成像技術的日趨成熟,圖像在人們生產、生活中發揮著越來越重要的作用,已經成為表示、存儲信息的重要手段。圖像處理及機器視覺相關研究成為熱點問題[1-3]。然而實際視覺圖像采集過程中,光學成像系統因受景深的限制,在鏡頭聚焦范圍以外的物體不能清楚地成像,會影響圖像后續處理。一種方案是通過一系列深度計算解決這一問題,如對焦深度法[4]和離焦深度法等,但這些方法需要大量人工,用于反復對相機各機位及拍攝參數進行校準;另一種方案是多焦距圖像融合,即通過對同一場景以不同焦點部位進行多次拍攝,從諸多拍攝結果中取得清晰部分,融合成新的各處都清晰的新圖像。
  目前,多焦距圖像融合算法根據圖像處理域不同可分為兩類:空間域算法和變換域算法。第一類算法直接從源圖像獲取信息,將圖像分成若干區域,通過區域特征量度量對比度,選取對比度較高的區域形成融合結果。此類方法包括SF空間頻率算法(Spatial Frequency)[5]、EOG圖像梯度能量算法(Energy of Image Gradient)[6]、SML拉普拉斯能量和算法 (Sum-modified Laplacian)等,其優勢在于計算量小、效率高,但易導致融合結果的塊邊緣產生裂痕。第二類算法首先對源圖像進行域變換(多數變換方式具有多分辨率屬性),然后在不同層次的系數上選取清晰部分形成變換域上的融合結果,再通過逆變換還原融合圖像。常用的圖像變換方法有LP拉普拉斯金字塔算法 (Laplacian Pyramid)[7]、GRP梯度金字塔算法(Gradient Pyramid Transform)[8]、DWT離散小波變換算法(Discrete Wavelet Transform)[9]等。金字塔類算法的共性缺陷包括:無方向性、不穩定以及時常丟失高頻信息,這些缺陷導致多尺度子圖在重構結果中出現模糊現象。小波算法具有方向性、正交性等優勢,優于金字塔算法,但是也會存在混疊等問題,且小波基的選擇比較困難。
  本文為了改善多聚焦融合算法結果質量,提高融合精度和準確度,提出了一種基于形態成分分析(MCA)的AMCA迭代型形態成分分析方法(Alternately Morphological Component Analysis)。該方法解決了原形態成分分析分解后紋理層信息缺乏的問題,利用子圖像特征權重作為判別依據的融合規則也比常用的均值規則、最大值規則等更符合圖像融合要求,更多地保留了細節信息,減少了對比度的缺失。
  1 融合算法
  1.1 算法概述
  本文針對兩幅及以上多聚焦圖像融合問題提出了WFAMCA基于迭代型形態成分分析的特征加權融合算法 (Fusion Algorithm Based on Weighed Features Alternately Morphological Component Analysis)。該算法作為多尺度變換域融合算法的一種,主要包括解耦源圖獲得子圖集、從子圖集提取特征向量集、根據特征向量加權融合各層子圖、重構融合后的各層子圖還原融合圖像等4個步驟,如圖1所示。
  首先,對若干張源圖片應用改進后的迭代型形態成分分析算法AMCA,將Q幅源圖分解為Q個K層子圖集;然后對各層子圖集進行特征提取,得到[Q?K?4]的特征矩陣;再將特征矩陣作為融合規則的判別依據,完成不同源圖同層子圖的融合,得到K個融合后的子圖;最后,重構K層融合后的子圖,得到最終融合結果。
  1.2 圖像分解
  多尺度圖像分解通常采用金字塔算法或小波變換算法等,但是此類算法對于源圖像的分解過程都是用同一基函數分離并表示所有子信號,因此只有少量信號落在表示函數的坐標軸上,不利于信號分類處理。形態成分分析算法通過結合匹配追蹤算法[10]和基追蹤算法[11],針對不同類型的子信號用不同的基函數模擬表示,使得大部分信號信息落在坐標軸上,產生稀疏的原子表示集。MCA用一個迭代的閾值化解耦算法稀疏表示源信號分解后的若干子信號,能夠極大地提高分解質量[12]。
  形態成分分析算法用[L=Lt+Ln]線性表示源圖像,其中[Ln]為源圖像平滑層,[Lt]為源圖像紋理層。通過尋找能夠稀疏表示[Ln]的超完備字典[φn∈MN*qi],同時該[φn]對信號[St]求解式(1)無稀疏解,可以認為字典[φn]能夠從源圖像所有子信號中區別出信號[Ln]。同理,可找出能夠區分出紋理信號[Lt]的超完備字典[φt]。至此,MCA分解源圖像L信號層的問題轉化為式(2)求極稀疏解的問題。
  迭代型形態成分分析將源圖像假設為子信號線性迭代表示情況下的信號分解,實施過程主要包括:在下一級形態成分分析過程中使用上一級形態成分分析分解出的平滑層作為本級源圖像輸入,并保留各級分解的紋理層信息及最后一級分解出的平滑層信息作為后續圖像特征提取時的輸入。多級分解后的信號可表示為[(Lt?,Ln)][(?=1,2,3,?,K)],其中[?]為分解層數,[Ln]為第K層分解的平滑層子圖,即[LnK]。至此,源圖像信號被分解為K+1層子信號圖層。圖3展示了一組分解尺度K為4的迭代型形態成分分析分解實例。可以看到,與圖3(b)相比,圖3(f)的自然層更加平滑,紋理信息更少,邊緣和線條更為柔和,同時c、e、g層又比單獨的c層更完整地保留了大量高頻紋理信息。說明迭代型形態成分分析能夠將源圖像分解紋理層和平滑層剝離得更加徹底,從而取得待融合圖像的更多紋理信息,提升融合結果的準確性。   1.3 圖像融合
  分解后的子圖如果僅根據像素值應用于融合規則將存在較大誤差,因此對于多級分解得到的子圖集,在融合前需要進行特征提取工作。采用N*N的取樣窗口,從子圖左上角第一個像素點起作為窗口中心起點,按照由左至右、由上至下的順序遍巡整幅子圖。取樣窗口中心每移動一個像素點,則計算一次特征向量值作為該中心像素點的特征向量,最終可得一個二維特征矩陣,用于后續融合。本文以窗口中心像素為基準,選擇窗口內像素點灰度均值、窗口內像素點像素值平方差、窗口內像素的像素方差及灰度熵4個特征作為特征向量元素。其中,灰度均值對應圖像亮度指標;像素平方均值反映了窗口區域內圖像紋理的規則性;像素方差對應所選區域內圖像能量和光滑程度;灰度熵反映取樣窗口內像素的隨機性。如式(4)所示。
  傳統的變換域圖像融合算法對源圖像信號進行分解后,將絕對值最大/最小算法、均值算法等數學運算直接應用于子信號圖層的像素值上,這樣得到的融合結果缺乏具體的針對性,對圖像邊緣等特征的處理和對平滑自然信息的處理采用同一種方法不符合圖像的形成原理。本文對其進行改進,對包含不同類型信號的圖層采用基于特征矩陣的不同融合規則。
  平滑層包含信息量較多,因此本文對于平滑層的自然信息設計了以特征向量作為權值的加權圖像融合規則。以平滑層子圖特征向量和決定該平滑層子圖的像素最終融合比例,如式(5)所示。
  最后通過分解的逆過程重構,將融合后的子圖層[pt?x,y,pnx,y][?=1,2,3,?,K]重構得到融合結果。本文融合規則適用于兩幅及多幅源圖情況下的多聚焦圖像融合問題,突破了早期融合規則適用于AB兩幅源圖融合的局限性。
  2 實驗結果
  本文算法參數設置取分解系數K=3,源圖像個數R=2,取樣窗口N=3,實驗環境選擇MATLAB R2009a,取以下4組多聚焦圖像組合并用本文WFAMCA算法融合結果進行展示,如圖4所示。這4組圖均是對同一場景的不同物體進行對焦,圖4(a)組相機聚焦在畫面左側景物,圖4(b)組聚焦在畫面右側景物,未對焦的部分因物理相機景深限制呈現模糊狀態,分別將圖4中的(a)(b)兩組圖像作為本文融合算法的源文件輸入,得到圖4(c)為本文算法融合效果直觀圖。為了表述清晰,4組圖像分別命名為熱氣球、教室、盆栽、雜志,可以看到對比(a)(b)組中各自模糊部分,(c)組左右兩側都能清晰呈像。
  圖4展示了本文算法在主觀標準方面的融合優勢,為進一步對比本文算法優勢,選取4個具有代表性的算法融合結果與之比較,以展現本文算法客觀指標方面的優勢。用于比較的4種融合算法分別是:GRP梯度金字塔算法、MP形態金字塔算法(Morphological Pyramid based Algorithm)[13]、FSD抽樣濾波器層次金字塔算法(Hierarchical Pyramid based Algorithm)[14]和DWT D樣條曲線小波變換算法(Discrete Wavelet Transform with Daubechies Spline Wavelet based algorithm) [15] 。本文選擇5個用于量化客觀圖片融合效果好壞的比較指標,分別是PSNR峰值信噪比[16]、MI互信息、SSIMF結構相似指標、(Q,[QW])Piella指標[17]。
  3 結語
  本文提出了一種用于兩幅及以上多聚焦源圖的基于迭代型形態成分分析的圖像融合算法。迭代型形態成分分析作為建立在形態成分分析之上的盲源信號分解方法,既避免了圖像域方法會產生塊效應的缺點,又克服了變換域方法基函數單一、固定的缺點。同時改善了形態成分分析分解圖像信號分離不徹底、紋理層信息不全的情況,使得對源圖像分解后的信息之間耦合度更低。本融合算法的另一個特點在于融合過程不是使用傳統的絕對值最大法、平均法等,而是先從分解后的多尺度子圖上提取重要的圖像特征,再根據子圖特點進行融合,該融合規則更符合人眼的視覺機制,并適用于多幅源圖的融合場景。實驗結果也證明該方法具有較好的融合表現。在未來研究中希望能提高算法的分解與融合速度,并將融合算法擴展至其它涉及圖像融合的領域。
  參考文獻:
  [1] 石桂名,魏慶濤,孟繁盛. 基于Canny 算子的圖像邊緣檢測算法[J]. 現代電子技術, 2015,38(12): 92-93.
  [2] 袁小翠,吳祿慎,陳華偉. 基于Otsu 方法的鋼軌圖像分割[J]. 光學精密工程, 2016,24(7): 1772-1781.
  [3] 崔笑宇,趙越,范群安,等. 單目立體視覺系統的棱鏡位置估計[J]. 東北大學學報(自然科學版), 2015,36(6): 765-768.
  [4] 陳健,王靈陽,陳德全,等. 基于對焦深度法的光學顯微鏡系統設計[J]. 應用光學,2017,38(6):979-984.
  [5] JINJU J, SANTHI N, RAMAR K,et al.Spatial frequency discrete wavelet transform image fusion technique for remote sensing applications[J].  Engineering Science and Technology, an International Journal, 2019.
  [6] TANG H, XIAO B, LI W, et al. Pixel convolutional neural network for multi-focus image fusion[J]. Information Sciences, 2018, 433: 125-141.
  [7] DU J, LI W, XIAO B, et al. Union Laplacian pyramid with multiple features for medical image fusion[J]. Neurocomputing, 2016,194: 326-339.   [8] MAHFOOZ O, SHAH A. Revisiting far/near infrared pyramid-based fusion types for night vision using Matlab[J]. Pakistan Journal of Engineering, Technology & Science, 2015, 1(1).
  [9] GURUPRASAD S, KURIAN M Z, SUMA H N. A medical multi-modality image fusion of CT/PET with PCA, DWT methods[J]. Journal of Dental Materials & Techniques, 2013,4(2):677-681.
  [10] 廖瑞華,李勇帆,劉宏. 基于穩健主成分分析與核稀疏表示的人臉識別[J]. 計算機工程,2016,42(2):200-205.
  [11] 申婧妮,王慧琴,吳萌,等. MCA 分解的唐墓室壁畫修復算法[J]. 計算機科學與探索,2017,11(11):1826-1836.
  [12] LI X,WANG L,WANG J,et al. Multi-focus image fusion algorithm based on multilevel morphological component analysis and support vector machine[J]. IET Image Processing,2017,11(10): 919-926.
  [13] ZHANG Y,BAI X,WANG T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J].  Information fusion, 2017, 35: 81-101.
  [14] CHEN Y,SANG N. Attention-based hierarchical fusion of visible and infrared images[J]. Optik, 2015,126(23): 4243-4248.
  [15] MISHRA D, PALKAR B.Image fusion techniques: a review[J]. International Journal of Computer Applications, 2015,130(9): 7-13.
  [16] 楊艷春,李嬌,王陽萍. 圖像融合質量評價方法研究綜述[J]. 計算機科學與探索,2018,12(7):1021-1035.
  [17] 張小利,李雄飛,李軍. 融合圖像質量評價指標的相關性分析及性能評估[J]. 自動化學報,2014,40(2): 306-315.
  (責任編輯:孫 娟)
轉載注明來源:http://588tuan.com/8/view-15254806.htm

服務推薦

? 吉林体彩网-Home 吉林福彩网-广东福彩网 湖北体彩网-推荐 湖北福彩网-官网 江西体彩网-欢迎您 江西福彩网-安全购彩 安徽体彩网-Welcome 安徽福彩网-Home 天津体彩网-广东福彩网 天津福彩网-推荐