科研進展

人工智能部在快照壓縮成像領域取得多項成果

2021-07-14 10:46 | 放大 縮小 |

  人工智能部楊小渝研究員博士生鄭巳明于近期取得多項學術成果,相關工作發表于Cell Press旗下期刊Patterns、SCI期刊《Photonics Research》。 

  原位電子顯微技術 (EM) 與超快探測器的發展為探索材料的動力學打開了一扇新的大門,然而,這也對透射電鏡大數據壓縮和存儲提出了巨大的挑戰。開發一種高效高保真的大數據壓縮策略對于推動透射電子技術的廣泛應用具有重要意義。本項工作發表于在Cell Press旗下期刊Patterns,題為“Super-compression of large electron microscopy time series by deep compressive sensing learning”的文章。在這一工作中, 作者結合深度學習(deep learning)和時間壓縮感知(temporal compressive sensing)提出一種新穎的 EM 大數據壓縮策略。具體而言,時間壓縮感知 (TCS) 首先用作編碼器,將多個幀壓縮為單幀測量,顯著降低了帶寬和數據傳輸、存儲的內存要求。然后構建端到端的深度學習網絡,以極高的速度從單幀測量中重建原始圖像系列。由于深度學習框架的壓縮效率和內置去噪能力比傳統的 JPEG 壓縮顯著提高,因此可以高保真地重建壓縮比高達30的原位系列圖像或視頻。使用這一策略可以節省大量的編碼能力、內存和傳輸帶寬。這一技術將有望在電鏡和其他成像技術的大數據存儲中獲得廣泛應用。 

  

  圖1. 用于大數據電子顯微鏡 (EM) 的時間壓感知-深度學習(TCS-DL) 框架結構 

  真實場景光譜豐富。自攝影誕生以來,捕捉顏色以及光譜信息一直是一個核心問題。我們提出了一種即插即用 (PnP) 方法,該方法使用基于深度學習的降噪器作為光譜快照壓縮成像 (SCI) 的正則化先驗。 我們的方法有效的權衡了壓縮圖像重建的質量和速度,并且可以靈活地用于不同的壓縮編碼機制。 這為在一個快照中捕獲和恢復多光譜或高光譜信息鋪平了道路,這可能會激發遙感、生物醫學科學和材料科學中有趣的應用。相關文章發表于SCI期刊《Photonics Research》,三年平均IF5.621,中科院分區:物理1Top. 

    圖2. 典型光譜 SCI 系統的圖像形成過程,即 SD-CASSI 和使用所提出的深度即插即用 (PnP) 先驗算法的重建過程 

  參考文獻: 

  1.Siming Zheng, Yang Liu, Ziyi Meng, Mu Qiao, Zhishen Tong, Xiaoyu Yang, Shensheng Han, and Xin Yuan, "Deep plug-and-play priors for spectral snapshot compressive imaging," Photon. Res. 9, B18-B29 (2021) 

  2.Zheng S, Wang C, Yuan X, et al. Super-compression of large electron microscopy time series by deep compressive sensing learning[J]. Patterns, 2021: 100292. 

附件下載
国产成人免费无庶挡视频