2023.03.13

什麼是高光譜

前言

自動光學檢測(Automated Optical Inspection, AOI)透過機器視覺進行瑕疵檢測,近年來人工智慧(Artificial Intelligence, AI )的興起,透過機器學習進行自動光學檢測已成為顯學,可大幅提升檢測速度與效率,然而有許多瑕疵是與成份相關的,或是檢測物發生質變,用一般的彩色相機難以辨識。此時,透過不同波長的”眼睛”才能看見肉眼無法看見的瑕疵,將高光譜影像技術導入自動光學檢測將會是絕佳的利器。目前,整合視覺系統並依據光譜特徵分類,在離線時訓練模型後將模型導入即時線上分選的解決方案已經問世,期待能應用在更多的行業,達到智慧自動化的目標。本文將闡述高光譜影像原理與運作方式,並透過案例分享讓讀者能夠更清楚了解此技術的潛力。

何謂光譜

光經由色散裝置(如稜鏡、光柵)分光後形成單色光排列的光帶,按照波長(或頻率)的大小順次排列形成的圖案。

光的波段範圍,一般而言,可分為紫外光,可見光與紅外光

  • 紫外光可分為UVA(320-400nm), UVB(280-320nm), UVC(100-280nm)
  • 可見光:380-780nm
  • 紅外光可分為VNIR (400-1000nm)、NIR (900-1700nm)、SWIR(1000-2500nm)、MWIR (3-5μm)、LWIR (8-14μm)
圖一 電磁波頻譜
何謂高光譜

高光譜精確地說應為高光譜影像(Hyperspectral imaging, HSI),常泛指為光譜影像(spectral imaging),光譜影像為X-Y平面影像上每個畫素點的光譜,光譜影像按波段數目多寡可分為多光譜影像(multi-spectral imaging,數個至幾十個波長資料)與高光譜影像(Hyper-spectral imaging,超過100個至數百個波長資料)。

光譜影像與一般影像比較
  • 黑白灰階影像:可以獲得2維影像與每個畫素點的強度
  • 彩色影像:可以獲得2維影像與每個畫素點在R、G、B三個顏色上的強度
  • 多光譜影像:可以獲得2維影像與每個畫素點在不同波長(數個至幾十個)上的強度(也就是每個畫素點的光譜資訊)
  • 高光譜影像:可以獲得2維影像與每個畫素點在不同波長(數百個)上的強度(也就是每個畫素點的光譜資訊)
圖二 光譜影像與一般影像比較
為何需要高光譜影像

光譜影像也就是化學影像,由於不同材料特定的化學鍵結,可用來偵測個別材料獨特的特徵,也就是物質的“指紋,透過光譜特徵可以讓我們了解物質的特性,可進一步進行不同材料辨識、瑕疵檢測、品質檢驗、病蟲害檢測…等各種不同的應用。

圖三 不同的水果化學成分不同,顯現各自獨特的光譜特徵
如何獲得光譜影像

光譜影像是2維影像與每個畫素點在不同波長(數百個)上的強度(也就是每個畫素點的光譜資訊),也就是2維空間軸與1維波長軸所組成的資料,稱之為資料立方(data cube)。

圖四 以不同擷取方式獲得光譜影像

光譜影像依不同的擷取方法可分為以下四類:

1. 單點光譜儀進行2維空間掃描(掃描整個平面)

圖五 2維空間掃描

2. 單波長影像進行波長掃描
在特定波長下成像於面型感測器,再透過可調式濾光片(tunable filter)進行波長掃描取得許多不同波長的單波長影像。

圖六 波長掃描

3. 推掃式(push broom)高光譜相機進行1維空間掃描(線掃描)

圖七 線掃描
圖八 推掃式光譜相機構造

如圖八所示,由入口狹縫(entrance slit)擷取空間中一條線的光,經過光柵分光成像於面型感測器,此時的”像”為這一條線上每個點的光譜,一軸為空間軸(Y軸)另一軸為光譜軸(或波長軸),最後經由目標物在垂直於狹縫的方向(X軸)掃描即可獲得整個面的光譜


4. 快照式光譜相機

圖九 快照式,不需掃描

圖九 微型光譜濾鏡貼合於感測器每個畫素點,有馬賽克樣式與瓷磚樣式

快照式光譜相機,透過許多極小的不同波長濾光片貼合於2維感測器前,可一次擷取2維空間與1維波長的光譜影像,優點是無需掃描獲得即時的光譜影像,適合觀察具動態變化的場景,缺點是必須犧牲解析度,無論式空間解析度或波長解析度。

高光譜影像分析

如前面所述,高光譜影像是由2維空間與1維光譜所組成的資料立方(data cube)屬於高維度資料與一般的影像資料不同,龐大的資料量如果沒有經過適當的處理,將造成效能降低反而失去了豐富的光譜資訊的意義,為了處理這樣的高維度資料,特徵提取(feature extraction)成為高光譜影像資料處理必要的工作。更進一步來說,透過適當的演算法將高光譜影像資料可對目標物進行偵測、分類甚至分級、分選。

高光譜影像的應用

食品業

肉品檢測
是否有異物侵入(如骨頭塑膠木材橡膠金屬),亦可以測量化學成分如脂肪、蛋白質、水分含量…等


堅果檢測
辨識並移除外來物像是果殼木頭石頭與昆蟲,光譜影像能辨識不同的堅果種類像是杏仁、腰果、核桃、開心果、花生…等


智慧農業

白米品質檢測
將高光譜影像在VNIR連續波段資訊應用於白米品質篩選,可取代傳統人力辨別的主觀影響,並提供快速檢驗、視覺化與數據化的客觀結果。


工業應用

顯示器面板量測
使用LED backlight的 LCD 面板光譜量測,透過x20工業顯微鏡放大檢視並量測手機面板上每一畫素的主波長、峰波長、半波寬等訊號,可應用於未來micro-LED面板檢測相關開發。


美容/生醫

高光譜影像血管偵測
血氧濃度為含氧血紅素占總血紅素的比例,而含氧血紅素與缺氧血紅素對不同波長的光吸收率不同(光譜特徵),因此可利用皮膚反射率影像進行血管偵測,進而計算血氧濃度,可作為血氧相關疾病的研究工具


黃金奈米載體暗場觀測
利用Snapscan VNIR高光譜相機結合暗場顯微鏡(Dark Field Microscope)獲取細胞及黃金奈米粒子散射光。並透過奈米材料散射光變化,以體外實驗分析材料的細胞代謝週期、尺寸結構變化等等。可應用於生醫材料的材料確效、穩定性測試、生物半衰期等研究。

與中原大學合作研究室提供之60-100nm混合黃金奈米粒子[60-100nm AuNP]進行觀測,透過散射光譜變化推定材料尺寸大小。

藥品分檢

機器視覺結合AI人工智慧將高光譜影像平台導入製藥生產檢測

檢測片劑的化學均勻性和成分特異性,顆粒尺寸,活性成分和塊狀物分佈 。
藥片在塑膠袋中,透過對 NIR 圖像的分析可以輕鬆的識別。

環保

回收和廢棄物管理 (塑膠回收再利用)
不同材質的塑膠在紅外波段有獨特的光譜特徵,高光譜影像可以利用這些特徵進行辨識而不受其顏色影響,這是人眼或一般彩色相機無法辦到的。為因應大量的分類需求,以適當的波段選擇可進行高速的線上分類,可大幅減少人力成本提升檢測效率。

循環經濟

紡織品回收再利用

不同材質紡織品的紅外光譜

近年來全球紡織品消費量成長快速,2015年全球纖維消費量約9,600萬噸,到2050年將增至2.57億噸,歐盟並要求成員國從2025年開始進行紡織品專門回收。不同材質的紡織品在近紅外波段有各自獨特的光譜特徵,使用高光譜相機 搭配適合的演算法,讓我們可以無論是在小型地方回收站篩選,或是在大型回收工廠進行高速分選,都能夠有效率地完成。

回收站
線上分揀站

藝術品/古物鑑定

以先進的高光譜成像(HSI)技術來鑑識珍貴文物,就像踏入時光機,可以分析一個簽名所使用的顏料、及分析底圖來揭示藝術家的作畫初衷和筆觸風格,在不接觸和不損壞文物情況下達成。

透過紅外高光譜影像,可以看見在彩色顏料下的底稿以及不同塗層的樣貌

透由高光譜 SAM 演算法計算所得的鈷藍分佈圖 (在影像中的白色部分)