機(jī)器視覺系統(tǒng)

　　視覺系統(tǒng)就是用機(jī)器代替人眼來(lái)做測(cè)量和判斷。視覺系統(tǒng)是指通過機(jī)器視覺產(chǎn)品（即圖像攝取裝置，分 CMOS 和CCD 兩種）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。是用于生產(chǎn)、裝配或包裝的有價(jià)值的機(jī)制。它在檢測(cè)缺陷和防止缺陷產(chǎn)品被配送到消費(fèi)者的功能方面具有不可估量的價(jià)值。

　　機(jī)器視覺系統(tǒng)的特點(diǎn)是提高生產(chǎn)的柔性和自動(dòng)化程度。在一些不適合于人工作業(yè)的危險(xiǎn)工作環(huán)境或人工視覺難以滿足要求的場(chǎng)合，常用機(jī)器視覺來(lái)替代人工視覺；同時(shí)在大批量工業(yè)生產(chǎn)過程中，用人工視覺檢查產(chǎn)品質(zhì)量效率低且精度不高，用機(jī)器視覺檢測(cè)方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動(dòng)化程度。而且機(jī)器視覺易于實(shí)現(xiàn)信息集成，是實(shí)現(xiàn)計(jì)算機(jī)集成制造的基礎(chǔ)技術(shù)。可以在最快的生產(chǎn)線上對(duì)產(chǎn)品進(jìn)行測(cè)量、引導(dǎo)、檢測(cè)、和識(shí)別，并能保質(zhì)保量的完成生產(chǎn)任務(wù)。

　　一個(gè)典型的機(jī)器視覺系統(tǒng)包括以下五大塊：

　　照明是影響機(jī)器視覺系統(tǒng)輸入的重要因素，它直接影響輸入數(shù)據(jù)的質(zhì)量和應(yīng)用效果。由于沒有通用的機(jī)器視覺照明設(shè)備，所以針對(duì)每個(gè)特定的應(yīng)用實(shí)例，要選擇相應(yīng)的照明裝置，以達(dá)到最佳效果。光源可分為可見光和不可見光。常用的幾種可見光源是白幟燈、日光燈、水銀燈和鈉光燈?？梢姽獾娜秉c(diǎn)是光能不能保持穩(wěn)定。如何使光能在一定的程度上保持穩(wěn)定，是實(shí)用化過程中急需要解決的問題。另一方面，環(huán)境光有可能影響圖像的質(zhì)量，所以可采用加防護(hù)屏的方法來(lái)減少環(huán)境光的影響。照明系統(tǒng)按其照射方法可分為：背向照明、前向照明、結(jié)構(gòu)光和頻閃光照明等。其中，背向照明是被測(cè)物放在光源和攝像機(jī)之間，它的優(yōu)點(diǎn)是能獲得高對(duì)比度的圖像。前向照明是光源和攝像機(jī)位于被測(cè)物的同側(cè)，這種方式便于安裝。結(jié)構(gòu)光照明是將光柵或線光源等投射到被測(cè)物上，根據(jù)它們產(chǎn)生的畸變，解調(diào)出被測(cè)物的三維信息。頻閃光照明是將高頻率的光脈沖照射到物體上，攝像機(jī)拍攝要求與光源同步。

　　FOV（Field of Vision）=所需分辨率*亞象素*相機(jī)尺寸/PRTM（零件測(cè)量公差比）

　　鏡頭選擇應(yīng)注意：

　?、俳咕啖谀繕?biāo)高度 ③影像高度 ④放大倍數(shù) ⑤影像至目標(biāo)的距離 ⑥中心點(diǎn) /節(jié)點(diǎn)⑦畸變

　　視覺檢測(cè)中如何確定鏡頭的焦距

　　為特定的應(yīng)用場(chǎng)合選擇合適的工業(yè)鏡頭時(shí)必須考慮以下因素：

　　· 視野 - 被成像區(qū)域的大小。

　　· 工作距離 (WD) - 攝像機(jī)鏡頭與被觀察物體或區(qū)域之間的距離。

　　· CCD - 攝像機(jī)成像傳感器裝置的尺寸。

　　· 這些因素必須采取一致的方式對(duì)待。如果在測(cè)量物體的寬度，則需要使用水平方向的 CCD 規(guī)格，等等。如果以英寸為單位進(jìn)行測(cè)量，則以英尺進(jìn)行計(jì)算，最后再轉(zhuǎn)換為毫米。

　　參考如下例子：有一臺(tái) 1/3” C 型安裝的 CDD 攝像機(jī)（水平方向?yàn)?4.8 毫米）。物體到鏡頭前部的距離為 12”（305 毫米）。視野或物體的尺寸為2.5”（64 毫米）。換算系數(shù)為 1” = 25.4 毫米（經(jīng)過圓整）。

　　FL = 4.8 毫米 x 305 毫米 / 64 毫米

　　FL = 1464 毫米 / 64 毫米

　　FL = 按 23 毫米鏡頭的要求

　　FL = 0.19” x 12” / 2.5”

　　FL = 2.28” / 2.5”

　　FL = 0.912” x 25.4 毫米/inch

　　FL = 按 23 毫米鏡頭的要求

　　注：勿將工作距離與物體到像的距離混淆。工作距離是從工業(yè)鏡頭前部到被觀察物體之間的距離。而物體到像的距離是 CCD 傳感器到物體之間的距離。計(jì)算要求的工業(yè)鏡頭焦距時(shí)，必須使用工作距離

　　按照不同標(biāo)準(zhǔn)可分為：標(biāo)準(zhǔn)分辨率數(shù)字相機(jī)和模擬相機(jī)等。要根據(jù)不同的實(shí)際應(yīng)用場(chǎng)合選不同的相機(jī)和高分辨率相機(jī)：線掃描CCD和面陣CCD；黑白相機(jī)和彩色相機(jī)。

　　圖像采集卡只是完整的機(jī)器視覺系統(tǒng)的一個(gè)部件，但是它扮演一個(gè)非常重要的角色。圖像采集卡直接決定了攝像頭的接口：黑白、彩色、模擬、數(shù)字等等。

　　比較典型的是PCI或AGP兼容的捕獲卡，可以將圖像迅速地傳送到計(jì)算機(jī)存儲(chǔ)器進(jìn)行處理。有些采集卡有內(nèi)置的多路開關(guān)。例如，可以連接8個(gè)不同的攝像機(jī)，然后告訴采集卡采用那一個(gè)相機(jī)抓拍到的信息。有些采集卡有內(nèi)置的數(shù)字輸入以觸發(fā)采集卡進(jìn)行捕捉，當(dāng)采集卡抓拍圖像時(shí)數(shù)字輸出口就觸發(fā)閘門。

　　視覺處理器

　　視覺處理器集采集卡與處理器于一體。以往計(jì)算機(jī)速度較慢時(shí)，采用視覺處理器加快視覺處理任務(wù)。由于采集卡可以快速傳輸圖像到存儲(chǔ)器，而且計(jì)算機(jī)也快多了，所以視覺處理器用的較少了。

　　在機(jī)器視覺系統(tǒng)中，獲得一張高質(zhì)量的可處理的圖像是至關(guān)重要。系統(tǒng)之所以成功，首先要保證圖像質(zhì)量好，特征明顯，。一個(gè)機(jī)器視覺項(xiàng)目之所以失敗，大部分情況是由于圖像質(zhì)量不好，特征不明顯引起的。要保證好的圖像，必須要選擇一個(gè)合適的光源。

　　光源選型基本要素：

　　對(duì)比度：對(duì)比度對(duì)機(jī)器視覺來(lái)說非常重要。機(jī)器視覺應(yīng)用的照明的最重要的任務(wù)就是使需要被觀察的特征與需要被忽略的圖像特征之間產(chǎn)生最大的對(duì)比度，從而易于特征的區(qū)分。對(duì)比度定義為在特征與其周圍的區(qū)域之間有足夠的灰度量區(qū)別。好的照明應(yīng)該能夠保證需要檢測(cè)的特征突出于其他背景。

　　亮度：當(dāng)選擇兩種光源的時(shí)候，最佳的選擇是選擇更亮的那個(gè)。當(dāng)光源不夠亮?xí)r，可能有三種不好的情況會(huì)出現(xiàn)。第一，相機(jī)的信噪比不夠；由于光源的亮度不夠，圖像的對(duì)比度必然不夠，在圖像上出現(xiàn)噪聲的可能性也隨即增大。其次，光源的亮度不夠，必然要加大光圈，從而減小了景深。另外，當(dāng)光源的亮度不夠的時(shí)候，自然光等隨機(jī)光對(duì)系統(tǒng)的影響會(huì)最大。

　　魯棒性：另一個(gè)測(cè)試好光源的方法是看光源是否對(duì)部件的位置敏感度最小。當(dāng)光源放置在攝像頭視野的不同區(qū)域或不同角度時(shí)，結(jié)果圖像應(yīng)該不會(huì)隨之變化。方向性很強(qiáng)的光源，增大了對(duì)高亮區(qū)域的鏡面反射發(fā)生的可能性，這不利于后面的特征提取。

　　好的光源需要能夠使你需要尋找的特征非常明顯，除了是攝像頭能夠拍攝到部件外，好的光源應(yīng)該能夠產(chǎn)生最大的對(duì)比度、亮度足夠且對(duì)部件的位置變化不敏感。光源選擇好了，剩下來(lái)的工作就容易多了。具體的光源選取方法還在于試驗(yàn)的實(shí)踐經(jīng)驗(yàn)。

　　在布匹的生產(chǎn)過程中，像布匹質(zhì)量檢測(cè)這種有高度重復(fù)性和智能性的工作只能靠人工檢測(cè)來(lái)完成，在現(xiàn)代化流水線后面常?？煽吹胶芏嗟臋z測(cè)工人來(lái)執(zhí)行這道工序，給企業(yè)增加巨大的人工成本和管理成本的同時(shí)，卻仍然不能保證100 %的檢驗(yàn)合格率（即“零缺陷”）。對(duì)布匹質(zhì)量的檢測(cè)是重復(fù)性勞動(dòng)，容易出錯(cuò)且效率低。

　　流水線進(jìn)行自動(dòng)化的改造，使布匹生產(chǎn)流水線變成快速、實(shí)時(shí)、準(zhǔn)確、高效的流水線。在流水線上，所有布匹的顏色、及數(shù)量都要進(jìn)行自動(dòng)確認(rèn)（以下簡(jiǎn)稱“布匹檢測(cè)”）。采用機(jī)器視覺的自動(dòng)識(shí)別技術(shù)完成以前由人工來(lái)完成的工作。在大批量的布匹檢測(cè)中，用人工檢查產(chǎn)品質(zhì)量效率低且精度不高，用機(jī)器視覺檢測(cè)方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動(dòng)化程度。

　　特征提取辨識(shí)

　　一般布匹檢測(cè)（自動(dòng)識(shí)別）先利用高清晰度、高速攝像鏡頭拍攝標(biāo)準(zhǔn)圖像，在此基礎(chǔ)上設(shè)定一定標(biāo)準(zhǔn)；然后拍攝被檢測(cè)的圖像，再將兩者進(jìn)行對(duì)比。但是在布匹質(zhì)量檢測(cè)工程中要復(fù)雜一些：

　　1． 圖像的內(nèi)容不是單一的圖像，每塊被測(cè)區(qū)域存在的雜質(zhì)的數(shù)量、大小、顏色、位置不一定一致。

　　2． 雜質(zhì)的形狀難以事先確定。

　　3． 由于布匹快速運(yùn)動(dòng)對(duì)光線產(chǎn)生反射，圖像中可能會(huì)存在大量的噪聲。

　　4． 在流水線上，對(duì)布匹進(jìn)行檢測(cè)，有實(shí)時(shí)性的要求。

　　由于上述原因，圖像識(shí)別處理時(shí)應(yīng)采取相應(yīng)的算法，提取雜質(zhì)的特征，進(jìn)行模式識(shí)別，實(shí)現(xiàn)智能分析。

　　Color檢測(cè)

　　一般而言，從彩色CCD相機(jī)中獲取的圖像都是RGB圖像。也就是說每一個(gè)像素都由紅（R）綠（G）藍(lán)（B）三個(gè)成分組成，來(lái)表示RGB色彩空間中的一個(gè)點(diǎn)。問題在于這些色差不同于人眼的感覺。即使很小的噪聲也會(huì)改變顏色空間中的位置。所以無(wú)論我們?nèi)搜鄹杏X有多么的近似，在顏色空間中也不盡相同。基于上述原因，我們需要將RGB像素轉(zhuǎn)換成為另一種顏色空間CIELAB。目的就是使我們?nèi)搜鄣母杏X盡可能的與顏色空間中的色差相近。

　　Blob檢測(cè)

　　根據(jù)上面得到的處理圖像，根據(jù)需求，在純色背景下檢測(cè)雜質(zhì)色斑，并且要計(jì)算出色斑的面積，以確定是否在檢測(cè)范圍之內(nèi)。因此圖像處理軟件要具有分離目標(biāo)，檢測(cè)目標(biāo)，并且計(jì)算出其面積的功能。

　　Blob分析（Blob Analysis）是對(duì)圖像中相同像素的連通域進(jìn)行分析，該連通域稱為Blob。經(jīng)二值化（Binary Thresholding）處理后的圖像中色斑可認(rèn)為是blob。Blob分析工具可以從背景中分離出目標(biāo)，并可計(jì)算出目標(biāo)的數(shù)量、位置、形狀、方向和大小，還可以提供相關(guān)斑點(diǎn)間的拓?fù)浣Y(jié)構(gòu)。在處理過程中不是采用單個(gè)的像素逐一分析，而是對(duì)圖形的行進(jìn)行操作。圖像的每一行都用游程長(zhǎng)度編碼(RLE）來(lái)表示相鄰的目標(biāo)范圍。這種算法與基于象素的算法相比，大大提高處理速度。

　　結(jié)果處理和控制

　　應(yīng)用程序把返回的結(jié)果存入數(shù)據(jù)庫(kù)或用戶指定的位置，并根據(jù)結(jié)果控制機(jī)械部分做相應(yīng)的運(yùn)動(dòng)。

　　根據(jù)識(shí)別的結(jié)果，存入數(shù)據(jù)庫(kù)進(jìn)行信息管理。以后可以隨時(shí)對(duì)信息進(jìn)行檢索查詢，管理者可以獲知某段時(shí)間內(nèi)流水線的忙閑，為下一步的工作作出安排；可以獲知內(nèi)布匹的質(zhì)量情況等等。

　　在生產(chǎn)線上，人來(lái)做此類測(cè)量和判斷會(huì)因疲勞、個(gè)人之間的差異等產(chǎn)生誤差和錯(cuò)誤，但是機(jī)器卻會(huì)不知疲倦

　　地、穩(wěn)定地進(jìn)行下去。一般來(lái)說，機(jī)器視覺系統(tǒng)包括了照明系統(tǒng)、鏡頭、攝像系統(tǒng)和圖像處理系統(tǒng)。對(duì)于每一個(gè)應(yīng)用，我們都需要考慮系統(tǒng)的運(yùn)行速度和圖像的處理速度、使用彩色還是黑白攝像機(jī)、檢測(cè)目標(biāo)的尺寸還是檢測(cè)目標(biāo)有無(wú)缺陷、視場(chǎng)需要多大、分辨率需要多高、對(duì)比度需要多大等。從功能上來(lái)看，典型的機(jī)器視覺系統(tǒng)可以分為：圖像采集部分、圖像處理部分和運(yùn)動(dòng)控制部分。

　　一個(gè)完整的機(jī)器視覺系統(tǒng)的主要工作過程如下：

　　1、工件定位檢測(cè)器探測(cè)到物體已經(jīng)運(yùn)動(dòng)至接近攝像系統(tǒng)的視野中心，向圖像采集部分發(fā)送觸發(fā)脈沖。

　　2、圖像采集部分按照事先設(shè)定的程序和延時(shí)，分別向攝像機(jī)和照明系統(tǒng)發(fā)出啟動(dòng)脈沖。

　　3、攝像機(jī)停止目前的掃描，重新開始新的一幀掃描，或者攝像機(jī)在啟動(dòng)脈沖來(lái)到之前處于等待狀態(tài)，啟動(dòng)脈沖到來(lái)后啟動(dòng)一幀掃描。

　　4、攝像機(jī)開始新的一幀掃描之前打開曝光機(jī)構(gòu)，曝光時(shí)間可以事先設(shè)定。

　　5、另一個(gè)啟動(dòng)脈沖打開燈光照明，燈光的開啟時(shí)間應(yīng)該與攝像機(jī)的曝光時(shí)間匹配。

　　6、攝像機(jī)曝光后，正式開始一幀圖像的掃描和輸出。

　　7、圖像采集部分接收模擬視頻信號(hào)通過A/D將其數(shù)字化，或者是直接接收攝像機(jī)數(shù)字化后的數(shù)字視頻數(shù)據(jù)。

　　8、圖像采集部分將數(shù)字圖像存放在處理器或計(jì)算機(jī)的內(nèi)存中。

　　9、處理器對(duì)圖像進(jìn)行處理、分析、識(shí)別，獲得測(cè)量結(jié)果或邏輯控制值。

　　10、處理結(jié)果控制流水線的動(dòng)作、進(jìn)行定位、糾正運(yùn)動(dòng)的誤差等。

　　從上述的工作流程可以看出，機(jī)器視覺是一種比較復(fù)雜的系統(tǒng)。因?yàn)榇蠖鄶?shù)系統(tǒng)監(jiān)控對(duì)象都是運(yùn)動(dòng)物體，系統(tǒng)與運(yùn)動(dòng)物體的匹配和協(xié)調(diào)動(dòng)作尤為重要，所以給系統(tǒng)各部分的動(dòng)作時(shí)間和處理速度帶來(lái)了嚴(yán)格的要求。在某些應(yīng)用領(lǐng)域，例如機(jī)器人、飛行物體導(dǎo)制等，對(duì)整個(gè)系統(tǒng)或者系統(tǒng)的一部分的重量、體積和功耗都會(huì)有嚴(yán)格的要求。

　　機(jī)器視覺系統(tǒng)的優(yōu)點(diǎn)有：

　　1、非接觸測(cè)量，對(duì)于觀測(cè)者與被觀測(cè)者都不會(huì)產(chǎn)生任何損傷，從而提高系統(tǒng)的可靠性。

　　2、具有較寬的光譜響應(yīng)范圍，例如使用人眼看不見的紅外測(cè)量，擴(kuò)展了人眼的視覺范圍。

　　3、長(zhǎng)時(shí)間穩(wěn)定工作，人類難以長(zhǎng)時(shí)間對(duì)同一對(duì)象進(jìn)行觀察，而機(jī)器視覺則可以長(zhǎng)時(shí)間地作測(cè)量、分析和識(shí)別任務(wù)。

　　機(jī)器視覺系統(tǒng)的應(yīng)用領(lǐng)域越來(lái)越廣泛。在工業(yè)、農(nóng)業(yè)、國(guó)防、交通、醫(yī)療、金融甚至體育、娛樂等等行業(yè)都獲得了廣泛的應(yīng)用，可以說已經(jīng)深入到我們的生活、生產(chǎn)和工作的方方面面。

　　圖像采集設(shè)備機(jī)器視覺教學(xué)實(shí)驗(yàn)平臺(tái)是專門針對(duì)大學(xué)和研究機(jī)構(gòu)開展機(jī)器視覺教學(xué)和研究的機(jī)器視覺教學(xué)實(shí)驗(yàn)平臺(tái)，提供包括圖像測(cè)量、檢測(cè)、定位、跟蹤識(shí)別等多個(gè)圖像處理庫(kù)函數(shù)，功能強(qiáng)大，可覆蓋工業(yè)生產(chǎn)、機(jī)器視覺、智能交通、航空航天等眾多圖像處理應(yīng)用領(lǐng)域。

　　機(jī)器視覺圖像處理教學(xué)實(shí)驗(yàn)開發(fā)平臺(tái)可利用其提供的大量圖像處理和機(jī)器視覺算法進(jìn)行二次開發(fā)，解決現(xiàn)代工業(yè)產(chǎn)品生產(chǎn)過程中涉及的各種各樣視覺問題。實(shí)驗(yàn)平臺(tái)結(jié)構(gòu)開放，提供擴(kuò)展接口，也可添加自己的圖像處理優(yōu)異算法。

　　提供多種圖像處理實(shí)驗(yàn)，如圖象分割、圖象融合、機(jī)器學(xué)習(xí)、模式識(shí)別、圖象測(cè)量、圖象處理、模式識(shí)別和人工智能、三維測(cè)量、雙目立體視覺等實(shí)驗(yàn)，可以培養(yǎng)學(xué)生對(duì)機(jī)器視覺產(chǎn)品知識(shí)的深入理解和掌握，鍛煉學(xué)生的研究能力，創(chuàng)新思維以及獨(dú)立解決技術(shù)難題的能力。

　　作為一套完整的機(jī)器視覺教學(xué)實(shí)驗(yàn)開發(fā)平臺(tái)，使用者可利用其配套的工業(yè)相機(jī)、LED光源、工業(yè)鏡頭、支架、算法軟件等搭建自己的視覺處理系統(tǒng)原型，了解圖像采集設(shè)備等配件的應(yīng)用和選型，輕松設(shè)計(jì)、印證和評(píng)估自己的視覺系統(tǒng)，特別適合于大學(xué)和研究機(jī)構(gòu)開展機(jī)器視覺教學(xué)和科研工作。

　　機(jī)器視覺顧名思義就是使機(jī)器具有像人一樣的視覺功能，從而實(shí)現(xiàn)各種檢測(cè)、判斷、識(shí)別、測(cè)量等功能。一個(gè)典型的機(jī)器視覺系統(tǒng)包括：光源、鏡頭、相機(jī)(CCD相機(jī)和CMOS相機(jī)）、圖像處理器（硬件）、圖像處理軟件、顯示器、執(zhí)行單元等。

　　機(jī)器視覺系統(tǒng)通過圖像采集硬件（相機(jī)、鏡頭、光源等）將被檢測(cè)目標(biāo)轉(zhuǎn)換成圖像信號(hào)，并傳達(dá)給專用的圖像處理系統(tǒng)。圖像處理系統(tǒng)根據(jù)像素亮度、顏色分布等信息，進(jìn)行目標(biāo)特征的抽取，并進(jìn)行相應(yīng)的判斷，進(jìn)而根據(jù)結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備。機(jī)器視覺系統(tǒng)綜合了光學(xué)、機(jī)械、電子、計(jì)算機(jī)軟硬件方面的技術(shù)，設(shè)計(jì)圖像處理、模式識(shí)別、人工智能、光機(jī)電一體化等多個(gè)領(lǐng)域。近年來(lái)，圖像處理和模式識(shí)別等技術(shù)的快速發(fā)展，大大地推動(dòng)了機(jī)器視覺的發(fā)展。

　　機(jī)器視覺系統(tǒng)具有效率、高柔性、高度自動(dòng)化等特點(diǎn)。在大批量工業(yè)生產(chǎn)過程中，如果用人工視覺檢查產(chǎn)品質(zhì)量，往往效率低且精度不高，用機(jī)器視覺檢測(cè)可以大幅度提高檢測(cè)效率和生產(chǎn)的自動(dòng)化程度；同時(shí)，在一些不適合人工作業(yè)的危險(xiǎn)工作環(huán)境或工人視覺難以滿足要求的場(chǎng)合中，也常用機(jī)器視覺來(lái)替代人工視覺，如核電站監(jiān)控、晶圓缺陷檢測(cè)；而且，機(jī)器視覺易于實(shí)現(xiàn)信息集成，是實(shí)現(xiàn)計(jì)算機(jī)集成制造的基礎(chǔ)技術(shù)之一。正是由于機(jī)器視覺系統(tǒng)可以快速獲取大量信息，而且易于自動(dòng)處理及信息集成，因此，在現(xiàn)代自動(dòng)化生產(chǎn)過程中，人們將機(jī)器視覺系統(tǒng)廣泛地用于裝配定位、產(chǎn)品質(zhì)量檢測(cè)、產(chǎn)品識(shí)別、產(chǎn)品尺寸測(cè)量等方面。