草莓采摘機(jī)器人的草莓識(shí)別系統(tǒng)設(shè)計(jì)說(shuō)明書(shū)

20、像機(jī)作為視覺(jué)傳感器基于彩色特征尋找和識(shí)別成熟果實(shí),提出了采用立體視覺(jué)技術(shù)檢測(cè)番茄位置的算法,即根據(jù)左右圖像中心的位置進(jìn)行匹配。日本的Kondo,N等人<1998>研制的黃瓜采摘機(jī)器人,采用三菱MxTsuBIsHIRV一E2自由度工業(yè)機(jī)器人,利用CCD攝像機(jī),根據(jù)黃瓜比其葉莖對(duì)紅外光的反射率高的原理來(lái)識(shí)別黃瓜和葉莖,黃瓜果實(shí)采用剪斷方法,先把黃瓜抓住,用接觸傳感器找出柄,然后剪斷。由于黃瓜是長(zhǎng)條形,識(shí)別受到葉莖的影響更大,所以采摘的成功率較低,大約在60%左右,如圖1-5所示。 圖1-4番茄收獲機(jī)器人〔日本 1-5黃瓜采摘機(jī)器人〔日本 日本中央農(nóng)業(yè)研究中心開(kāi)發(fā)了甘藍(lán)采摘機(jī)器人[3

21、][9] <圖1-6>,它以履帶式搬運(yùn)車(chē)為移動(dòng)機(jī)構(gòu),搭載液壓式機(jī)械臂,臂上安裝采摘用末端執(zhí)行器。為了防止采摘時(shí)影響品質(zhì),夾持葉球時(shí)夾持的部位必須合適,為此在視覺(jué)傳感器以外,末端執(zhí)行器底部加裝了超聲波傳感器和觸地確認(rèn)開(kāi)關(guān)以及確認(rèn)夾持狀態(tài)的接觸壓力傳感器。該系統(tǒng)釆用神經(jīng)網(wǎng)絡(luò)系統(tǒng)提取甘藍(lán)圖像,其方法和直徑與已經(jīng)存儲(chǔ)在處理器中標(biāo)準(zhǔn)模板進(jìn)行比較判斷。試驗(yàn)表明:該機(jī)從判斷、摘取到移動(dòng)到指定位置,一顆甘藍(lán)需時(shí)55s,撿拾成功率約43%。 圖1-6甘藍(lán)采摘機(jī)器人〔日本 田中芳夫等〔1990在柑橘的識(shí)別領(lǐng)域內(nèi),通過(guò) RGB 色彩空間的的顏色信號(hào)和色彩之間的差別信號(hào)進(jìn)行柑橘識(shí)別,在結(jié)果中,表明了不同光照下,無(wú)

22、論是因?yàn)榉枪麑?shí)物體的遮擋導(dǎo)致果實(shí)表面存在陰影和果實(shí)表面上存在過(guò)強(qiáng)的陽(yáng)光反射的情況下,均可以正確的識(shí)別果實(shí)。 1.3.2國(guó)內(nèi)研究現(xiàn)狀 國(guó)內(nèi)采摘機(jī)器人研究起步較晚,處于起步階段。20XX出臺(tái)的"十一五"國(guó)家高技術(shù) 研究發(fā)展計(jì)劃<863計(jì)劃>,提出了高技術(shù)項(xiàng)目《果樹(shù)采摘機(jī)器人關(guān)鍵技術(shù)研究》以后, 近年來(lái)國(guó)內(nèi)許多知名高校及科研院所積極投入各種釆摘機(jī)器人的研究,通過(guò)跟蹤國(guó)外先 進(jìn)技術(shù),在機(jī)器人采摘領(lǐng)域取得了初步成果且開(kāi)發(fā)了一些樣機(jī)。 中國(guó)農(nóng)業(yè)大學(xué)李偉等人以溫室環(huán)境下黃瓜壟間圖像為研究對(duì)象,開(kāi)發(fā)了黃瓜釆摘機(jī)器人[10][11]<圖1-7>。硬件系統(tǒng)由自主移動(dòng)平臺(tái)、果實(shí)識(shí)別定位系統(tǒng)、采摘機(jī)械臂、柔性

23、末端執(zhí)行器和能源系統(tǒng)5大模塊組成。采用基于近紅外光譜特征的圖像獲取技術(shù),來(lái)有效分離黃瓜果實(shí)與蓮葉的信息;提出果實(shí)與背景形狀差異結(jié)合局部最大類(lèi)間方差取閾法對(duì)黃瓜圖像進(jìn)行兩次動(dòng)態(tài)閾值分割,實(shí)現(xiàn)了黃瓜目標(biāo)的準(zhǔn)確識(shí)別。通過(guò)建立基于灰度相 關(guān)與極線幾何相結(jié)合的匹配策略實(shí)現(xiàn)了雙目視覺(jué)下的黃瓜抓取點(diǎn)的立體匹配,并根據(jù)視 差原理恢復(fù)出目標(biāo)三維幾何信息。整機(jī)試驗(yàn)系統(tǒng)各模塊運(yùn)轉(zhuǎn)良好,采摘成功率達(dá)85%, 單根黃瓜采摘耗時(shí)28.6s。 圖1-7黃瓜采摘機(jī)器人〔中國(guó) 周云山<1995>[12]研制了具有計(jì)算機(jī)視覺(jué)的蘑菇采摘機(jī)器人,使蘑菇生產(chǎn)從苗床管理到收獲分類(lèi)實(shí)現(xiàn)了全過(guò)程自動(dòng)化,由攝像機(jī)采集蘑菇圖像,計(jì)算其面積、

24、周長(zhǎng)和中心坐標(biāo),面積和周長(zhǎng)用于蘑菇分類(lèi),中心坐標(biāo)用于引導(dǎo)機(jī)械手采摘,但研究只是在二維平面內(nèi)的識(shí)別問(wèn)題,而對(duì)3D目標(biāo)空間定位技術(shù)的研究特別少 俞高紅<2005>[13]以單體蘑菇為研究對(duì)象,研究?jī)?nèi)容包括,蘑菇圖像的數(shù)字特征,提取邊界的算法,對(duì)蘑菇邊界進(jìn)行離散傅立葉變化提出僅需利用蘑菇的邊界信息求蘑菇形心坐標(biāo)的新方法,而且傅立葉描述可以進(jìn)行蘑菇邊界的平移、旋轉(zhuǎn)和縮放操作,具有很強(qiáng)的邊界形狀重建功能。 XX大學(xué)的蔡健榮等[14]在 2005 年將 RGB 彩色模型轉(zhuǎn)換到 HIS 系統(tǒng),根據(jù)Otsu〔大津法算法自動(dòng)獲取彩色目標(biāo)圖像分割閾值。對(duì)成熟西紅柿進(jìn)行測(cè)試,根據(jù)西紅柿的顏色和形狀信息,能夠識(shí)別

25、出成熟西紅柿,但對(duì)果實(shí)部分遮擋或重疊的情況缺少研究。 司永勝,喬軍 等[15]〔2010提出了利用歸一化的紅綠色差 /分割蘋(píng)果的方法。對(duì)不同光照情況下拍攝的蘋(píng)果圖像進(jìn)行了識(shí)別,并對(duì)識(shí)別后的圖像進(jìn)行預(yù)處理后,獲得蘋(píng)果的輪廓圖像。對(duì)輪廓圖像采用隨機(jī)圓環(huán)法進(jìn)行果實(shí)形心和半徑提取。 1.4課題研究的主要內(nèi)容和論文結(jié)構(gòu) 1.4．1課題研究的主要內(nèi)容 本課題在分析國(guó)內(nèi)農(nóng)業(yè)智能化作業(yè)設(shè)備的基礎(chǔ)上,以草莓為研究對(duì)象,將成熟的草莓從植株中識(shí)別出來(lái)。內(nèi)容如下: 研究所拍攝的植株中成熟草莓圖像的圖像特征,選擇適宜的圖像特征,將果實(shí)從植株中識(shí)別。由于 OpenCV 實(shí)現(xiàn)了圖像處理和機(jī)器視

26、覺(jué)方面的很多通用算法,具有豐富的庫(kù)函數(shù),所以成熟草莓識(shí)別部分的編程是在 VC++環(huán)境下,基于 OpenCV2.4.4 實(shí)現(xiàn)。簡(jiǎn)述草莓采摘點(diǎn)確定的方法。 本課題的技術(shù)路線如圖1.4.1所示： 圖1.4.1 技術(shù)路線 論文結(jié)構(gòu) 第一章,緒論。敘述草莓果實(shí)目標(biāo)識(shí)別技術(shù)的研究目的和意義,闡述現(xiàn)階段國(guó)內(nèi)外的研究現(xiàn)狀,并且通過(guò)分析提出本論文的大致內(nèi)容。 第二章,介紹機(jī)器視覺(jué)系統(tǒng)與常用的圖像處理方法,為第三章草莓圖像識(shí)別打下基礎(chǔ)。 第三章,攝像機(jī)標(biāo)定和草莓的識(shí)別。如：對(duì)圖像的取像、分割、濾波去噪等。 第四章,對(duì)全文做了一個(gè)簡(jiǎn)單總結(jié)以及對(duì)進(jìn)一步工作的展望。 1.5本章小結(jié) 本章闡述了國(guó)內(nèi)外農(nóng)

27、業(yè)設(shè)施生產(chǎn)機(jī)器人的研究現(xiàn)狀,介紹了成熟草莓識(shí)別研究的目的和意義,并提出了本課題研究的主要內(nèi)容,給出了本課題的技術(shù)線圖。 第二章 機(jī)器視覺(jué)系統(tǒng)與常用的圖像處理方法 機(jī)器視覺(jué)是科學(xué)領(lǐng)域和工程領(lǐng)域富有挑戰(zhàn)性,應(yīng)用前景廣闊的一門(mén)綜合性學(xué)科。作為一門(mén)學(xué)科,人們對(duì)機(jī)器視覺(jué)的研究最早開(kāi)始于 20 世紀(jì) 60 年代初,但直到 20世紀(jì) 80年代才在機(jī)器視覺(jué)基礎(chǔ)研究中取得重要進(jìn)展并建立了機(jī)器視覺(jué)理論的完整框架?，F(xiàn)在的機(jī)器視覺(jué)已成為一門(mén)不同于圖像處理、模式識(shí)別、人工智能等相關(guān)領(lǐng)域的相對(duì)獨(dú)立的成熟學(xué)科。 機(jī)器視覺(jué)系統(tǒng)的特點(diǎn)是可以提高生產(chǎn)的安全性、可靠性及智能化程度。在人類(lèi)肉眼難以滿足要求的場(chǎng)合或不適合人工作業(yè)

28、的惡劣工作環(huán)境,往往選擇機(jī)器視覺(jué)代替人類(lèi)視覺(jué)。此外在流水線生產(chǎn)過(guò)程中,用肉眼檢查產(chǎn)品質(zhì)量,誤差不容易控制且效率不高,用機(jī)器視覺(jué)檢測(cè)可以大幅改善生產(chǎn)效率、生產(chǎn)自動(dòng)化及智能化程度,同時(shí)機(jī)器視覺(jué)容易實(shí)現(xiàn)大規(guī)模信息集成,是實(shí)現(xiàn)現(xiàn)代計(jì)算機(jī)集成制造的基礎(chǔ)技術(shù)。 機(jī)器視覺(jué)系統(tǒng)利用機(jī)器視覺(jué)代替人眼來(lái)完成各種測(cè)量和判斷任務(wù)。圖像處理技術(shù)的進(jìn)步直接推動(dòng)著機(jī)器視覺(jué)的發(fā)展。圖像處理是指運(yùn)用計(jì)算機(jī)對(duì)圖像數(shù)據(jù)進(jìn)行各種運(yùn)算。一般包括圖像壓縮編碼、圖像恢復(fù)、圖像增強(qiáng)、形態(tài)學(xué)處理、圖像分割、采樣量化、圖像分類(lèi)等。圖像處理的主要功能是將低質(zhì)量圖像〔反差小、噪聲大、畸變等用計(jì)算機(jī)處理成適合于人眼觀察或機(jī)器檢測(cè)的圖像。 2.1機(jī)

29、器視覺(jué)系統(tǒng) 一個(gè)典型的機(jī)器視覺(jué)系統(tǒng)包括：圖像采集〔包括光源、鏡頭、相機(jī)；圖像 處理和分析〔包括圖像采集卡和圖像處理軟件；輸出或顯示單元〔包括過(guò)程控制器、顯示器和報(bào)警裝置等。機(jī)器視覺(jué)系統(tǒng)基本結(jié)構(gòu)如圖2-1所示： 圖2-1 機(jī)器視覺(jué)系統(tǒng)基本結(jié)構(gòu) 機(jī)器視覺(jué)系統(tǒng)的應(yīng)用 機(jī)器視覺(jué)技術(shù)用計(jì)算機(jī)來(lái)分析圖像,并得出結(jié)論。目前機(jī)器視覺(jué)在科研和生產(chǎn)上有著廣泛的應(yīng)用。 一般來(lái)說(shuō)機(jī)器視覺(jué)技術(shù)包括以下幾個(gè)過(guò)程： 〔1圖像采集：光學(xué)系統(tǒng)采集圖像,并將其轉(zhuǎn)換為相應(yīng)的電信號(hào),進(jìn)而轉(zhuǎn)換為數(shù)字信號(hào)傳入計(jì)算機(jī)存儲(chǔ)器,完成圖像的輸入。 〔2圖像處理：運(yùn)用不同的算法突出對(duì)結(jié)論有重要影響的圖像要素。 〔3特性提?。簩@

30、取的場(chǎng)景圖像信息進(jìn)行提取和處理,識(shí)別并量化圖像的關(guān)鍵特性。 〔4判決和控制：控制程序根據(jù)收到的數(shù)據(jù)做出結(jié)論,并進(jìn)行相應(yīng)的操作。 2.2常用的圖像處理方法 圖像處理的主要目的和技術(shù)包括增強(qiáng)圖像以改善圖像視覺(jué)效果、恢復(fù)退化圖 像以消除各種干擾的影響[16]。常用的處理方法有：顏色空間轉(zhuǎn)換、灰度化和二值化、圖像分割、濾波、圖像形態(tài)學(xué)處理、邊緣提取和輪廓提取等。 2.2.1 顏色空間 顏色是物體屬性的外在表現(xiàn),具有對(duì)物體本身的方向、尺寸、視角等依賴(lài)性 小、魯棒性強(qiáng)等優(yōu)點(diǎn),因此在圖像分割中占有舉足輕重的地位,對(duì)彩色圖像的處 理是目前圖像處理領(lǐng)域非常重要的研究課題。在圖像分割時(shí),通常要提取

31、目標(biāo)對(duì) 象的顏色特征在特定的顏色空間與背景進(jìn)行比較。顏色空間也稱(chēng)彩色模型,它的 用途是在某些標(biāo)準(zhǔn)下用通?？山邮艿姆绞綄?duì)彩色加以說(shuō)明。本質(zhì)上,彩色模型是 坐標(biāo)系統(tǒng)和子空間的闡述。每種顏色都用空間單個(gè)點(diǎn)表示。在彩色圖像處理中, 選擇合適的彩色模型是很重要的。根據(jù)應(yīng)用對(duì)象不同,可將彩色模型分成兩大類(lèi)。 一類(lèi)面向硬件設(shè)備比如彩色攝像機(jī)和彩色打印機(jī)等。另一類(lèi)面向彩色處理分析或 者視覺(jué)感知為目的的應(yīng)用,如圖像處理算法,動(dòng)畫(huà)中的彩色圖形等。對(duì)顏色的分 析和描述離不開(kāi)顏色的定量表示,目前在數(shù)字圖像處理中,最常用的彩色模型有 RGB、HSV 等。 實(shí)際中用的最多的面向硬件設(shè)備的彩色模型是 RG

32、B 彩色模型。彩色打印機(jī) 和電視攝像機(jī)等都是在 RGB 彩色模型下工作的。在人類(lèi)視覺(jué)中,所有顏色都可 以看作是三基色——紅〔Red、綠〔Green、藍(lán)〔Blue不同比例的組合。 RGB 彩色模型是笛卡爾三維坐標(biāo)空間的一個(gè)子空間,其中三個(gè)坐標(biāo)軸分別 用 R,G,B 標(biāo)記。RGB 彩色模型是一個(gè)正方體,原點(diǎn)與黑色對(duì)應(yīng),離坐標(biāo)原點(diǎn) 最遠(yuǎn)的頂點(diǎn)與白色對(duì)應(yīng),在此模型中,從黑色到白色的亮度值分布在從原點(diǎn)到離 原點(diǎn)最遠(yuǎn)的頂點(diǎn)的對(duì)角線上,而立方體空間內(nèi)其余各點(diǎn)分別對(duì)應(yīng)不同的顏色。R、 G、B 三分量的取值范圍都在[0,255]區(qū)間,圖 2-2〔a為 RGB 顏色空間模型。 圖 2-2 顏色空間

33、模型 面向硬設(shè)備的彩色模型與人的視覺(jué)感知有一定差距且使用時(shí)不太方便,例如 給定一個(gè)彩色信號(hào),人很難判斷其中的 R,G,B 分量,這時(shí)使用面向視覺(jué)感知 的顏色模型比較方便。在面向視覺(jué)感知的顏色模型中,HSV 彩色模型與人類(lèi)對(duì) 顏色的感知最接近。 這個(gè)顏色模型中的三個(gè)參數(shù)分別是：色彩〔H、飽和度〔S和亮度〔V。 HSV 彩色模型是從 RGB 彩色模型演化而來(lái)的,如果沿 RGB 立方體對(duì)角線的白 色頂點(diǎn)向黑色原點(diǎn)觀察,就會(huì)看到立方體的六邊形外形。其中六邊形邊界對(duì)應(yīng)色 彩,水平軸對(duì)應(yīng)飽和度,亮度沿垂直軸變化。HSV 彩色模型的坐標(biāo)系統(tǒng)可用六 棱錐來(lái)表示,見(jiàn)圖 2-2〔b。在 RGB

34、空間中任一點(diǎn)的 R、G、B〔均在[0,255] 區(qū) 間均可轉(zhuǎn)換到 HSV 空間,得到 H、S、V 值,見(jiàn)式〔3.16。在農(nóng)產(chǎn)品顏色分 類(lèi)中,RGB 模型與 HSV 模型是用的最多的彩色模型。 物體表面因光照輻射而呈現(xiàn)出顏色。在自然環(huán)境下生長(zhǎng)的農(nóng)作物,由于受到 水分、營(yíng)養(yǎng)、光照及成熟度等諸多因素影響,它們的莖、桿、葉及果實(shí)形成了不 同的顏色。因此人們可以通過(guò)顏色對(duì)果實(shí)、樹(shù)干等進(jìn)行識(shí)別并評(píng)價(jià)它們的優(yōu)劣。 2.2.2灰度圖像和二值圖像 通常相機(jī)采集的彩色圖像是 RGB 彩色圖像,圖像的每個(gè)像素由紅色、綠色、藍(lán)色三個(gè)分量組成[17]。每個(gè)分量的強(qiáng)度等級(jí)分為 0～255 共計(jì) 256 種。

35、在實(shí)際應(yīng)用中,往往需要將 RGB 彩色圖像轉(zhuǎn)換為 256 階的灰度圖像,圖 2-3 給出了示例。 〔a彩色Lena圖像 〔b灰度Lena圖像 圖2-3彩色圖像灰度化 〔a灰度Lena圖像 〔bLena二值圖像 圖2-4灰度圖像二值化 在實(shí)際應(yīng)用中,往往還需要將灰度圖像進(jìn)一步轉(zhuǎn)換成二值圖像,二值化方法包括兩種：固定閾值法和自適應(yīng)閾值法。固定閾值法最常用的方法是設(shè)定一個(gè)全局閾值 T,用 T 將圖像數(shù)據(jù)分成兩部分：大于等于 T 的像素集合和小于 T 的像素集合。將大于等于 T 的像素集合的灰度值設(shè)定為黑色〔或者白色,小于 T 的像素集合的灰度值

36、設(shè)定為白色〔或者黑色。在圖像細(xì)節(jié)表現(xiàn)方面,固定閾值法存在很大缺點(diǎn)。為了克服這個(gè)缺點(diǎn),出現(xiàn)了自適應(yīng)閾值法。針對(duì)有很強(qiáng)照明或反射梯度的圖像,需要根據(jù)梯度進(jìn)行閾值化時(shí),自適應(yīng)閾值法非常有用。閾值的選擇在每個(gè)像素點(diǎn)都可能不同,通過(guò)計(jì)算像素點(diǎn)鄰域的加權(quán)平均,然后減去一個(gè)常數(shù)來(lái)確定該像素的閾值。圖 2-4 給出了灰度圖像二值化示例。 2.2.3圖像分割 圖像分割是將圖像中有意義的特征部分提取出來(lái),包括圖像中的邊緣、 區(qū)域等。圖像分割是圖像處理與計(jì)算機(jī)視覺(jué)必不可少的重要環(huán)節(jié),是數(shù)字圖像處理中的關(guān)鍵技術(shù)之一,得到了研究人員的廣泛重視,但是其發(fā)展較慢。 迄今為止,還沒(méi)有一種圖像分割方法適用于所有圖像。 圖像

37、分割的技術(shù)和算法種類(lèi)繁多,是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)經(jīng)典難題,人們至今仍在不斷探索新的分割理論與分割算法。圖像分割算法基本可以分為兩大類(lèi):邊緣檢測(cè)和閾值分割。 基于邊緣的分割是通過(guò)檢測(cè)出不同區(qū)域邊緣來(lái)進(jìn)行分割。所謂邊緣是指其周?chē)袼鼗叶扔须A躍變化的那些像素的集合。它存在于目標(biāo)與背景之間,是圖像分割所依賴(lài)的最重要的特征。 因此,邊緣檢測(cè)可以看作是處理許多復(fù)雜問(wèn)題的關(guān)鍵。對(duì)于邊緣的檢測(cè)常常借助于邊緣檢測(cè)算子進(jìn)行,常用的邊緣檢測(cè)算子有：R oberts算子、 Laplace算子、 Sobel算子、 R obinson算子、 K its算子等。 閾值分割法是一種基于區(qū)域的圖像分割技術(shù),其基本原理是通

38、過(guò)設(shè)定不同的特征閾值,把圖像像素點(diǎn)分為若干類(lèi)。閾值法是一種簡(jiǎn)單但是非常有效的方法,特別是不同物體或結(jié)構(gòu)之間的有很大的強(qiáng)度對(duì)比時(shí),能夠得到很好的效果。閾值分割實(shí)現(xiàn)簡(jiǎn)單、 計(jì)算量小、 性能較穩(wěn)定,已被應(yīng)用于很多的領(lǐng)域。 在O penCV 中實(shí)現(xiàn)了三種跟圖像分割相關(guān)的算法,它們分別是：水嶺分割算法、 金字塔分割算法和均值漂移分割算法。 <13.1分水嶺分割算法 它是一種基于數(shù)學(xué)形態(tài)學(xué)的一種圖像分割方法,其基本思想是把圖像看作是測(cè)地學(xué)上的拓?fù)涞孛?圖像中每一點(diǎn)像素的灰度值表示該點(diǎn)的海拔高度,每一個(gè)局部極小值及其影響區(qū)域稱(chēng)為集水盆,而集水盆的邊界則形成分水嶺。 分水嶺算法首先計(jì)算灰度圖像的梯度,這

39、對(duì)山谷或沒(méi)有紋理的盆地〔亮度值低的點(diǎn)形成有效,也對(duì)山頭或圖像中有主導(dǎo)線段的山脈的形成有效。然后開(kāi)始從用戶(hù)指定點(diǎn)或算法得到點(diǎn)開(kāi)始持續(xù) "灌注" 盆地直到這些區(qū)域連在一起。合并后的區(qū)域通過(guò)聚集的方式進(jìn)行分割,從而把圖像分割成相應(yīng)的標(biāo)記區(qū)域[18]。在O penCV 中該算法實(shí)現(xiàn)的函數(shù)為cvW atershed<>,其定義如下：void cvW atershed;其中 im age是一個(gè) 8 位〔三通道的彩色圖像,而 m arker是單通道整形,具有相同維數(shù)的圖像。經(jīng)過(guò)分水嶺算法分割處理后的圖像效果圖如下圖所示: 原圖像

40、 分水嶺分割 圖2-5分水嶺算法分割處理 <2金字塔分割算法 圖像金字塔是一個(gè)圖像集合,集合中的所有圖像都源于同一個(gè)原始圖像,而且是通過(guò)對(duì)圖像連續(xù)降采樣獲得,直到達(dá)到某個(gè)終止條件才停止降采樣。金字塔分割首先建立一個(gè)圖像金字塔,然后在G i的像素和G i+1的像素直接依照對(duì)應(yīng)關(guān)系,建立起 "父—子" 關(guān)系[17]?，F(xiàn)在金字塔的高層低分辨率圖像上完成,然后逐層對(duì)分割加以?xún)?yōu)化。經(jīng)過(guò)金字塔算法分割處理后的圖像效果圖如下圖所示: 原圖像 金字塔分割 圖2-6金字塔算法分割處理 <3>均值漂移分割算法

41、 均值漂移分割能找到在空間上顏色分布的峰值。要根據(jù)空間變量設(shè)置一個(gè)空間半徑〔spatialRadius,根據(jù)顏色變量設(shè)置一個(gè)顏色半徑〔colorR adius 。經(jīng)過(guò)均值漂移算法分割處理后的圖像效果圖如下圖所示: 原圖像 均值漂移算法分割 圖 2-7均值漂移算法分割 2.2.4圖像濾波 圖像濾波,即在盡量保留圖像細(xì)節(jié)特征的條件下對(duì)目標(biāo)像的噪聲進(jìn)行抑制,是圖像預(yù)處理中不可缺少的操作,其處理效果的好壞將直接響到后續(xù)圖像處理和分析的有效性和可靠性。 由于成像系統(tǒng)、傳輸介質(zhì)和記錄設(shè)備等的不完善,數(shù)字圖像在其形成、傳輸記錄過(guò)程中往往會(huì)受到多種噪聲的污

42、染。另外,在圖像處理的某些環(huán)節(jié)當(dāng)輸入的像對(duì)象并不如預(yù)想時(shí)也會(huì)在結(jié)果圖像中引入噪聲。這些噪聲在圖像上常表現(xiàn)為一引起較強(qiáng)視覺(jué)效果的孤立象素點(diǎn)或象素塊。一般,噪聲信號(hào)與要研究的對(duì)象不相關(guān)它以無(wú)用的信息形式出現(xiàn),擾亂圖像的可觀測(cè)信息。對(duì)于數(shù)字圖像信號(hào),噪聲表為或大或小的極值,這些極值通過(guò)加減作用于圖像象素的真實(shí)灰度值上,在圖像造成亮、暗點(diǎn)干擾,極大降低了圖像質(zhì)量,影響圖像復(fù)原、分割、特征提取、圖識(shí)別等后繼工作的進(jìn)行。要構(gòu)造一種有效抑制噪聲的濾波機(jī)必須考慮兩個(gè)基本問(wèn)題能有效地去除目標(biāo)和背景中的噪聲；同時(shí),能很好地保護(hù)圖像目標(biāo)的形狀、大小及特定的幾何和拓?fù)浣Y(jié)構(gòu)特征。 〔1中值濾波 中值濾波是基于

43、排序統(tǒng)計(jì)理論的一種能有效抑制噪聲的非線性信號(hào)處理技術(shù),中值濾波的基本原理是把數(shù)字圖像或數(shù)字序列中一點(diǎn)的值用該點(diǎn)的一個(gè)鄰域中各點(diǎn)值的中值代替,讓周?chē)南袼刂到咏鎸?shí)值,從而消除孤立的噪聲點(diǎn)。方法是取某種結(jié)構(gòu)的二維滑動(dòng)模板,將板內(nèi)像素按照像素值的大小進(jìn)行排序,生成單調(diào)上升〔或下降的為二維數(shù)據(jù)序列。二維中值濾波輸出為,其中分別為原始圖像和處理后圖像。W為二維模板,通常為2*2,3*3區(qū)域,也可以是不同的的形狀,如線狀,圓形,十字形,圓環(huán)形等。 〔2均值濾波 均值濾波也稱(chēng)為線性濾波,其采用的主要方法為領(lǐng)域平均法。線性濾波的基本原理是用均值代替原圖像中的各個(gè)像素值,即對(duì)待處理的當(dāng)前像素點(diǎn)〔x,y,選

44、擇一個(gè)模板,該模板由其近鄰的若干像素組成,求模板中所有像素的均值,再把該均值賦予當(dāng)前像素點(diǎn),作為處理后圖像在該點(diǎn)上的灰度個(gè),即, m為該模板中包含當(dāng)前像素在內(nèi)的像素總個(gè)數(shù)。 〔3高斯濾波 高斯濾波是一種線性平滑濾波,適用于消除高斯噪聲,廣泛應(yīng)用于圖像處理的減噪過(guò)程。通俗的講,高斯濾波就是對(duì)整幅圖像進(jìn)行加權(quán)平均的過(guò)程,每一個(gè)像素點(diǎn)的值,都由其本身和鄰域內(nèi)的其他像素值經(jīng)過(guò)加權(quán)平均后得到。高斯濾波的具體操作是：用一個(gè)模板<或稱(chēng)卷積、掩模>掃描圖像中的每一個(gè)像素,用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點(diǎn)的值。 若使用3×3模板,則計(jì)算公式如下： 其中,為圖像中點(diǎn)的灰度

45、值,為該點(diǎn)經(jīng)過(guò)高斯濾波后的值。 〔4最大均勻性平滑濾波 最大均勻性平滑濾波是針對(duì)一些濾波方法在消除噪聲時(shí)引起邊緣退化的現(xiàn)象而提出的,其基本思想是,若圖像中的一個(gè)區(qū)域含有邊緣,它的灰度方差必定較大。該方法采用了9種不同形狀的模板,1個(gè)正方形模板,4個(gè)對(duì)稱(chēng)的五邊形模板,4個(gè)對(duì)稱(chēng)的六邊形模板,用各模板內(nèi)的灰度方差作為各個(gè)區(qū)域不均勻性的測(cè)試,以最為均勻的區(qū)域灰度均值作為被處理點(diǎn)的像素值。 〔5低通空域?yàn)V波 低通空域?yàn)V波是一種保留圖像的低頻成分,減少圖像的高頻成分的處理方法,有的稱(chēng)之為消噪聲掩膜法。因?yàn)閳D像噪聲常常以高頻、隨機(jī)的形式表現(xiàn)出來(lái),大面積的背景區(qū)和亮度漸變區(qū)域則屬低頻成分。低通空域?yàn)V波

46、以卷積方法進(jìn)行。 卷積方法實(shí)質(zhì)是一種加權(quán)求和的過(guò)程。選擇某種形狀的鄰域,將鄰域中的每個(gè)像素與卷積核中的對(duì)應(yīng)元素相乘,乘積求和的結(jié)果即為模板中心像素的新值,卷積核中的元素稱(chēng)為加權(quán)系數(shù)。 〔6高通空域?yàn)V波 高通空域?yàn)V波可以增強(qiáng)圖像的高頻成分而不改變圖像的低頻成分。這種情況下,相對(duì)來(lái)說(shuō),削弱了圖像的低頻成分。因?yàn)閳D像的邊緣或線條與圖像中的高頻分量相對(duì)應(yīng),高通濾波可以讓高頻分量順利通過(guò),使圖像的邊緣輪廓變得清楚。 2.3本章小結(jié) 本章節(jié)主要介紹機(jī)器視覺(jué)系統(tǒng)的概念,機(jī)器視覺(jué)系統(tǒng)作用和常用的圖像處理方法。在此基礎(chǔ)上,通過(guò)對(duì)理論的研究,找出適合于本次課題研究用的草莓的圖像識(shí)別方法,為第三章草莓的識(shí)

47、別打下良好的基礎(chǔ)。 第三章攝像機(jī)標(biāo)定和草莓的識(shí)別 攝像機(jī)標(biāo)定是機(jī)器視覺(jué)的首要任務(wù)。如果需要建立二維圖像空間像素點(diǎn)和三維空間物理點(diǎn)之間的關(guān)系,首先必須進(jìn)行攝像機(jī)標(biāo)定[19],它是攝像機(jī)測(cè)量與真實(shí)世界測(cè)量的聯(lián)系橋梁。場(chǎng)景不僅僅是三維的,也是用物理單位度量的空間,因此攝像機(jī)的自然單位〔像素和物理世界的長(zhǎng)度單位〔米的關(guān)系對(duì)三維場(chǎng)景的重構(gòu)至關(guān)重要。攝像機(jī)標(biāo)定需要建立攝像機(jī)幾何模型和透鏡畸變〔模型,這兩個(gè)模型定義了攝像機(jī)的內(nèi)參數(shù),對(duì)攝像機(jī)得到的每一幅特定物體的圖像,可以在攝像機(jī)坐標(biāo)系統(tǒng)上用旋轉(zhuǎn)矩陣和平移矩陣來(lái)描述物體的相對(duì)位置,二者構(gòu)成了攝像機(jī)外參數(shù)。知道了攝像機(jī)內(nèi)外參數(shù)就可以進(jìn)行投影變換即由物理點(diǎn)三

48、維空間坐標(biāo)計(jì)算出物理點(diǎn)在圖像平面投影點(diǎn)的二維像素坐標(biāo)。 準(zhǔn)確識(shí)別成熟油草莓是草莓采摘機(jī)器人進(jìn)行采摘作業(yè)的首要任務(wù)。本章通過(guò)對(duì)成熟草莓、未成熟草莓及樹(shù)葉的色差分量信息進(jìn)行提取和統(tǒng)計(jì)分析,提出一種基于色差分量閾值分割的成熟草莓自動(dòng)識(shí)別算法,并在 VC++ 環(huán)境下基于 OpenCV編程實(shí)現(xiàn)。 本文采用的攝像機(jī)是微軟公司發(fā)布的。本章簡(jiǎn)明扼要地介紹了攝像機(jī)標(biāo)定的基本理論和概念,并通過(guò)一種高精度攝像機(jī)標(biāo)定法——張正友的平面模板標(biāo)定法對(duì)相機(jī)參數(shù)進(jìn)行了確認(rèn)。本章的重點(diǎn)是介紹成熟草莓的識(shí)別。 3.1 攝像機(jī)標(biāo)定 機(jī)器視覺(jué)的研究目的是讓機(jī)器人通過(guò)二維圖像認(rèn)知三維世界,從中獲取用于重建和識(shí)別對(duì)象的信息。攝像

49、機(jī)是二維圖像和三維世界的聯(lián)系橋梁,攝像機(jī)的幾何模型表征了二者的相互關(guān)系,這種關(guān)系通過(guò)攝像機(jī)內(nèi)外參數(shù)來(lái)描述,攝像機(jī)標(biāo)定過(guò)程就是求解攝像機(jī)內(nèi)外參數(shù)的過(guò)程。 3.1.2攝像機(jī)標(biāo)定方法 依據(jù)是否需要標(biāo)定參照物,標(biāo)定方法可分為三種：傳統(tǒng)攝像機(jī)標(biāo)定方法,攝像機(jī)自標(biāo)定方法和主動(dòng)視覺(jué)攝像機(jī)標(biāo)定法[20]。 傳統(tǒng)攝像機(jī)標(biāo)定的基本方法是,在一定的攝像機(jī)模型下,基于特定的實(shí)驗(yàn)條件如形狀、尺寸已知的參照物,經(jīng)過(guò)圖像處理,利用一系列數(shù)學(xué)變換和計(jì)算方法,求取攝像機(jī)模型內(nèi)部參數(shù)和外部參數(shù),一般采用標(biāo)定塊作為參照物。傳統(tǒng)標(biāo)定方法對(duì)于任意的攝像機(jī)模型均適用,精度高,但該標(biāo)定方法的算法復(fù)雜,標(biāo)定計(jì)算的復(fù)雜度與攝像機(jī)成像幾何

50、模型的復(fù)雜性有關(guān),而實(shí)際應(yīng)用中很多情況下無(wú)法使用標(biāo)定塊。 攝像機(jī)自標(biāo)定方法不依賴(lài)于任何特殊標(biāo)定物或某些三維信息已知的控制點(diǎn),而僅僅利用了圖像對(duì)應(yīng)點(diǎn)的信息,直接通過(guò)圖像來(lái)完成標(biāo)定,得到相應(yīng)攝像機(jī)的內(nèi)外參數(shù)。這種標(biāo)定方法僅需要建立圖像之間的對(duì)應(yīng),靈活性強(qiáng),使得機(jī)器視覺(jué)技術(shù)能夠在更廣闊的范圍使用。但這種方法標(biāo)定過(guò)程復(fù)雜,不能滿足實(shí)時(shí)性要求較高的場(chǎng)合,主要用在對(duì)精度要求不高的場(chǎng)合,如通訊和虛擬現(xiàn)實(shí)等場(chǎng)合 基于主動(dòng)視覺(jué)的攝像機(jī)標(biāo)定方法是根據(jù)自主控制攝像機(jī)來(lái)獲取圖像數(shù)據(jù),線性地求解攝像機(jī)的模型參數(shù)。這種標(biāo)定方法由于在標(biāo)定過(guò)程中已知了關(guān)于攝像機(jī)的運(yùn)動(dòng)信息<包括諸如攝像機(jī)在平臺(tái)坐標(biāo)系下朝某一方向平移某一給

51、定量、攝像機(jī)的平移運(yùn)動(dòng)相互正交等定量信息,以及攝像機(jī)僅作純平移運(yùn)動(dòng)或僅作旋轉(zhuǎn)運(yùn)動(dòng)等定性信息>,所以一般來(lái)說(shuō),攝像機(jī)的模型參數(shù)可以線性求解且計(jì)算簡(jiǎn)單、魯棒性較高,缺點(diǎn)是不能用于攝像機(jī)運(yùn)動(dòng)未知和無(wú)法控制的場(chǎng)合,系統(tǒng)的成本較高。 在機(jī)器視覺(jué)系統(tǒng)中,應(yīng)根據(jù)具體的任務(wù)、綜合考慮速度、精度的要求和復(fù)雜性、價(jià)格的因素選擇合適的標(biāo)定方法。專(zhuān)用的標(biāo)定塊價(jià)格非常昂貴,而傳統(tǒng)攝像機(jī)標(biāo)定方法中的平面模板標(biāo)定法,其標(biāo)定物繪制簡(jiǎn)單,價(jià)格低廉,是一種非常實(shí)用、精度較高的標(biāo)定方法。本文綜合考慮上述因素,選擇平面模板標(biāo)定法作為草莓機(jī)器視覺(jué)系統(tǒng)的標(biāo)定方法。 3.1.3平面模板標(biāo)定法 1998 年張正友的平面標(biāo)定法,考慮了徑

52、向畸變,利用多幅平面模板代替?zhèn)鹘y(tǒng)的攝像機(jī)標(biāo)定塊,標(biāo)定攝像機(jī)的內(nèi)外參數(shù)。該方法只需繪制一個(gè)具有精確定位點(diǎn)陣的模板,模板用普通的激光打印機(jī)打印貼在一個(gè)平板上,然后用攝像機(jī)在兩個(gè)以上不同的方位拍攝模板的圖像,攝像機(jī)和模板都可以自由的移動(dòng),最后通過(guò)確定圖像和模板上的點(diǎn)的匹配關(guān)系,計(jì)算出圖像和模板之間的轉(zhuǎn)換矩陣,并利用該矩陣求解出攝像機(jī)的內(nèi)外參數(shù),原理圖如圖3-1所示。 圖3-1 張正友平面標(biāo)定法原理圖 其基本原理是：在這里假定模板平面在世界坐標(biāo)系的平面上,則模型為 〔3-1 其中

53、,K 為攝像機(jī)的內(nèi)參數(shù)矩陣,為模板平面上點(diǎn)的齊次坐標(biāo),,為模板平面上點(diǎn)投影到圖象平面上對(duì)應(yīng)點(diǎn)的齊次坐標(biāo),和t分別是旋轉(zhuǎn)矩陣和平移向量。 〔3-2 根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)如下： 〔3-3 每幅圖像可獲得以下兩個(gè)對(duì)內(nèi)參數(shù)矩陣的基本約束： <3-4> 由于攝像機(jī)有五個(gè)未知參數(shù),所以當(dāng)圖像數(shù)目大于等于 3 時(shí)就可以線性唯一的解出 K。 利用該方法標(biāo)定系統(tǒng)時(shí)的主要步驟[10]有： 〔1繪制并打印標(biāo)定模板并貼在一個(gè)平板上。 〔2移動(dòng)標(biāo)定模板從不同角度拍攝若干張模板圖像作為標(biāo)定圖

54、像。 〔3檢測(cè)出模板圖像中的特征角點(diǎn)。 〔4求出攝像機(jī)的內(nèi)參數(shù)和外參數(shù)。 〔5求畸變系數(shù),并進(jìn)一步優(yōu)化求精,減少標(biāo)定誤差 相機(jī)參數(shù) 平面模板 繪制棋盤(pán)角點(diǎn) 圖3-2平面模板標(biāo)定法 3.2 實(shí)驗(yàn)平臺(tái) 3.2.1 硬件設(shè)施 本次研究用的硬件設(shè)備包括HP筆記本電腦、草莓、Gsou攝像頭。 Gsou攝像頭：外觀造型小鋼炮,免驅(qū)動(dòng),像素1000萬(wàn),感光元件類(lèi)型CMOS,最大分辨率1024x768.硬件設(shè)施如圖3-3所示： 圖 3-3 硬件設(shè)施 3.2.2 軟件 基于Microsoft Visual Studio 2010開(kāi)發(fā)環(huán)境,利用OPENCV進(jìn)行圖像

55、處理。 OPENCV的應(yīng)用領(lǐng)域： 1.人機(jī)互動(dòng)； 7.機(jī)器人 2.物體識(shí)別； 8.運(yùn)動(dòng)分析 3.圖像分割； 9.機(jī)器視覺(jué) 4.人臉識(shí)別； 10.結(jié)構(gòu)分析 5.動(dòng)作識(shí)別； 11.汽車(chē)安全駕駛 6.運(yùn)動(dòng)跟蹤 OPENCV 編程語(yǔ)言： OPENCV[17]用C++語(yǔ)言編寫(xiě),它的主要接口也是C++語(yǔ)言,但是依然保留了大量的C語(yǔ)言接口。該庫(kù)也有大量的Python, Java and MATLAB/OCTAVE <版本

56、2.5>的接口。這些語(yǔ)言的API接口函數(shù)可以通過(guò)在線文檔獲得。如今也提供對(duì)于C#, Ch, Ruby的支持。 3.3 草莓的識(shí)別 在農(nóng)業(yè)設(shè)施內(nèi)對(duì)作物的果實(shí)圖像進(jìn)行實(shí)時(shí)、準(zhǔn)確地目標(biāo)識(shí)別,是采摘機(jī)器人視覺(jué)系統(tǒng)的關(guān)鍵技術(shù)之一,而目標(biāo)識(shí)別的實(shí)質(zhì)是圖像分割。大部分草莓處于采摘期時(shí),表面顏色與背景顏色存在較大差異,而同一品種果實(shí)表面顏色相近。體現(xiàn)在色彩空間中,果實(shí)表面顏色和背景顏色存在著不同的分布特性。根據(jù)這一特性,本研究應(yīng)用了一種基于色彩空間,適用于果實(shí)目標(biāo)提取的圖像分割算法。 快速而有效的把水果從背景中提取出來(lái)的方法是使用閾值分割方法。本研究的對(duì)象為成熟草莓,在圖像上成熟草莓呈現(xiàn)紅色,背景大

57、部分是綠色的枝葉,還有少部分是介于黃色和紅色之間的枯萎枝葉。利用兩者的顏色差異,采用簡(jiǎn)單的閾值,就可以把水果從背景中分離出來(lái)。 3.3.1 草莓識(shí)別處理流程 草莓識(shí)別處理流程如圖 3-4所示 圖3-4草莓識(shí)別處理流程 3.3.2 采集圖像 通過(guò)攝像頭對(duì)草莓進(jìn)行拍攝采集的圖像如圖3-5所示： 圖 3-5采集的草莓圖像 3.3.1 顏色空間轉(zhuǎn)換 本文采用將RGB顏色空間轉(zhuǎn)換為HSV顏色空間,HSV顏色空間在上一章做了介紹。 選擇在HSV顏色空間下進(jìn)行處理的原因： RGB圖像無(wú)法用單一的參數(shù)對(duì)圖像進(jìn)行分割,RGB圖像轉(zhuǎn)換為灰度圖像再進(jìn)行分割,這樣做的代價(jià)就是大大的損失的圖像的色

58、彩特征。但是如果將RGB圖像轉(zhuǎn)化到HSV空間,卻可以直接給綠色劃定一個(gè)定義區(qū)間了,即H〔色調(diào)的區(qū)間。在HSV色彩空間內(nèi)進(jìn)行草木、樹(shù)木圖像的分割,通過(guò)設(shè)定綠色區(qū)間的H〔色調(diào)的門(mén)限值,提取圖像中綠色的像素點(diǎn),從而實(shí)現(xiàn)分割。HSV3分量之間的相關(guān)性遠(yuǎn)遠(yuǎn)小于RGB色彩空間中3分量的聯(lián)系。顏色作為綠色植物的重要特征可以作為草木、樹(shù)木圖像分割的重要依據(jù)。當(dāng)綠色植物所處的周?chē)h(huán)境的色調(diào)與植物色調(diào)差別較大時(shí),通過(guò)把RGB模型轉(zhuǎn)換到HSV模型,經(jīng)H分割,可以得到比較理想的分割圖像和算法,簡(jiǎn)單快捷。同時(shí)MATLAB圖像處理工具箱提供了大量數(shù)字圖像處理的函數(shù)可供調(diào)用,可以很方便地實(shí)現(xiàn)各種分割算法,并進(jìn)行算法評(píng)價(jià)。