基于圖像處理的番茄采摘機器人的設(shè)計論文

《基于圖像處理的番茄采摘機器人的設(shè)計論文》由會員分享，可在線閱讀，更多相關(guān)《基于圖像處理的番茄采摘機器人的設(shè)計論文（104頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、 . . . 畢 業(yè) 論 文（設(shè)計） 題 目: 基于圖像處理的番茄采摘機器人的設(shè)計 目 錄 摘要I ABSTRACTII 1 緒論1 1.1 研究的背景與意義1 1.2 國外研究現(xiàn)狀1 1.3 國研究現(xiàn)狀2 1.4 主要研究容3 2 采摘機器人硬件系統(tǒng)設(shè)計5 2.1 系統(tǒng)整體方案設(shè)計5 2.2 雙目立體攝像機的選型7 2.3 圖像處理核心芯片的選型7 2.4 下位機控制器選型與電路設(shè)計13 2.5 采摘機械手自由度的降維方案和驅(qū)動設(shè)計18 2.6 滑臺限位和采摘手接觸檢

2、測和設(shè)計20 3 雙目視覺定位模型與攝像機參數(shù)標(biāo)定22 3.1 雙目視覺定位模型22 3.2 攝像機標(biāo)定方法24 3.3 標(biāo)定結(jié)果與分析26 4 圖像采集和預(yù)處理29 4.1 圖像采集29 4.2 圖像裁剪和二值化處理29 4.3 圖像濾波處理31 4.4 番茄果實邊緣檢測與輪廓提取32 4.5 圖像顯示調(diào)試方法設(shè)計34 5 番茄果實的特征點和形心參數(shù)的提取35 5.1 番茄果實圓周上特征點獲取的方法設(shè)計35 5.2 計算番茄果實的圓心和半徑的方法設(shè)計35 6 立體匹配和三維坐標(biāo)計算37 6.1 立體匹配37 6.2 番茄果實的空間三維坐標(biāo)的計算37 7 上下

3、位機通訊與下位機采摘設(shè)計39 7.1 上位機與下位機串行通訊協(xié)議設(shè)計39 7.2 上位機與下位機串行通訊寄存器配置39 7.3 上位機和下位機串行通訊程序40 7.4 下位機對番茄果實定位和采摘41 8 軟件開發(fā)環(huán)境配置42 8.1 CCS開發(fā)環(huán)境配置42 8.2 IAR開發(fā)環(huán)境配置45 9 樣機試驗和總結(jié)47 9.1 采摘機器人樣機試驗47 9.2總結(jié)和展望49 參考文獻(xiàn)51 致54 附錄55 附錄1 基于OPENCV的正友標(biāo)定算法程序（部分）55 附錄2 DSP 的主程序和圖像采集程序（部分）58 附錄3 圖像裁剪程序61 附錄4 圖像閾值分割程序62

4、附錄5 中值濾波程序63 附錄6 索貝爾邊緣檢測程序64 附錄7 番茄果實圓周上特征點獲取的程序（部分）65 附錄8 計算番茄果實的圓心和半徑的算法（部分）67 附錄9 番茄果實的空間三維坐標(biāo)定位的算法（部分）69 附錄10 上位機TMS320DM642的串行通訊寄存器配置與串行通訊程序73 附錄11 下位機MSP430F149的串行通訊程序76 附錄12 下位機對番茄果實定位和采摘的算法（部分）78 99 / 104 基于圖像處理的番茄采摘機器人的設(shè)計 摘 要 目前的番茄采摘基本上都是依賴于人工作業(yè)而導(dǎo)致勞動力成本高、勞動強度大，而現(xiàn)有的采摘機器人的研究基

5、本上都是停留在理論層面，而極個別物化的成果都是基于計算機，從而導(dǎo)致系統(tǒng)體積過大、功耗高和成本高。為解決以上問題，本文提出并開發(fā)了一套基于DSP的番茄采摘機器人。 本文的主要設(shè)計容包括基于DSP的采摘機器人系統(tǒng)的方案設(shè)計、各個硬件電路的設(shè)計、以與基于匯編語言、C語言和VC++三種編程語言的軟件設(shè)計。本文的主要貢獻(xiàn)為：（1）提出利用DSP代替計算機實現(xiàn)番茄圖像的采集、處理和果實的空間三維定位，并進(jìn)行了驗證；（2）提出一種采摘機械手降維的方法，解決了機器人建模復(fù)雜且實現(xiàn)困難的問題，并結(jié)合三維滑臺實現(xiàn)并完成了對空間中番茄的準(zhǔn)確抓取和采摘的功能。 試驗表明，本文研發(fā)的系統(tǒng)能夠?qū)崿F(xiàn)對番茄果實的準(zhǔn)確定位

6、和采摘，具有操作簡單、體積小巧、功耗低、性價比高等優(yōu)點。本系統(tǒng)的研發(fā)對于提高番茄的采摘效率，減少勞動力、降低農(nóng)民的勞動強度和采摘成本具有重要的實際意義，也為精準(zhǔn)農(nóng)業(yè)的發(fā)展提供了一種新的思路和方法。 關(guān)鍵字：番茄采摘；圖像處理；DSP；雙目立體視覺 Design of Tomato Picking Robot Based on Image Processing Abstract At present, the tomato harvest work mostly depends on the artificial operation, which causes the problem

7、s of high-cost, high labor intensity etc. But now, the research of picking robot mainly focuses on the theoretical research. Few materialized productions, which use the computer as the controller, have the characteristics of big-system volume, high power-consumption, and high cost etc. To solve the

8、above problems, this paper designs a tomato picking robot based on the DSP. The main design contents of this paper include the scheme design of robot picking robot based on DSP, the hardware circuit design and software design based on the assembler language, C language and VC++ language. The main

9、contributions of this paper include two aspects: (1) a novel scheme is proposes that DSP is used to take place of the computer to complete the tomato image acquisition, image process and three-dimension localization. (2) an novel approach for reducing dimensions is proposed to reduce the picking man

10、ipulator dimensions, which solves the difficulty in robot modeling and realization method. Combing with the three-dimension slipway, the grasping and picking for tomatoes are finished in the space. This experiment tests indicate that the designed system can realize the accurate positioning and pick

11、ing for tomatoes, as well as the system has many advantages of the simple operation, compact size, low power and high cost-performance ratio. The development of this system not only has the important meanings in improving the tomato picking efficiency, reducing human labors, reducing thelabor intens

12、ity of farmers and the picking cost, but also providing a new idea and method for the development of precision agriculture. Key words：tomato picking, image process, DSP, binocular stereo vision 1緒論 1.1 研究的背景與意義 番茄(Tomato)，又名西紅柿、或者洋柿子。其部含有豐富的蛋白質(zhì)、維生素，以與胡蘿卜素等

13、營養(yǎng)物質(zhì)。西紅柿具有減肥瘦身、消除人們的疲勞等功效[1-3]。據(jù)不完全統(tǒng)計，全世界番茄總產(chǎn)量約為5000萬噸/年，而我國則占到了約700萬噸/年[4]。 番茄采摘作業(yè)是當(dāng)前果蔬生產(chǎn)過程中比較費時和費力的環(huán)節(jié)。目前，番茄采摘主要依賴于人工作業(yè)，由果農(nóng)直接將番茄從植株上采摘下來。然而人工采摘作業(yè)存在成本偏高、勞動強度大、而且采摘很不與時等弊端。同時，當(dāng)前我國人口老齡化嚴(yán)重，農(nóng)業(yè)勞動人口因為“進(jìn)城”而驟減[5]。而隨著自動化技術(shù)的發(fā)展，自動采摘作業(yè)逐漸代替人類進(jìn)行作業(yè)，可以大大減少采摘人員的勞動強度。因此，進(jìn)行番茄采摘作業(yè)自動化的研究對于社會具有重要的現(xiàn)實意義[6]。 然而，番茄的大小和顏色呈現(xiàn)

14、非規(guī)則、非一致等特性，其生長環(huán)境的復(fù)雜性和農(nóng)田環(huán)境的非結(jié)構(gòu)化等特點共同決定了采摘設(shè)備的開發(fā)有一定的難度，而且由于番茄果實生長環(huán)境的背景復(fù)雜，加之番茄果實生長密集，果實之間的遮擋問題很嚴(yán)重，給圖像處理帶來許多困難。雖然目前已有學(xué)者進(jìn)行基于機器視覺方面的研究，但其目前的研究基本上是停留在某一方面理論層次的研究，如單純的雙目定位、機械手采摘路徑優(yōu)化等，而進(jìn)行實際應(yīng)用開發(fā)的研究特別少。即使這樣，當(dāng)前極個別的物化的應(yīng)用研究都是利用了基于PC上位機的OpenCV，即首先利用計算機視覺庫進(jìn)行圖像處理，然后進(jìn)一步通過控制采摘機械手對果實進(jìn)行采摘，但是這樣就使得采摘設(shè)備存在開發(fā)成本高、體積大和功耗高等缺點，給自

15、動化采摘作業(yè)的推廣應(yīng)用帶來新問題。 因此，開發(fā)一套基于DSP的低功耗、小體積、低成本的番茄采摘機器人，對提高番茄采摘勞動生產(chǎn)率、降低農(nóng)民的勞動強度和采摘成本，提高我國精準(zhǔn)農(nóng)業(yè)設(shè)施的現(xiàn)代化和智能化水平、加快農(nóng)業(yè)科學(xué)進(jìn)步具有重要的現(xiàn)實意義。 1.2國外研究現(xiàn)狀 采摘機器人要實現(xiàn)精確的采摘，最重要的就是確定果實在空間三維坐標(biāo)中的精確位置，而果實三維空間中的位置需要利用機器視覺來完成。機器視覺已有二三十年的發(fā)展歷史，其功能與適用圍隨著當(dāng)今科技的快速發(fā)展而不斷應(yīng)用和完善。采摘機器人是農(nóng)業(yè)機器人中一種特別重要的機器人，很多發(fā)達(dá)國家現(xiàn)在已經(jīng)在采摘機器人領(lǐng)域有了較大的發(fā)展。比如美國、荷蘭、以色列等西方國

16、家在此領(lǐng)域有較為成熟的發(fā)展[7-15]。 20世紀(jì)80年代，美國麻省理工學(xué)院的D.Marr，從計算機科學(xué)的角度出發(fā)，將神經(jīng)生理學(xué)、數(shù)學(xué)以與心理物理學(xué)融為一體，提出了視覺計算理論，該理論是雙目視覺的前提條件，也為以后機器視覺采摘機器人的發(fā)展奠定了基礎(chǔ)[16-18]。 1994年，英國Silsoe研究院的科學(xué)家從圖像識別出發(fā)，研制出了蘑菇采摘機器人，該機器人可以通過圖像處理自動測量并判斷蘑菇的大小和空間三維坐標(biāo)，進(jìn)而選擇性的進(jìn)行采摘工作[19-20]。 1996年，日本岡山大學(xué)的Kondo N通過圖像識別，研發(fā)了基于圖像處理的番茄采摘機器人。該機器人使用攝像頭采集圖像，經(jīng)過圖像處理后，識別出

17、成熟的番茄，使用采摘機械手實現(xiàn)對果實的準(zhǔn)確采摘[21-22]。 2000年，以色列國家的科學(xué)家研發(fā)了世界上第一臺甜瓜采摘機器人。該機器人利用黑白圖像處理的方法進(jìn)行甜瓜的識別和空間定位。同時，該機器人還能根據(jù)甜瓜的圓形和橢圓形等幾何形狀特征的特殊性來增加識別成功的概率。經(jīng)過實驗驗證，該采摘機器人可以自主完成大部分的甜瓜識別與采摘工作[23]。 1.3 國研究現(xiàn)狀 從摘機器人的發(fā)展趨勢和成就來看，盡管我國在采摘機器人的研究領(lǐng)域起步較晚，較發(fā)達(dá)國家有不少差距，而且當(dāng)前大部分的工作還主要集中在實驗室的仿真和試驗階段，但不少研究人員也開始也取得了一定的成果[24-30]。 2004年，中國農(nóng)業(yè)大

18、學(xué)的鐵中等人通過色彩空間參照表，提出了適用于水果采摘機器人視覺系統(tǒng)果實目標(biāo)提取的圖像分割算法。通過對比試驗發(fā)現(xiàn)，采用該算法分別對草莓和西紅柿等果實的圖像在Lab、HSV、YCbCr色彩模型下進(jìn)行實驗，取得了理想的效果[31-32]。 2009年濰坊學(xué)院的宋鍵等人根據(jù)茄子生長的空間分布信息，采用了基于直方圖的固定閾值法實現(xiàn)了對灰度圖像進(jìn)行小區(qū)域分割，完成了對茄子果實的輪廓、質(zhì)心等參數(shù)的判斷。試驗證明，該方法對茄子等作物的識別率較高，而且系統(tǒng)本身工作穩(wěn)定，但是缺點是耗時過長[33-34]。 2010年農(nóng)業(yè)大學(xué)的司永勝等人通過對不同光照情況下拍攝的蘋果圖像進(jìn)行識別，利用歸一化的紅綠色差算法獲得蘋

19、果了輪廓圖像。實驗結(jié)果證明：該識別算法的準(zhǔn)確識別率可以達(dá)到90%以上。同時，采用隨機圓環(huán)法，實現(xiàn)了準(zhǔn)確地提取果實的圓心和半徑參數(shù)[35-36]。 2014年大學(xué)的呂繼東等人為了縮短系統(tǒng)對圖像識別的時間，提高蘋果果實的識別率，利用動態(tài)閾值分割的方法，通過改進(jìn)的去均值歸一化積法實現(xiàn)了快速跟蹤目標(biāo)果實，并進(jìn)行了不同閾值分割方法下果實識別的對比性試驗。試驗結(jié)果證明，該方法大大減少了蘋果采摘機器人采摘過程處理時間，而且識別率也較之前的方法有所改善[37-38]。 1.4 主要研究容 本文主要是通過利用DSP控制雙目攝像機采集圖像，并經(jīng)過二值化、濾波處理、索貝爾邊緣處理、形心確定、特征點匹配、三維重

20、建等步驟實現(xiàn)對番茄的空間三維定位，然后將番茄果實的空間三維坐標(biāo)等參數(shù)傳送至下位機，下位機進(jìn)而通過控制三維滑臺和采摘機械手實現(xiàn)對番茄的抓取和采摘工作。 本設(shè)計的主要研究容如下： 1、對采摘機器人的總體硬件方案進(jìn)行選擇和設(shè)計 系統(tǒng)硬件主要包括數(shù)字信號處理器型號的選擇、攝像機型號的選取、控制器的選擇以與其它硬件電路的選型和設(shè)計。本設(shè)計還對三維滑臺類型和長度進(jìn)行選取并組裝，選取合適的驅(qū)動器與配套的驅(qū)動電源，利用控制器實現(xiàn)對滑臺的控制。同時，需要選擇合適的采摘機械手并對采摘手的采摘頭進(jìn)行改裝設(shè)計，選擇合適的舵機驅(qū)動器并利用下位機控制器實現(xiàn)對采摘機械手對果實的抓取和釋放。同時，本設(shè)計還需對滑臺限位傳

21、感器和采摘機械手接觸傳感器進(jìn)行選型和設(shè)計等。 2、獲取雙目攝像機的參數(shù)和外參數(shù) 由于攝像機標(biāo)定的結(jié)果是立體視覺的前提，它決定了后續(xù)番茄果實空間三維定位的精確度。雙目攝像機標(biāo)定主要是通過兩攝像機對外界的標(biāo)定板進(jìn)行拍攝若干幅圖片后，通過利用C++編寫的上位機標(biāo)定程序計算出攝像機各自的外參數(shù)的過程。 3、利用DSP控制雙目攝像機進(jìn)行圖像采集并對采集的圖像進(jìn)行二值化處理、邊緣處理、中值濾波等預(yù)處理操作 通過利用DSP實現(xiàn)對視頻解碼芯片和視頻編碼芯片的控制，從而實現(xiàn)對視頻采集后的輸入解碼和編碼輸出控制，然后DSP可以對采集后圖像進(jìn)行預(yù)處理，包括圖像的閾值分割、索貝爾邊緣處理、中值濾波等操作，為后

22、續(xù)的空間三維定位奠定基礎(chǔ)。 4、利用DSP實現(xiàn)對特征點的匹配、三維重建，并能簡單的進(jìn)行三維坐標(biāo)的計算并將計算結(jié)果輸送至控制器 利用DSP對左右兩個攝像機采集后的圖像視頻進(jìn)行初步處理后確定番茄果實的特征點、形心等參數(shù)，找到相對應(yīng)的匹配點，并根據(jù)上述步驟中攝像機標(biāo)定得到的外參數(shù)，利用雙目定位數(shù)學(xué)模型，根據(jù)三維重建初步計算番茄的空間三維坐標(biāo)，并能通過串行通訊將其傳送到下位機控制器。 5、控制器能與DSP通訊并根據(jù)接收到的數(shù)據(jù)實現(xiàn)對三維滑臺和采摘機械手的控制，從而實現(xiàn)對番茄果實的精確定位、抓取和采摘 下位機控制器MSP430F149能通過串口接收來自DSP的三維坐標(biāo)信息與采摘信息，并能將番

23、茄果實的空間三維坐標(biāo)轉(zhuǎn)化為采摘機械手的空間三維坐標(biāo)。同時，下位機控制器能根據(jù)接收的番茄果實空間三維坐標(biāo)數(shù)據(jù)控制三維滑臺工作，使得三維滑臺移動到待采摘的番茄正前方，然后下位機控制器可以控制采摘機械手實現(xiàn)對番茄的抓取和采摘工作，最后將番茄送入集果箱。 2 采摘機器人硬件系統(tǒng)設(shè)計 2.1 系統(tǒng)整體方案設(shè)計 本設(shè)計中，基于圖像處理的采摘機器人主要包括上位機模塊和下位機模塊。 上位機模塊主要包括：TMS320DM642圖像處理模塊、圖像采集模塊、視頻解碼模塊、電源模塊、視頻編碼模塊、顯示模塊和串行通訊模塊等。 下位機模塊主要包括：MSP430F149主控模塊、電源模塊、串行通訊模塊、三

24、維滑臺、采摘機械手、傳感器模塊、滑臺驅(qū)動器、舵機驅(qū)動器和燈光補償模塊等。 上位機和下位機主要通過RS232串行通訊模塊進(jìn)行數(shù)據(jù)的傳輸。上位機中的圖像采集模塊采集待采摘區(qū)域的圖像后，通過視頻解碼模塊將視頻的模擬信號轉(zhuǎn)換為數(shù)字信號送入TMS320DM642圖像處理模塊，TMS320DM642圖像處理模塊一方面通過對數(shù)字信號進(jìn)行處理和分析，實現(xiàn)對番茄果實進(jìn)行提取輪廓、形心位置確定、立體匹配和計算番茄果實的三維空間坐標(biāo)等處理和將計算后的數(shù)字信號傳輸至視頻編碼模塊，視頻編碼模塊將處理后的番茄果實的圖像再次轉(zhuǎn)換為模擬信號并送至顯示器進(jìn)行顯示以便開發(fā)人員調(diào)試；另一方面，TMS320DM642圖像處理模塊將

25、計算出的番茄果實的空間三維坐標(biāo)的數(shù)據(jù)通過串行通訊發(fā)送至下位機MSP430F149主控模塊。在這個過程中，電源模塊為上位機整個子模塊提供電能。 下位機中的MSP430F149主控模塊通過串行通訊口接收到來自TMS320DM642發(fā)送的番茄果實三維空間坐標(biāo)數(shù)據(jù)后提取坐標(biāo)的有效值，然后通過滑臺驅(qū)動器驅(qū)動三維滑臺運動至帶采摘番茄果實的正前方位置，然后，MSP430F149主控模塊控制舵機驅(qū)動器驅(qū)動采摘機械手對番茄果實進(jìn)行準(zhǔn)確抓取和采摘，最后將番茄果實送入集果箱中。在整個下位機工作過程中，電源模塊為下位機的整套系統(tǒng)提供電能，同時碰撞傳感器和觸碰傳感器實時檢測三維滑臺是否到達(dá)端點，觸碰傳感器實時檢測采摘

26、機械手在對番茄果實進(jìn)行抓取時，機械手的兩個手掌是否已經(jīng)接觸到番茄果實。燈光補償模塊能夠使使TMS320DM642圖像處理模塊更好的對外界的圖像進(jìn)行處理，減少外界光源對系統(tǒng)的干擾。 本設(shè)計的番茄采摘機器人的整體結(jié)構(gòu)框圖如圖2-1。 圖2-1 番茄采摘機器人的整體結(jié)構(gòu)框圖 基于圖像處理的采摘機器人的設(shè)計流程圖如圖2-2所示。主要步驟包括上下位機的硬件搭建、雙目攝像機外參數(shù)的標(biāo)定等。其中，硬件搭建還包括DSP與MSP430F149之間的串行通訊，數(shù)字圖像采集中還包括將采集的模擬信號轉(zhuǎn)換為數(shù)字信號送入DSP中等[39]。 圖2-2基于圖像處理的采摘機器人的設(shè)計流程圖 2.2雙目立體

27、攝像機的選型 攝像機的參數(shù)決定了后續(xù)圖像處理的精度，考慮到性能和價格兩方面因素，本設(shè)計選用索尼生產(chǎn)的MJW短槍攝像機，該攝像機采用了最新的DSP數(shù)字處理技術(shù)，CCD尺寸為1/3英寸，有效像素PAL：720×576(440K)，NTSC：769×494(380K)，具有自動白平衡(AWB)和增益補償控制(AGC)功能。 由于攝像機在生產(chǎn)時的工藝問題，很容易造成兩個攝像機的參數(shù)不同，如基線長度、CMOS面積大小和畸變系數(shù)，因此需要在后續(xù)的軟件設(shè)計中需要對其外參數(shù)進(jìn)行測定。另外，由于該攝像機可以變焦，因此在進(jìn)行圖像處理前需要對攝像機的鏡頭進(jìn)行測試，即將攝像機的焦距調(diào)整到合適的位置，使之采集的圖像

28、清晰，便于后續(xù)圖像的處理工作。 2.3圖像處理核心芯片的選型 在當(dāng)前的圖像處理領(lǐng)域，基于下位機硬件的器件主要有FPGA、ARM、DSP以與ARM與DSP組合的平臺。 方案一：FPGA（現(xiàn)場可編程門陣列），采用硬件邏輯描述作為開發(fā)語言，器件本身的運行速度較快，但是對開發(fā)人員的專業(yè)知識要求過高，而且程序移植較為困難。 方案二：ARM(Advanced RISC Machines)，一般用在控制領(lǐng)域和嵌入式領(lǐng)域，比較擅長做時序控制類、嵌入式類的工作，不適合做大容量的數(shù)字計算工作。 方案三：DSP(Digital Signal Processor)，即：數(shù)字信號處理器，它一般適用于做數(shù)字信號

29、處理運算方面的工作，而且實時性較好。另外數(shù)字信號處理器具有體積小、功能強、成本低等特點，并且有的具有專用的協(xié)處理器用于圖像的處理工作。DSP芯片部采用的是哈弗結(jié)構(gòu)，也就是程序和數(shù)據(jù)分開管理的方式，從而使得程序處理效率較高。 綜合以上方案，我們采用TMS320DM642作為圖像處理的核心芯片。TMS320DM642是美國TI公司專門為視頻處理領(lǐng)域設(shè)計的芯片，它具有強大的計算能力和豐富的片設(shè)備，因此成為多種視頻和圖像處理應(yīng)用的首選。 TMS320DM642芯片可以提供三種最高主頻：500M、600M和720M，其相應(yīng)的指令周期為：2ns、1.67ns和1.39ns。而且，其本身就有8個處理單元

30、，在滿負(fù)荷運行時可以完成8個指令/周期。因為使用的是C64x核，因此其具備了128kbit的L1P高速程序緩存，128kbit的L1D高速數(shù)據(jù)緩存，2Mkbit的L2高速聯(lián)合緩存的片外設(shè)。它具有64個獨立的EDMA通道，可以很方便的實現(xiàn)與外界數(shù)據(jù)的快遞交換。 圖像處理核心芯片TMS320DM642主要包括時鐘系統(tǒng)、電源供電電路、復(fù)位電路、視頻解碼電路、視頻編碼電路以與串口通訊電路等。下面我們一一介紹： 時鐘電路： TMS320DM642有多個時鐘源來滿足不同的核和外設(shè)的需求，它通過時鐘芯片提供了六個不同頻率的時鐘源，分別是：50M的TMS320DM642時鐘，25M的以太網(wǎng)芯片時鐘，10

31、0M的SDRAM時鐘，20M的異步通訊芯片時鐘，3.57M的看門狗時鐘，4.31818M的視頻解碼芯片時鐘，27M的視頻編碼芯片時鐘。 TMS320DM642的核可以工作在600MHz頻率上，甚至超頻后能在720MHz的頻率上工作，但是DSP的外部頻率只有50MHz。因此，我們可以通過時鐘鎖相電路(PLL)來獲得倍頻，再通過分頻獲得多種不同頻率的時鐘供DSP的片外設(shè)使用。 TMS320DM642時鐘電路圖如圖2-3所示： 圖2-3 TMS320DM642時鐘電路圖 電源供電電路： TMS320DM642要求系統(tǒng)必須為其提供1.4伏和3.3伏電壓值的電源。其中，CPU核工作在

32、1.4伏，而且，DSP核對供電電源的穩(wěn)定性和可靠性要求很高。DSP在進(jìn)行工作時，特別是圖像處理時，主頻可以達(dá)到最高的720MHz，此時CPU核消耗的能量起伏非常大，而且隨運算量變化的幅度變化急劇，很可能在短時間達(dá)到安倍級。因此，CPU核對它的供電部分具有很高的要求和限制。但是因為轉(zhuǎn)換效率的問題，一般選擇可以承受較大電流的開關(guān)電源。開關(guān)電源具有最大的特點是：即使外界的負(fù)載變化很大，其依舊能輸出紋波系數(shù)較小的電壓，一般情況下可以滿足高速DSP這種對輸入電壓有較高要求的處理器。TMS320DM642的外設(shè)工作在3.3V電壓，這個電壓的要求相對沒有那么嚴(yán)格，因此可以通過開關(guān)電源或一般的穩(wěn)壓電路提供。

33、 TMS320DM642對電源的具體要求如表2-1所示。 表2-1 TMS320DM642對電源的具體要求 TMS320DM642電源供電電路圖如圖2-4所示： 圖2-4 TMS320DM642電源供電電路圖 復(fù)位電路： TMS320DM642不僅對電壓和電流有一定要求，對復(fù)位信號也有要求。它要求復(fù)位信號必須具備一定時間的低電平和跳變周期。本設(shè)計中選用的是TPS3823-33，該芯片所搭建的復(fù)位電路較為簡單：系統(tǒng)上電后，該芯片首先檢測電源的電壓，如果正常，則給出復(fù)位信號，DSP開始正常啟動。 TMS320DM642復(fù)位電路圖如圖2-5所示： 圖2-5 TMS32

34、0DM642復(fù)位電路圖 視頻解碼電路設(shè)計： TMS320DM642芯片最多能采集6路視頻圖像信號。在本設(shè)計中，我們集成了四個視頻解碼芯片，這樣可以實現(xiàn)4路視頻的實時采集功能，即使試驗中有一路或兩路視頻解碼芯片壞掉我們依然可以使其正常工作。本設(shè)計中視頻解碼芯片采用TI公司生產(chǎn)的TVP5150芯片，這是一款高性能、低功耗的視頻解碼芯片，支持兩路復(fù)合視頻的視頻輸入，其視頻輸出格式為通用的BT656，具有封裝面積小、超低功率等優(yōu)點。 TVP5150視頻解碼電路圖如圖2-6所示： 圖2-6 TVP5150視頻解碼電路圖 在上述設(shè)計的電路中，一般視頻電路的輸入電路，為了降低功耗和噪聲，需要

35、控制輸入到芯片的視頻信號的電壓調(diào)整到0-1V之間。當(dāng)然，TVP5150可以采集PAL或者NTSC視頻，而且可以自動判斷視頻輸入信號的制式，因此不需要我們自己去控制并轉(zhuǎn)換。 視頻編碼輸出電路設(shè)計： 本設(shè)計中，視頻編碼芯片我們采用的是菲利普公司的SAA7121，該芯片輸入為標(biāo)準(zhǔn)的8位BT656數(shù)字視頻數(shù)據(jù)流，輸出為PAL制復(fù)合視頻CVBS信號，該信號可以直接通過AV轉(zhuǎn)接頭接在顯示器上。與TVP5150一樣，SAA7121也使用I2C總線來設(shè)置工作參數(shù)和反饋狀態(tài)信息，且也只能作為從設(shè)備。SAA7121視頻解碼輸出電路圖設(shè)計如圖2-7所示： 圖2-7 SAA7121視頻解碼輸出電路圖 串

36、口通訊電路： TMS320DM642提供了一路RS232串行通訊口，考慮到MSP430F149也有串行通訊口，因為我們選擇RS232作為DSP和MSP430F149之間的通訊方式。盡管TMS320DM642上視頻捕獲口提供的McBSP功能可以作為串口通訊口，但是因為所有的視頻捕獲口已經(jīng)被視頻的兩路輸入和一路輸出耗盡，因此我們只能通過其它方式擴展串行通訊接口。在該功能的擴展中，我們使用了TI公司的TL16C752B異步通訊收發(fā)器，該芯片包含了兩路獨立的異步收發(fā)器，可以分別為接收和發(fā)送提供64個字節(jié)的FIFO（數(shù)據(jù)結(jié)構(gòu)中的先進(jìn)先出序列），而且支持DMA方式的數(shù)據(jù)傳輸，使得數(shù)據(jù)通訊非常方便。TMS

37、320DM642的串口通訊電路圖如圖2-8如下： 圖2-8 TMS320DM642的串口通訊電路圖 2.4下位機控制器選型與電路設(shè)計 2.4.1下位機核心模塊的選擇 方案一：采用STC89C52系列單片機。該系列單片機價格便宜，性能穩(wěn)定。但是其主頻偏低，功能偏弱，而且外設(shè)較少，I/O引腳偏少。 方案二：采用MSP430系列單片機。該系列單片機部集成了較豐富的外設(shè)，特別是能夠產(chǎn)生PWM波形并擁有硬件乘法器。并且其一般擁有較多的I/O口，可以滿足不是特別復(fù)雜系統(tǒng)的需求。 方案三：采用TMS320F28系列DSP。該系列的DSP擁有較高的主頻，而且片外設(shè)很豐富，I/O口較多，非常適

38、合復(fù)雜系統(tǒng)的控制。但是價格一般較高，開發(fā)難度較大。 綜合以上方案，我們選擇了TI公司的MSP430F149作為下位機的核心控制器。該單片機有著60K的尋址圍，同時帶有16為總線尋址結(jié)構(gòu)，芯片核工作電壓為3.3V。而且超低功耗模式，在低功耗模式下，最小的工作電流僅為1.3mA。由于它有三個UART通信接口，因此可以很方便的與本設(shè)計中的DSP和舵機驅(qū)動器等模塊連接和通訊。 2.4.2 下位機的功能分配與總體方案設(shè)計 在本設(shè)計中，MSP430F149承擔(dān)了下位機的主要檢測和控制功能，主要體現(xiàn)在以下幾個方面： 1．通過串行通訊接收來自TMS320DM642的三維坐標(biāo)信息并將數(shù)據(jù)存入數(shù)組中；

39、2．根據(jù)接收到的三維坐標(biāo)信息驅(qū)動三維滑臺對番茄果實進(jìn)行準(zhǔn)確定位； 3．驅(qū)動采摘機械手對番茄果實進(jìn)行準(zhǔn)確抓取和采摘； 4．驅(qū)動液晶顯示模塊對接收到的三維坐標(biāo)信息進(jìn)行實時顯示并顯示當(dāng)前的采摘區(qū)域； 5．驅(qū)動4×4按鍵模塊，能夠接收到矩陣鍵盤的鍵入信息并實現(xiàn)對采摘機器人的手動控制； 6．實時檢測碰撞傳感器的觸點閉合信息，并能對外界的信息做出反應(yīng)，如：在滑臺到達(dá)頂點時，與時停止相應(yīng)的滑臺運動。 本設(shè)計所用到MSP430F149單片機的I/O多達(dá)40多個，每個I/O口都著自己的功能。具體的各個引腳功能分配如表2-2所示，MSP430F149總體方案電路圖設(shè)計如圖2-9所示。 表2-2 MS

40、P430F149引腳分配 圖2-9 MSP430F149總體方案電路圖 2.4.3 下位機串行通訊電路設(shè)計 在本設(shè)計中，使用了MSP430F149其中的兩路串行通訊功能，第一路主要用于MSP430F149與上位機TMS320DM642的通訊，主要接收來自上位機的番茄果實的三維坐標(biāo)信息并用于為采摘機械手對果實的精確定位和抓??；第二路主要用于控制采摘機械手上的兩個舵機，以便實現(xiàn)采摘機械手對果實的抓取和采摘。 在本設(shè)計中，我們選用了MAX3232芯片作為MSP430F149的串行通訊芯片，MAX3232芯片具有兩路接收器和兩路驅(qū)動器，也就是可以同時接受兩路數(shù)據(jù)，同時可以發(fā)送兩路數(shù)據(jù)

41、。另外，它還提供了1uA的關(guān)斷模式，有效地降低了系統(tǒng)的功耗。 MAX232串行通訊電路圖如圖2-10所示。 圖2-10 MAX232串行通訊電路圖 2.4.44×4矩陣鍵盤電路設(shè)計 在本設(shè)計的初期，當(dāng)番茄采摘機器人處于死區(qū)或者番茄機器人因為某些故障而發(fā)生停止或失控行為時，為了實現(xiàn)對三維滑臺、采摘機械手等的手動調(diào)整，也為后期工作人員操作提供方便，我們設(shè)計了4×4矩陣鍵盤。這樣系統(tǒng)不僅可以通過自動控制，而且具有手動微調(diào)等功能，提高了系統(tǒng)的實用性和安全性。本設(shè)計中的4×4矩陣鍵盤電路圖設(shè)計如圖2-11所示。 圖2-11 4×4矩陣鍵盤電路圖 該4×4矩陣鍵盤的盤上一共16個數(shù)

42、字和字母等，每個按鍵都有自己的功能，具體的功能分配如表2-3所示。 表2-34×4矩陣鍵盤功能分配表 2.4.5 LCD12864液晶顯示模塊電路設(shè)計 在本設(shè)計中，為了使人機信息互換更加人性化，讓開發(fā)人員在程序調(diào)試過程中更加方便。我們在控制柜上安裝了一塊LCD12864液晶顯示屏。在系統(tǒng)運行中，通過12864液晶來顯示MSP430F149接收到的三維坐標(biāo)信息、采摘區(qū)域等參數(shù)，提高了系統(tǒng)參數(shù)的可讀性。在本設(shè)計中，我們將LCD12864液晶安裝在控制柜的正面，方便用戶察看和讀取數(shù)據(jù)。 本設(shè)計中的LCD12864液晶電路圖如圖2-12所示，LCD12864液晶工作時的圖像如圖2-13所示

43、。 圖2-12 LCD12864液晶電路圖 圖2-13 LCD12864液晶工作時的圖像 2.5采摘機械手自由度的降維方案和驅(qū)動設(shè)計 2.5.1采摘機械手自由度的降維方案設(shè)計 采摘機械手在進(jìn)行對番茄果實進(jìn)行準(zhǔn)確抓取時，如果要定位空間中的某一個三維坐標(biāo)點，實現(xiàn)采摘機械手在空間中的任意變換姿態(tài)，則需要至少六個自由度才能完成，即：采摘機械手的旋轉(zhuǎn)（基座）、大臂的轉(zhuǎn)動（肩關(guān)節(jié)）、小臂的轉(zhuǎn)動（肘關(guān)節(jié)）、手腕的上下擺動（腕擺動關(guān)節(jié)）和左右旋轉(zhuǎn)（腕旋轉(zhuǎn)關(guān)節(jié)）、采摘手的合（手爪關(guān)節(jié)）。當(dāng)然在數(shù)學(xué)建模和仿真時，只需對前四個關(guān)節(jié)進(jìn)行分析即可。即使這樣，由于自由度的數(shù)目問題，在進(jìn)行數(shù)學(xué)建模時仍

44、然比較困難，仍需要一系列的正運動學(xué)方程、連桿變換、矩陣變換以與逆運動學(xué)位姿的求解等知識。 為了降低求解和設(shè)計難度，本設(shè)計提出了一種降維方法，即利用三維滑臺的方式代替六自由度的采摘機械手，由于三維滑臺中的每一維滑臺決定了采摘手在三維空間中的位置，即：X方向滑臺決定了采摘手在三維空間中的x的坐標(biāo)值大小，Y方向滑臺決定了采摘手在三維空間中的y的坐標(biāo)值大小，Z方向滑臺決定了采摘手在三維空間中的z的坐標(biāo)值大小。只要能夠確定三維滑臺的每一維滑臺運動的增量大小，就可以很容易的計算出采摘手在三維空間中的位置變換關(guān)系。 2.5.2三維滑臺選型、受力方向分析和措施 滑臺具有重量輕、精度高、精度可逆性等優(yōu)點，

45、現(xiàn)在被廣泛的應(yīng)用在PCB雕刻機、打印機、ATM、印刷機等設(shè)備中，它們在其中承擔(dān)了非常重要的角色?；_主要分為同步帶滑臺和滾珠絲杠滑臺，我們在選用時可以根據(jù)負(fù)荷大小，受載荷方向、沖擊和振動大小等情況來選擇。 本設(shè)計中，X方向的水平滑臺主要受垂直方向的壓力，另外，由于采摘機械手進(jìn)行不平衡的運動，因此還要受到前后方向的壓力。由于X方向上的同步帶滑臺的托盤面積狹小，為了增強整個系統(tǒng)的穩(wěn)定性，我們選擇在平行X方向上增加一根光軸，這樣大大增加了系統(tǒng)的穩(wěn)定性，也提高了系統(tǒng)的抗擾性能。在X方向的滑臺上，為了提高整套系統(tǒng)的移動速度和精度，我們選用了靜音同步帶滑臺，長度為2000mm。 Y方向上的水平滑臺主要

46、受水平的壓力，由于Y方向上的滑臺只能豎直放置，并且豎直與X方向上的托盤的接觸截面積較小，因為我們采用安放“L”形狀支架的方式增強系統(tǒng)的穩(wěn)定性。在Y方向的滑臺上，由于采摘機器在該方向上不會大幅度移動，但是不管采摘機器在工作或非工作期間都需要承受垂直方向的力，并且考慮到系統(tǒng)的成本，我們選用了滾珠絲杠滑臺，長度為800mm。 Z方向上的滑臺主要收到采摘機械手的不平衡運動的力，由于放置問題，因為我們主要采用盡量自平衡的方法，即：將Z方向的滑臺的中心點盡量放置在Y方向滑臺的滑塊上，這樣在大多數(shù)情況下，Z方向上的滑臺的受力是均勻的，這樣間接地增強了系統(tǒng)的自平衡性。在Z方向的滑臺上，由于采摘機器在該方向上

47、實現(xiàn)帶動采摘機械手的運動，因此需要考慮運動速度，因此我們選用了同步帶靜音直線滑臺，長度為900mm。 2.5.3三維滑臺的驅(qū)動方案設(shè)計 在本設(shè)計中，由于側(cè)重點為系統(tǒng)整體的設(shè)計思路和圖像處理，因此在無關(guān)緊要的模塊上，為了節(jié)省時間，并沒有去深入的設(shè)計每一個模塊電路。本設(shè)計中選擇的滑臺的步進(jìn)電機驅(qū)動器為已經(jīng)開發(fā)好的成品，型號為：HYQD40-H5742。該驅(qū)動器是一款專業(yè)的兩相步進(jìn)電機驅(qū)動器，可以對步進(jìn)電機正反轉(zhuǎn)控制，而且可以通過3位撥碼開關(guān)選擇步進(jìn)電機的8檔細(xì)分控制，通過3位撥碼開關(guān)可以選擇步進(jìn)電機的6檔電流控制。該驅(qū)動器非常適合驅(qū)動57、42型兩相、四相混合式步進(jìn)電機。 在HYQD40-H

48、5742驅(qū)動器的控制面板上，詳細(xì)的列出了信號線的接口定義，接口主要分為三部分，分別為：信號輸入端、電機繞組連接和工作電壓的連接。HYQD40-H5742驅(qū)動器的接口定義如表2-4所示。 表2-4HYQD40-H5742驅(qū)動器的接口定義 本設(shè)計中，我們采用的是共陽極接法實現(xiàn)步進(jìn)電機驅(qū)動器的配置：分別將CP+，DIR+，EN+連接到下位機的供電電源上，CP-端子接入脈沖輸入信號，DIR-端子接入方向信號，EN-端子接入使能信號，由于該驅(qū)動器部已經(jīng)含有光耦隔離，因此在控制器和驅(qū)動器的連接之間并沒有再考慮安裝光耦。控制器MSP430F149和HYQD40-H5742驅(qū)動器的連接示意圖如圖2-1

49、4所示。 圖2-14 驅(qū)動器和控制器的連接示意圖 2.6滑臺限位和采摘手接觸檢測和設(shè)計 本設(shè)計中，當(dāng)三維滑臺在X、Y、Z方向上運動到最兩端時，如果不加保護(hù)措施，很容易造成步進(jìn)電機堵轉(zhuǎn)，輕者導(dǎo)致電機發(fā)熱，重則燒毀電機。因此需要在每個滑臺的最端部安裝傳感器，實現(xiàn)對系統(tǒng)的安全保護(hù)。同樣的，在采摘機械手上，由于機械手的兩爪在對番茄果實進(jìn)行抓取時，采摘機器人并不知道何時接觸到果實，何時停止機械爪的閉合動作，很容易破壞番茄果實，造成采摘失敗。因此也有必要在兩機械爪的一側(cè)安裝傳感器，實現(xiàn)對番茄果實的接觸感應(yīng)，從而實現(xiàn)對番茄果實的保護(hù)。 方案一：采用接近開關(guān)。接近開關(guān)又稱近接傳感器，它可以偵測出

50、物體的存在與否，以便讓控制器了解運動物體的位置和有無情況。該類型傳感器用途非常廣泛，最大的優(yōu)點是可以實現(xiàn)物體的非接觸感測，缺點是檢測所需的時間周期較長。 方案二：采用碰撞傳感器。碰撞傳感器又叫限位開關(guān)，一般安裝在相對靜止或者運動的物體上。當(dāng)相對運動的物體接近限位開關(guān)時，開關(guān)上方的壓片可以接觸到限位開關(guān)的接點，從而引起閉合的觸點斷開或者斷開的觸點閉合，進(jìn)而引起控制器對碰撞傳感器檢測信號的變化。該類型的傳感器價格低廉，響應(yīng)周期很短，缺點是檢測的運動物體必須和傳感器進(jìn)行接觸才能動作。 綜合以上方案，由于滑臺運動到端點時，需要控制器與時發(fā)送動作指令來控制滑臺停止運動，然而控制器從發(fā)出指令到滑臺停止

51、運動又需要一定的時間，而這段時間滑臺還是在向前運動的，因此很容易造成滑臺步進(jìn)電機和齒輪傳動機構(gòu)的損害。因此，我們需要考慮響應(yīng)周期較短的傳感器。本設(shè)計中采用方案二中的碰撞傳感器實現(xiàn)對滑臺的限位檢測。同樣道理，在采摘機械手的接觸檢測中，為了簡單和安全起見，依舊利用的是開關(guān)式碰撞傳感器，當(dāng)番茄果實接觸到碰撞傳感器的彈性膜片時，控制器通過檢測信號并且發(fā)出控制機械手停止閉合的指令，從而有效的保護(hù)了番茄果實的完整性。 本設(shè)計中的三維滑臺和采摘機械手限位檢測電路圖如圖2-15所示。 圖2-15 三維滑臺和采摘機械手限位檢測電路圖 3 雙目視覺定位模型與攝像機參數(shù)標(biāo)定 3.1 雙目視覺定

52、位模型 3.1.1雙目視覺定位數(shù)學(xué)模型 基于雙目立體視覺定位的數(shù)學(xué)模型如圖3-1所示。雙目立體視覺定位系統(tǒng)由左右兩部攝像機組成。暫定兩攝像機的光心分別放置在圖中的OL，OR處，圖中的L，R分別代表左側(cè)攝像機和右側(cè)攝像機。在三維空間中任意一點P，坐標(biāo)記作P(x,y,z)，假設(shè)該P點在左右兩攝像機成像平面中投影的點為P1點和P2點，記作P1(xl,yl)和P2(xr,yr)，這兩個像點其實是三維空間中任意一點P點的像，也叫“共軛點”。通過這兩個共軛點P1和P2，分別作它們與各自對應(yīng)的攝像機的光心OL和OR的連線，兩連線的交點就是三維空間中的象點P(x,y,z)，這就是雙目視覺定位原理[40]。

53、 圖3-1 雙目立體視覺定位數(shù)學(xué)模型 3.1.2圖像坐標(biāo)系、攝像機坐標(biāo)系和世界坐標(biāo)系的選取 圖像坐標(biāo)系(Pixel coordinate system) 本設(shè)計中，雙目攝像機采集的視頻和圖像通過模擬信號的方式經(jīng)高速數(shù)字信號處理器轉(zhuǎn)換成為數(shù)字圖像，并通過數(shù)字信號處理器實現(xiàn)處理和計算。轉(zhuǎn)換后的每幅數(shù)字圖像在數(shù)字信號處理器的存儲器中是以A×B的二維數(shù)組的方式進(jìn)行存放的，A行B列的數(shù)字圖像中的每個元素稱之為像素(pixel)，該像素的數(shù)值大小即為該圖像點的灰度大小[41]。 如圖所示，我們在采集的一幅圖像上以左上角作為坐標(biāo)原點定義一個二維的直角坐標(biāo)系u，v。在圖像中的隨機一個像素點的坐

54、標(biāo)記作(U0,V0)，其中U0就是該像素點在圖像中的x坐標(biāo)值的大小，V0就是該像素點在圖像中的y坐標(biāo)值的大小。因此該像素點的坐標(biāo)(U0,V0)就是以像素為單位的圖像坐標(biāo)系。圖像坐標(biāo)系的表示形式如圖3-2所示。 圖3-2 圖像坐標(biāo)系的表示形式 一般情況下，原點O1處于圖像坐標(biāo)系的中心位置，也就是處于圖像的中間位置，但是可能由于攝像機橫向畸變、徑向畸變等某些原因，造成原點O1并不處于圖像坐標(biāo)系的中心位置，而是發(fā)生一些偏離。我們假定每個像素點在x軸和y軸的物理尺寸分別是dx，dy，那么圖像中任意一個像素點在兩個坐標(biāo)系(x,y)和(u,v)下具有如下關(guān)系式：

55、 (3-1) 將以上公式化成齊次坐標(biāo)和矩陣的形式，具體公式表達(dá)如下： (3-2) 然后，將上述齊次坐標(biāo)和矩陣的形式再次轉(zhuǎn)換為逆陣的形式，公式如下： (3-3) 攝像機坐標(biāo)系(Camera coordinate system) 攝像機成像的幾何關(guān)系圖如圖3-3所示。其中，OLXLYLZL為攝像機本身位置的坐標(biāo)系，攝像機的光心位置為OL，攝像機的焦距大小為OLO1。圖中，x軸平行于XL軸，y軸平行于YL軸。攝像機的光軸為ZL，光軸ZL和圖像平面呈垂直關(guān)系，并且光軸ZL與圖像平面的交點就是圖像坐標(biāo)系的原點O1[42]。 圖3-3 攝像機成像的幾何

56、關(guān)系圖 世界坐標(biāo)系(World coordinate system) 在三維的空間中，將攝像機安裝在三維滑臺上后，由于三維滑臺是不斷移動的，造成攝像機的位置在空間中也是不固定的，因此我們需要選擇一個基準(zhǔn)的坐標(biāo)系來描述它在世界中的位置，我們選取的這個基準(zhǔn)坐標(biāo)系就叫做世界坐標(biāo)系，它包括XW，YW，ZW三個坐標(biāo)軸。 假設(shè)空間三維中的一點，表述為P點，那么該點在上述中的攝像機坐標(biāo)系和世界坐標(biāo)系下的坐標(biāo)為(xw,yw,zw,1)，(xc,yc,zc,1)。并且，該攝像機坐標(biāo)系和世界坐標(biāo)系還具有如下關(guān)系： (3-4) 3.2 攝像機標(biāo)定方法 3.2.1標(biāo)定原理 攝像機標(biāo)定最主要的作用就是為了

57、確定左右兩個攝像機自身的相對位置，外參數(shù)值以與建立成像模型，以便能確定空間三維坐標(biāo)系中的目標(biāo)點與其在圖像成像平面上的像點間具有的一一對應(yīng)關(guān)系。 當(dāng)前的攝像機標(biāo)定方法主要有：正友標(biāo)定法、自標(biāo)定法、直接線性變換法等。因為時間和精力有限，考慮到難度和精度方面，因此本設(shè)計使用了正友提出的攝像機標(biāo)定算法[43]。 3.2.2基于OpenCV的正友標(biāo)定方法 OpenCV，也就是：Open Source Computer Vision Library。它是Intel發(fā)行的基于開源的跨平臺計算機視覺庫，可以運行在Linux、Windows等操作系統(tǒng)上。它主要由C函數(shù)和少量C++類構(gòu)成，同時提供了Pyth

58、on、Ruby、MATLAB等語言的接口，里面含有圖像處理和計算機視覺方面的通用算法，用戶只需對其調(diào)用即可完成對圖像等的處理工作。 在攝像機定標(biāo)前，首先打印一高精度的5×7棋盤格的圖像，將其粘貼在一塊大小合適的KT板上，這里所說的高精度應(yīng)該盡量使用高精度的打印機，因為棋盤格的精度直接決定了雙目攝像機的參數(shù)標(biāo)定的精確度。本設(shè)計的攝像機標(biāo)定采用自制的5×7格標(biāo)定板，標(biāo)定板的實物圖片如圖3-4所示。 圖3-4 標(biāo)定板的實物圖片 本設(shè)計的雙目攝像機標(biāo)定圖例如圖3-5所示，包括（a）左視圖和（b）右視圖。 (a) 左攝像機

59、 (b) 右攝像機 圖3-5 雙目攝像機標(biāo)定圖例 3.2.3基于OpenCV的正友標(biāo)定算法程序 這里需要強調(diào)的是：由于正友標(biāo)定算法是基于2D模型的，如果棋盤擺放的不平整，肯定會造成很大的誤差，因此在進(jìn)行棋盤的擺放時，傾斜角度不能太多。由于版面有限，基于OpenCV的正友標(biāo)定算法程序見附錄1。 3.3 標(biāo)定結(jié)果與分析 將標(biāo)定板放置在不同位置使用兩攝像機分別采集20幅圖像，然后利用開發(fā)的上位機標(biāo)定程序?qū)ψ笥覂蓚€攝像機進(jìn)行外參數(shù)標(biāo)定。攝像機標(biāo)定結(jié)果包含了沒幅圖像中的角點坐標(biāo)、攝像機外參數(shù)等數(shù)據(jù)，標(biāo)定的結(jié)果保存在.TXT文本中，如圖3-6所示： 圖

60、3-6 攝像機標(biāo)定結(jié)果 其中，外參數(shù)采用第六副標(biāo)定板的外參數(shù)作為其外參數(shù)，標(biāo)定結(jié)果如表3-1所示： 表3-1 攝像機外參數(shù)標(biāo)定結(jié)果 上圖中，在標(biāo)定外參數(shù)時，采用的是第一幅標(biāo)定板的外參數(shù)作為攝像機的外參數(shù)，這樣盡管對于實際的攝像機參數(shù)有一定誤差，但是對于本設(shè)計的精度要求已經(jīng)足夠了。 圖中的為攝像機的參數(shù)，與為攝像機的外參數(shù)，與為攝像機的畸變系數(shù)。 4 圖像采集和預(yù)處理 4.1 圖像采集 本設(shè)計中的視頻采集端口使用的是TMS320DM642的VP0和VP1。視頻采集的測試包括視頻采集口寄存器的配置，TVP5150的配置，EDMA的使用和I2C總線的設(shè)置。

61、 由于TMS320DM642上已經(jīng)集成了FVID模塊，該模塊是DSP為用戶DSP/BIOS程序提供的API函數(shù)，以實現(xiàn)幀圖像的獲取和顯示。FVID模塊所提供的設(shè)備驅(qū)動API函數(shù)與其它設(shè)備驅(qū)動不同，因為具有掌握數(shù)據(jù)緩沖區(qū)，也就是Cache的的所有權(quán)，可以對Cache全權(quán)控制讀寫，使用FVID的應(yīng)用程序則可以按需求對緩沖區(qū)進(jìn)行合理分配。 DSP的主程序和圖像采集程序見附錄2。本設(shè)計中的雙目攝像機采集的原始圖像對如圖4-1所示。 (a)左圖像 (b)右圖像 圖4-1 雙目攝像機采集的原始圖像對 4.2 圖像裁剪和二值化處理 4.2.1圖像裁剪方法說明 由于在前期的試驗中發(fā)現(xiàn)，如

62、果使用600MHz的TMS320DM642進(jìn)行處理兩路720×576的圖像，加上邊緣處理、特征點和形心位置確定、三維重建等一系列操作后，系統(tǒng)的實時性變得很差，因此我們擬采用將圖像進(jìn)行裁剪處理，即：對一個720×576的圖像，只對其中的280×280的中間區(qū)域進(jìn)行處理，這樣既能滿足系統(tǒng)工作的要求，又能大大減少圖像處理的工作量，減輕DSP的工作負(fù)擔(dān)，還能明顯的提高系統(tǒng)工作的實時性。圖像裁剪處理圖像區(qū)域示意圖如圖4-2所示，圖像裁剪處理后液晶屏幕上圖像顯示如圖4-3所示，圖像裁剪程序見附錄3。 圖4-2 圖像裁剪處理圖像區(qū)域示意圖 圖4-3 圖像裁剪處理后液晶屏幕上圖像顯示 4.2

63、.2圖像二值化處理方法說明 在前期的圖像裁剪過程中，由于使用的是RGB的彩色圖像，里面含有三個通道的顏色，DSP需要對圖像中的每一個通道分別處理和判斷，使得CPU工作時非常吃力，這使得圖像處理的實時性大大降低。因此我們需要對彩色的圖像進(jìn)行二值化處理，也就是閾值分割。閾值分割其實就是事先人為設(shè)定一個閾值，然后讓DSP根據(jù)設(shè)定的閾值進(jìn)行自動判斷，根據(jù)這個分水嶺將圖像中所有的像素灰度值強行設(shè)置為0或者255，這樣使得圖像的特征更加明顯，方便對圖像后續(xù)的處理和開發(fā)。 本設(shè)計中，通過多次試驗發(fā)現(xiàn)，將圖像二值化處理的閾值設(shè)定在145左右時，效果最為良好。本設(shè)計的圖像閾值分割后的圖像對如圖4-4所示，圖

64、像閾值分割程序見附錄4。 (a) 左圖像 (b) 右圖像 圖4-4 圖像閾值分割后的圖像對 4.3 圖像濾波處理 由于攝像機在對雙路視頻采集時，會受到各種各樣噪聲的干擾從而產(chǎn)生噪聲，這樣對后續(xù)的特征點和形心的判定、三維定位等操作影響很大，甚至?xí)斐刹烧獧C器人的誤判。而圖像濾波的最主要的目的就是降低雙目攝像機采集圖像的噪聲，當(dāng)前圖像濾波的主流方法有：中值濾波和均值濾波。 方案一：采用中值濾波。中值濾波技術(shù)屬于非全局性的平滑濾波，而且都是非線性的。在早期，該技術(shù)主要存在于一維信號的處

65、理中，后來隨著數(shù)字信號處理技術(shù)的發(fā)展，該技術(shù)被推廣到二維空間中?；谀承┮蛩?，中值濾波不會出現(xiàn)線性處理造成的圖像細(xì)節(jié)模糊，而且對濾除脈沖干擾與顆粒噪聲尤其有效。 方案二：采用均值濾波。均值濾波是非常典型的線性濾波算法，它的主要原理是：在要進(jìn)行濾波的圖像上對所需處理的目標(biāo)像素給一個特定的模板，該模板包括了它周圍的臨近像素值大小，通過使用給定的目標(biāo)像素為中心的四周圍的8個像素點，構(gòu)成一個濾波模板，當(dāng)然，該模板已經(jīng)去掉了目標(biāo)像素本身像素值。然后再用給定模板上的所有像素的平均值代替原來的位置處像素的像素值。均值濾波最大的缺點就是不能較好地保護(hù)圖像原來的細(xì)節(jié)，在對圖像進(jìn)行去噪的同時也一起破壞了圖像的細(xì)

66、節(jié)部分，從而使得圖像變得模糊，最終導(dǎo)致不能很好地去除噪聲點。 綜合以上考慮，為了既能對電磁干擾造成的圖像噪聲和番茄果實背景長生的噪聲起到很好的抑制作用，又能保全大部分圖像的細(xì)節(jié)部分，本設(shè)計中選擇了方案一中的中值濾波進(jìn)行圖像的濾波和去噪處理。 中值濾波使用一種滑動窗口，將窗口中所有點的灰度值進(jìn)行增序排列，取代數(shù)中值賦給窗口中心點。本系統(tǒng)一次對連續(xù)的八個像素點進(jìn)行中值濾波處理，由于背景噪點的存在，可能經(jīng)過一次中值濾波效果不太理想，此時可以對番茄果實的圖像進(jìn)行二次甚至多次中值濾波處理，可以得到較為干凈的圖像對。當(dāng)然經(jīng)過中值濾波的次數(shù)越多，DSP所承擔(dān)的工作量越大，負(fù)擔(dān)越重，導(dǎo)致系統(tǒng)的實時性越差。本設(shè)計中，經(jīng)過一次中值濾波后的圖像對如圖4-5所示，經(jīng)過兩次中值濾波后的圖像對如圖4-6所示，中值濾波程序見附錄5。 (a) 左圖像 (b) 右圖像 圖4-5 經(jīng)過一次中值濾波后的圖像對 (a) 左圖像 (b) 右圖像 圖4-6 經(jīng)過兩次中值濾波后的圖像對 4.4番茄果實邊緣檢測與輪廓提取 邊緣檢測是番茄采摘機器人對番茄果實圖像處理中最基礎(chǔ)的一部分，地位十分重要。邊