多規(guī)格板件分揀機(jī)器人工作站視覺系統(tǒng)設(shè)計(jì)

《多規(guī)格板件分揀機(jī)器人工作站視覺系統(tǒng)設(shè)計(jì)》由會員分享，可在線閱讀，更多相關(guān)《多規(guī)格板件分揀機(jī)器人工作站視覺系統(tǒng)設(shè)計(jì)（55頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、本科畢業(yè)論文（設(shè)計(jì)）論文題目 ：多規(guī)格板件分揀機(jī)器人工作站視覺系統(tǒng)設(shè)計(jì)姓名：學(xué)號：班級：年級：專業(yè)：學(xué)院：指導(dǎo)教師 ：完成時(shí)間 ：本科畢業(yè)論文（設(shè)計(jì)）專用摘要機(jī)器人視覺應(yīng)用已在各領(lǐng)域有著越來越重要的作用，已然成為一種發(fā)展趨勢。而多規(guī) 格板件則是最常用和常見的基本工件，若靠人力分揀各種板件則費(fèi)時(shí)費(fèi)力，并且存在這效 率不高，人工疲勞，易產(chǎn)生誤差等缺點(diǎn)。所以需要設(shè)計(jì)一種可以自動分揀多規(guī)格板件的工 作站，以便于提高效率，減少人工，并可以在惡劣環(huán)境中工作。本文對三種規(guī)格板件進(jìn)行工作站視覺系統(tǒng)識別，首先提出了對多規(guī)格板件分揀機(jī)器人 工作站和視覺系統(tǒng)的功能分析，并確定了工作站的總體方案和視覺系統(tǒng)的總體方案。

2、確定 完方案之后對視覺系統(tǒng)所需硬件：工業(yè)相機(jī)、工業(yè)相機(jī)鏡頭、工業(yè)相機(jī)光源以及傳感器的 選型，下一步是用 halcon 以及 C#語言對視覺軟件程序的編寫，包括實(shí)現(xiàn)對圖像的處理以 及顯示，相機(jī)的標(biāo)定還有深度學(xué)習(xí)等功能。為了讓視覺系統(tǒng)和工作站機(jī)器人形成一個(gè)整體 系統(tǒng)，需要通過 PLC 來讓視覺系統(tǒng)和工作站進(jìn)行通訊，確定通訊方式為串口通信，并且完 成通訊的程序編寫。最后是對 300 塊板件進(jìn)行工作站視覺系統(tǒng)的識別測試，經(jīng)過測試識別 率達(dá)到 95%以上，符合設(shè)計(jì)需求。該工作站視覺系統(tǒng)對 wcgxy.5-1 安裝板 A、wcgxy.5-2 安裝版 B、wcgxy.5-2 安裝板 C 三種板件進(jìn)行了視覺識

3、別，相比于人工分揀，大大提高了效率，并且識別精度高，速度快 具有十分實(shí)用的價(jià)值。關(guān)鍵詞：機(jī)器視覺；板件分類；圖像處理AbstractRobot vision applications have played an increasingly important role in various fields and have become a development trend. Multi-specification plates are the most commonly used and common basic workpieces, if you rely on manpower to

4、sort various plates is time-consuming and laborious, and there are shortcomings such as low efficiency, artificial fatigue, and easy to produce errors. Therefore, it is necessary to design a workstation that can automatically sort multi- specification plates to improve efficiency, reduce labor, and

5、work in harsh environments.In this paper, the workstation vision system identification of three specifications of plates is proposed, and the functional analysis of multi-specification plate sorting robot workstation and vision system is proposed, and the overall scheme of the workstation and the ov

6、erall scheme of the vision system are determined. After determining the solution, the hardware required for the vision system: industrial camera, industrial camera lens, industrial camera light source and sensor selection, the next step is to use halcon and C# language to write vision software progr

7、ams, including the implementation of image processing and display, camera calibration and deep learning and other functions. In order to make the vision system and workstation robot form an overall system, it is necessary to use PLC to let the vision system and workstation communicate, determine the

8、 communication method as serial communication, and complete the program writing of communication. Finally, the identification test of the workstation vision system was carried out on 300 plates, and the recognition rate reached more than 95% after the test, which met the design requirements.The work

9、station vision system visually identifies wcgxy.5-1 mounting plate A, wcgxy.5-2 mounting plate B, wcgxy.5-2 mounting plate C three kinds of plates, compared with manual sorting, greatly improving efficiency, and high recognition accuracy, fast speed has a very practical value.Key words: Machine visi

10、on;plate sorting; image processing本科畢業(yè)論文（設(shè)計(jì)）專用目錄1 緒論11.1 研究目的及意義11.2 國內(nèi)外研究現(xiàn)狀21.3 主要研究內(nèi)容32 多規(guī)格版分揀工作站的視覺系統(tǒng)方案設(shè)計(jì)42.1 多規(guī)格版分揀工作站功能分析42.2 多規(guī)格版分揀工作站總方案42.3 視覺系統(tǒng)方案53 視覺系統(tǒng)的硬件選型63.1 視覺系統(tǒng)硬件方案63.2 工業(yè)相機(jī)選型63.3 工業(yè)相機(jī)鏡頭選型83.4 工業(yè)相機(jī)光源選型103.5 傳感器的選型133.6 小結(jié)134 視覺系統(tǒng)的軟件設(shè)計(jì)154.1 軟件設(shè)計(jì)方案154.2 相機(jī)標(biāo)定154.3 圖像采集194.4 圖像預(yù)處理194.5 特征

11、匹配和圖像識別204.6 識別結(jié)果顯示204.7 深度學(xué)習(xí)214.8 小結(jié)235 視覺系統(tǒng)的通訊設(shè)置245.1 通訊協(xié)議選定245.2 相機(jī)與 PLC 的通訊246 系統(tǒng)測試266.1 測試對象與樣本266.2 測試過程266.3 測試結(jié)果387 結(jié)語39參考文獻(xiàn)40致謝41附錄421 緒論1.1 研究目的及意義近些年來隨著科技水平的不斷提高，我們正處于新型工業(yè)化的浪潮之中，而機(jī)器人工 程作為新工業(yè)化最主要的趨勢，機(jī)器人產(chǎn)業(yè)的需求也不斷地?cái)U(kuò)大。在現(xiàn)代化技術(shù)不斷地提 高中，機(jī)器人技術(shù)也隨之日益增長，由人組成地勞動力已逐步被自動化設(shè)備以及機(jī)器人所 取代，因此機(jī)器人在各行各業(yè)扮演著越來越重要的角色，

12、已然成為了未來發(fā)展的重要趨勢。 而機(jī)器人視覺系統(tǒng)作為構(gòu)成機(jī)器人整體最主要的系統(tǒng)之一，其實(shí)用性和重要性不言而喻。 近些年來依靠電子科技和信息技術(shù)的發(fā)展，視覺系統(tǒng)也證再高速發(fā)展8。在不少領(lǐng)域比如 食品領(lǐng)域，已有高速機(jī)器人分揀系統(tǒng)視覺技術(shù)的研究，這些系統(tǒng)的研發(fā)提高了我國食品生 產(chǎn)效率，保障了食品安全，降低了勞動強(qiáng)度1。機(jī)器人可以運(yùn)用到機(jī)械零件分揀的過程中，可以利用機(jī)器人智能化的特點(diǎn)來代替人工 操作4。多規(guī)格板件是最常見和最常用的加過零件或裝配零件，現(xiàn)如今對于多規(guī)格板件的 分揀大多數(shù)還是處于人工分揀的階段，單純依靠人工分揀不僅僅導(dǎo)致了工作效率低的問題 更關(guān)鍵的是依靠人工分揀，難免會因疲勞，工人分神等各

13、種原因?qū)е鹿ぷ骶炔桓?，較易 產(chǎn)生失誤的問題。而且，現(xiàn)在的自動化技術(shù)少有自主識別的功能。因此我針對這一現(xiàn)象， 展開多規(guī)格板件分揀機(jī)器人工作站視覺系統(tǒng)設(shè)計(jì)課題的研究，依靠機(jī)器人視覺來識別多規(guī) 格板件，并用機(jī)器人工作站來進(jìn)行多規(guī)格板件的分揀工作。機(jī)器人視覺系統(tǒng)對不同形狀的 板件一一識別，并通過機(jī)器人通訊將識別結(jié)果反饋給機(jī)器人，最后機(jī)器人通過末端操作器 將已識別的板件進(jìn)行分揀工作，把不同規(guī)格的板件放入相應(yīng)的采集框中。通過多規(guī)格板件 分揀機(jī)器人工作站視覺系統(tǒng)設(shè)計(jì)來達(dá)成使用機(jī)器人工作站代替人工分揀多規(guī)格板件，并且 提高分揀多規(guī)格板件的準(zhǔn)確性和高效率的目的，進(jìn)一步提高生產(chǎn)能力?？梢詤⒄諚罴t軍等 人提出的利

14、用機(jī)器視覺和氣動機(jī)器人的自動化分揀解決方案,并從軟件和硬件兩方面進(jìn)行 了詳細(xì)的設(shè)計(jì)7。研究多規(guī)格板件分揀機(jī)器人工作站視覺系統(tǒng)設(shè)計(jì)課題具有十分重要的實(shí)際意義，通過 用機(jī)器人視覺來對多規(guī)格板件進(jìn)行形狀識別，再配合機(jī)器人進(jìn)行分揀裝箱，這大大解放了 由人力為主的生產(chǎn)力，并且能夠?qū)崿F(xiàn)在惡劣的環(huán)境中進(jìn)行分揀工作，加強(qiáng)了生產(chǎn)力對環(huán)境 的適應(yīng)性，也大大加強(qiáng)了分揀工作的精確性還有提高了分揀工作的效率。在一定的基礎(chǔ)上 可以大規(guī)模的進(jìn)行分揀，大大提升了生產(chǎn)力。在一定程度上也可以降低經(jīng)濟(jì)成本，提高市 場競爭力，使用機(jī)器人視覺識別與分揀可以規(guī)范產(chǎn)品位置和產(chǎn)品分類，從而提高生產(chǎn)效率 和降低后續(xù)的勞動強(qiáng)度。機(jī)器人視覺分揀對

15、實(shí)現(xiàn)工業(yè)自動化也具有十分重要的意義，促進(jìn) 了現(xiàn)代工業(yè)化進(jìn)程。61.2 國內(nèi)外研究現(xiàn)狀從全球市場角度來看，物聯(lián)網(wǎng)的飛速發(fā)展，邊緣算法的逐步完善，機(jī)器視覺行業(yè)已 經(jīng)走向成熟，越來越多地在工業(yè)領(lǐng)域得到發(fā)展15。這些年以來，視覺市場的專利雖然在 除中國以外的國家中逐漸降低，但是歐美的視覺技術(shù)還是名列前茅，特別是以美國，歐 洲和日本等發(fā)達(dá)城市為主，這些國家的機(jī)器人視覺技術(shù)和市場還是占據(jù)絕大部分。在現(xiàn) 在這幾年，視覺領(lǐng)域相關(guān)的技術(shù)已經(jīng)初步完善，包括像傳感器和處理器技術(shù)，圖像處理 技術(shù)以及光學(xué)成像等技術(shù)的快速發(fā)展以及和機(jī)器人視覺技術(shù)的融合，機(jī)器視覺在我們的 生活中以及變得越來越常見，我們在機(jī)器視覺領(lǐng)域也運(yùn)用

16、得越來越廣泛和熟練，可以說 機(jī)器視覺在生產(chǎn)過程中扮演著重要得角色。包括在最主要的工業(yè)生產(chǎn)領(lǐng)域，到服務(wù)行業(yè) 比如物流搬運(yùn)，酒店人臉識別以及超市入口測量體溫等方面，再到金融領(lǐng)域，交通中的 機(jī)器視覺，甚至是國家安防領(lǐng)域，機(jī)器視覺發(fā)揮著越來越穩(wěn)定，有效，重要的作用，機(jī) 器視覺現(xiàn)如今正在促進(jìn)制造業(yè)，服務(wù)業(yè)在內(nèi)的許多行業(yè)進(jìn)行快速地轉(zhuǎn)型。在世界范圍內(nèi) 的“工業(yè) 4.0”和自動化生產(chǎn)需求的趨勢下，機(jī)器視覺因具備著精度高，效率高以及穩(wěn)定性 好的眾多優(yōu)點(diǎn)，機(jī)器視覺正成為我國研究的重點(diǎn)領(lǐng)域和應(yīng)用方向。光學(xué)鏡頭是作為機(jī)器 視覺最重要以及必需的組成部分之一，根據(jù)數(shù)據(jù)統(tǒng)計(jì)，伴隨著這些年以來機(jī)器視覺的市 場在全世界范圍內(nèi)規(guī)

17、模的擴(kuò)張，關(guān)于應(yīng)用在工業(yè)機(jī)器人視覺以及自動化領(lǐng)域的光學(xué)鏡頭 正在穩(wěn)步發(fā)展中，光學(xué)鏡頭在 2017 年的市場規(guī)模已經(jīng)達(dá)到了 14 億美元，并且根據(jù)相關(guān) 預(yù)測，光學(xué)鏡頭的市場規(guī)模將會增長到 28 億美元，并且復(fù)合增長率將會達(dá)到 12%。雖然 我國的機(jī)器視覺行業(yè)起步落后于歐洲，美國，日本等發(fā)達(dá)國家，并且我國機(jī)器視覺起初 還是依靠國外品牌的代理，而且集中程度也不高。但是在現(xiàn)在這幾年，我國已經(jīng)陸續(xù)出 現(xiàn)很多的經(jīng)銷商，并且已經(jīng)開始自己研發(fā)機(jī)器視覺相關(guān)的產(chǎn)品，雖然我國已經(jīng)開始追趕 國外機(jī)器視覺領(lǐng)域的腳步，但是在機(jī)器視覺領(lǐng)域的行業(yè)分布還有銷售渠道和方式，以及 具有高度成熟化的自動化產(chǎn)品等這些方面還是有著不小的

18、距離。我國現(xiàn) m 如今的自動化 設(shè)備產(chǎn)品的成熟度還不是很高，而且所包含的技術(shù)還不成熟，技術(shù)含量不高，最重要的 一點(diǎn)，我國的機(jī)器視覺的市場還遠(yuǎn)遠(yuǎn)達(dá)不到飽和的狀態(tài)。所以我國的機(jī)器視覺還存在著 較大的潛力。我們可以將機(jī)器視覺的企業(yè)分為層開發(fā)廠商，二次開發(fā)廠商和產(chǎn)品代理 商。其中在我國的機(jī)器視覺企業(yè)中，機(jī)器視覺的系統(tǒng)二次開發(fā)廠商和國外機(jī)器數(shù)額企業(yè) 的產(chǎn)品代理商這兩種企業(yè)占據(jù)了大部分。根據(jù)統(tǒng)計(jì)，國外的機(jī)器視覺企業(yè)品牌在我國已 達(dá)到 100 多家，而在我國負(fù)責(zé)代理銷售這些品牌的企業(yè)已達(dá)到 200 多家，并且負(fù)責(zé)專業(yè)的系統(tǒng)集成商也已經(jīng)超過了 50 家。但是，在我國負(fù)責(zé)真正機(jī)器視覺的底層廠商數(shù)量少之 又少，可

19、以說是鳳毛麟角，所以說我國本土關(guān)于生產(chǎn)機(jī)器視覺系統(tǒng)的元器件的廠商以及 設(shè)計(jì)機(jī)器視覺系統(tǒng)廠商嚴(yán)重缺失。為了迅速拓展機(jī)器視覺領(lǐng)域的市場以及增強(qiáng)我國企業(yè) 在這個(gè)領(lǐng)域的積極性，國家發(fā)布了許多優(yōu)惠政策，據(jù)統(tǒng)計(jì)自 2016 年以來我國的年專利申請量已經(jīng)超過了 1000 項(xiàng)，所以說在技術(shù)研發(fā)的層面，我國的專利申請量已經(jīng)遠(yuǎn)遠(yuǎn)高于國本科畢業(yè)論文（設(shè)計(jì)）專用外的數(shù)量，但是國外在這些專利的操作上以及如何去將這些專利應(yīng)用在各個(gè)其他方面的 領(lǐng)域上，這個(gè)方面上我國還是沒趕上國外的質(zhì)量。但是換過來說，我國在本土品牌的創(chuàng) 建上正在飛速發(fā)展，現(xiàn)如今本土品牌的數(shù)量正在逐步逼近外資品牌的數(shù)量，不足的是， 我國本土品牌的質(zhì)量和在國際

20、上的影響力方面，相比于國外知名品牌還存在著不小的差 距，所以說我國的本土品牌或者民族品牌想要成為世界知名品牌，所要經(jīng)歷的道路還比 較長，我們需要加速這一進(jìn)程?，F(xiàn)如今我國需要降低人工成本和提高生產(chǎn)的效率，我國 這一方面的需求及其龐大，況且我國正在由勞動密集型向技術(shù)密集型進(jìn)行轉(zhuǎn)型，所以我 國在機(jī)器視覺領(lǐng)域存在著巨大的潛力，將成為在世界范圍內(nèi)機(jī)器視覺發(fā)展技術(shù)最活躍的 地區(qū)之一。我國的珠三角和長江三角洲一帶地區(qū)，是全球知名的電子和半導(dǎo)體技術(shù)的轉(zhuǎn) 移地，因此具備成為機(jī)器視覺發(fā)展地的良好條件，這兩個(gè)地區(qū)中的機(jī)器視覺發(fā)展也是突 飛猛進(jìn)。同時(shí)這兩個(gè)地區(qū)吸引著世界各地優(yōu)秀的機(jī)器視覺系統(tǒng)和技術(shù)，不斷引進(jìn)這些優(yōu) 秀

21、企業(yè)和技術(shù)，我國的機(jī)器視覺企業(yè)和技術(shù)將在各個(gè)優(yōu)秀企業(yè)的良性競爭中不斷得到滋 補(bǔ)，不斷茁壯成長，出于我國政府的支持，各大高校和研究院也不斷在機(jī)器視覺中投入 研究，我國機(jī)器視覺的前景十分光明，伴隨著機(jī)器視覺在各個(gè)領(lǐng)域的應(yīng)用，機(jī)器視覺將 會在不同的領(lǐng)域造福社會和人們。1.3 主要研究內(nèi)容本文是研究多規(guī)格板件分揀機(jī)器人工作站視覺系統(tǒng)設(shè)計(jì)，為了實(shí)現(xiàn)對三種規(guī)格的板件 進(jìn)行快速識別，并通過通訊系統(tǒng)鏈接工作站中的工業(yè)機(jī)器人，完成對三種規(guī)格板件的分 揀，課題主要研究內(nèi)容如下。（1）完成多規(guī)格板件分揀機(jī)器人工作站視覺系統(tǒng)方案設(shè)計(jì)；（2）完成機(jī)器人視覺的硬件（工業(yè)相機(jī)，工業(yè)相機(jī)鏡頭，光源，傳感器）的選型和 軟件系統(tǒng)

22、編程設(shè)計(jì)；（3）完成相機(jī)通訊系統(tǒng)設(shè)置設(shè)計(jì)；（4）完成視覺與工作站工業(yè)機(jī)器人通訊設(shè)置設(shè)計(jì)；（5）進(jìn)行工作站測試。本科畢業(yè)論文（設(shè)計(jì)）專用2 多規(guī)格版分揀工作站的視覺系統(tǒng)方案設(shè)計(jì)2.1 多規(guī)格版分揀工作站功能分析工業(yè)機(jī)器人視覺系統(tǒng)可分為兩大核心部分（即機(jī)器人控制部和視覺控制部），機(jī)器人 控制部是對機(jī)器人進(jìn)行控制，視覺控制則要同步控制攝像部和圖像處理部，多個(gè)部門緊密 配合，相輔相成，借助機(jī)器人視覺系統(tǒng)來搜集相應(yīng)的數(shù)據(jù)和信息，經(jīng)過處理之后及時(shí)傳輸 到下一環(huán)節(jié)當(dāng)中14。設(shè)計(jì)的多規(guī)格版分揀工作站能通過工業(yè)攝像機(jī)將三種規(guī)格的板件進(jìn)行 拍照，并通過視覺系統(tǒng)進(jìn)行精準(zhǔn)識別，視覺系統(tǒng)與機(jī)器人工作站進(jìn)行通訊，上傳識別

23、數(shù)據(jù)， 工作站中的機(jī)器人夾爪對傳送帶上已識別完成的板件進(jìn)行夾取操作，將板件放到對應(yīng)的收 集箱中。板件的類型有：wcgxy.5-1 安裝板 A、wcgxy.5-2 安裝版 B、wcgxy.5-2 安裝板 C。2.2 多規(guī)格版分揀工作站總方案為了實(shí)現(xiàn)對三種板件的分揀，設(shè)計(jì)的工作站需要有視覺系統(tǒng)來識別三種板件，通訊系 統(tǒng)來鏈接機(jī)器人和視覺系統(tǒng)，以及工業(yè)機(jī)器人對板件進(jìn)行夾取分揀，最后用三個(gè)收集箱來 分裝三種板件。具體方案如圖 2.1 所示。傳送帶傳送板件No光電傳觸發(fā)工業(yè)相機(jī)攝像Yes感器視覺系統(tǒng)工作站控制系統(tǒng)識別板件并通訊光電傳感器Yes顯示屏機(jī)器人夾爪夾取 滿載提示圖 2.1 多規(guī)格版分揀工作站總

24、方案 2.3 視覺系統(tǒng)方案視覺系統(tǒng)是整個(gè)工作站最重要的組成部分之一，要實(shí)現(xiàn)對三種板材的識別，對工業(yè)相機(jī) 所拍攝的圖像進(jìn)行采集和處理等操作。多規(guī)格版分揀工作站視覺系統(tǒng)方案如圖 2.2 所示。圖 2.2 多規(guī)格版分揀工作站視覺系統(tǒng)方案3 視覺系統(tǒng)的硬件選型根據(jù)上述視覺系統(tǒng)方案，要更好地實(shí)現(xiàn)視覺功能和達(dá)到所需效果，需要對其相關(guān)硬件 進(jìn)行設(shè)計(jì)。3.1 視覺系統(tǒng)硬件方案設(shè)計(jì)的視覺硬件部分需要有系統(tǒng)觸發(fā)，拍照攝像，圖像采集等功能。系統(tǒng)觸發(fā)我們需 要用傳感器，當(dāng)板件到達(dá)傳感器感應(yīng)范圍時(shí)，傳感器會輸出一個(gè)型號給視覺系統(tǒng)，觸發(fā)視 覺系統(tǒng)中的相機(jī)工作，相機(jī)對下方板件進(jìn)行拍照攝像，上傳圖像到視覺系統(tǒng)，視覺系統(tǒng)對 上

25、傳的圖像進(jìn)行圖像識別和圖像預(yù)處理。機(jī)器視覺需要有實(shí)用性和性價(jià)比，同時(shí)要有通用 的工業(yè)接口，有較高的容錯(cuò)率和安全性，能夠在復(fù)雜的環(huán)境下工作2。上述便是視覺系統(tǒng) 的硬件方案工作流程，下面對所用到的相關(guān)裝置進(jìn)行選型選擇和安裝設(shè)計(jì)。3.2 工業(yè)相機(jī)選型工業(yè)相機(jī)運(yùn)行的工作方式其實(shí)就是通過 CMOS 或 CCD 這兩種成像傳感器實(shí)現(xiàn)光信號 轉(zhuǎn)化變成電信號，而且這種電信號必須是有序的，并將這些有序電信號的信息通過工業(yè)相 機(jī)上的相應(yīng)接口傳輸?shù)接?jì)算機(jī)上。視覺導(dǎo)航線路跟蹤機(jī)器人需要利用圖像處理技術(shù),通過攝 像機(jī)對線路進(jìn)行檢測12。而且因?yàn)橄到y(tǒng)安裝在生產(chǎn)線上，相機(jī)檢測速度需要與生產(chǎn)線上的 檢測速度保持同步，相機(jī)拍照

26、需要精確且能夠抓拍到移速較高的板件9。工業(yè)相機(jī)和普通的相機(jī)進(jìn)行比較，在工業(yè)領(lǐng)域有著巨大的優(yōu)勢，首先工業(yè)相機(jī)安裝簡 便快捷，安裝流程比一般的相機(jī)簡單許多。其次，工業(yè)相機(jī)相比較于普通相機(jī)，結(jié)構(gòu)組成 十分緊湊而且結(jié)實(shí)耐用，所以工業(yè)相機(jī)比一般的相機(jī)更能承受惡劣的環(huán)境，能在不好的環(huán) 境中穩(wěn)定高效地運(yùn)行，同時(shí)也保證了連續(xù)工作的時(shí)長。還有一點(diǎn)，工業(yè)相機(jī)需要運(yùn)用于工 業(yè)場景，所以需要滿足工業(yè)環(huán)境的條件和需求，為了這個(gè)原因，工業(yè)相機(jī)往往具有更加快 速的抓拍速度，可以瞬間捕捉到高速運(yùn)動物體的圖像，因此工業(yè)相機(jī)需要具備一個(gè)靈敏的 快門，保證快門時(shí)間要十分短。最后就是工業(yè)相機(jī)的幀率，相比于一般的相機(jī)，工業(yè)相機(jī) 的幀率

27、也要遠(yuǎn)遠(yuǎn)要高，因?yàn)楣I(yè)相機(jī)的輸出數(shù)據(jù)類型屬于是裸數(shù)據(jù)，所以工業(yè)相機(jī)所需要 的光譜的范圍也是要比普通相機(jī)的光譜范圍要大得多，因?yàn)檫@一點(diǎn)，工業(yè)相機(jī)就可以進(jìn)行 高質(zhì)量的圖像處理算法，同時(shí)高質(zhì)量的圖像處理也更適用于工業(yè)相機(jī)所拍攝的圖像。傳統(tǒng) 的機(jī)器人分揀系統(tǒng)是固定式攝像頭，相機(jī)一般固定在一個(gè)世界坐標(biāo)系中不動，拍攝固定焦 距平面的物體，實(shí)時(shí)處理一幅圖像進(jìn)行位置和形態(tài)的分析6。現(xiàn)在市面上的工業(yè)相機(jī)有以下幾類：（1）我們可根據(jù)不同的靶面類型將工業(yè)相機(jī)分為面陣相機(jī)和線陣相機(jī)。第一，面陣相 機(jī)的定義是該類型相機(jī)可以對所需要采集的圖像進(jìn)行一次性地采集，所以面陣相機(jī)在許多 領(lǐng)域都有廣泛的應(yīng)用，比如說在不同零件或者物

28、件的形狀檢測上，檢測零件的位置，以及可以檢測不同零件或相似形狀零件的尺寸上。第二，線陣相機(jī)不同之處就是線陣相機(jī)需要 用到線陣圖像傳感器來檢測所拍攝的物品，因此線陣相機(jī)在另外一些領(lǐng)域發(fā)揮著重要的作 用，比如說可以用線陣相機(jī)來分析物品的材料組成，通過該類型的相機(jī)來檢測像金屬物品， 塑料制品，尼龍纖維制品等不同的材質(zhì)組成物品的表面是否存在著缺陷。（2）按照芯片類型不同可以分為 CCD 相機(jī)和 CMOS 相機(jī)：CCD 工業(yè)相機(jī)具有體積 小重量輕、低功耗、響應(yīng)速度快、像素集成度高等優(yōu)勢，CMOS 工業(yè)相機(jī)具有高速成像、 高幀率、高性價(jià)比等優(yōu)勢。（3）我們還可以通過相機(jī)拍出來的圖像色彩區(qū)別進(jìn)行分類，通常情

29、況下我們可以分為 兩類，一種是輸出有色彩的圖像的工業(yè)相機(jī)即彩色相機(jī)，第二種就是拍出來只有黑白兩種 顏色圖片的相機(jī)即黑白相機(jī)。兩種相機(jī)對比下來，在相同的分辨率的條件下，黑白相機(jī)可 以具有更好的成像效果，特別是在邊緣檢測這一塊，而且黑白相機(jī)相較于彩色相機(jī)，雖然 不能識別顏色，但是在相同的分辨率下具有更加高的精度如果需要處理項(xiàng)目與圖像顏色有 關(guān)，彩色工業(yè)相機(jī)效果更佳。本工作站需要識別的是尺寸固定的三種規(guī)格的板件，所以選用面陣相機(jī)比較合適。 相機(jī)只需要拍攝黑白照片就可滿足需求，每秒拍攝一到兩張照片，所以照片所占空間并不多，圖像處理區(qū)域一秒可處理 256MB 大小數(shù)據(jù)，因此剩余空間可用兩個(gè)高速輸出通 道

30、傳輸數(shù)據(jù)，以達(dá)到實(shí)時(shí)識別的效果，通過 IO 模塊向 PLC 控制柜傳輸數(shù)據(jù)信息。工作站 處于較開放的空間中，所以對工業(yè)相機(jī)的尺寸要求并不嚴(yán)格，但是被測物體識別區(qū)域面積 比較大，同時(shí)需要網(wǎng)絡(luò)通訊來傳輸數(shù)據(jù)，因此相機(jī)需要有相對應(yīng)的網(wǎng)絡(luò)接口。綜上所述，本工作站的工業(yè)相機(jī)選用 ME2L-161-61U3M 水星二代 Lite16 萬像素黑白 工業(yè)相機(jī)。水星二代 Lite(ME2L-U3)系列數(shù)字相機(jī)是大恒圖像自主研發(fā)的面陣工業(yè)數(shù)字相 機(jī)， 低成本、高性能、高可靠性，外形尺寸僅為 29mm(W)29mm(H)28.1mm(L)，對于相 機(jī)成本和尺寸有嚴(yán)苛要求的用戶將會是一個(gè)不錯(cuò)的選擇。ME2L-161-

31、61U3M 采用全局曝光 的 Sony IMX296 CMOS 感光芯片，該款相機(jī)用于傳輸數(shù)據(jù)的數(shù)據(jù)線類型屬于是 USB3.0 的 接口，這款接口在市面上比較常見，更方便于更換，而且該款工業(yè)相機(jī)同時(shí)也配備了 I/O(GPIO)這款接口，能夠更加全面地適用于多接口的設(shè)備，為了穩(wěn)固接口，盡量少地減少 接口的松動，該款相機(jī)還具備了數(shù)據(jù)線纜的固定鎖緊設(shè)計(jì)，這一設(shè)計(jì)更加有利于這款工業(yè) 相機(jī)在不友好的工業(yè)環(huán)境中正常，高效穩(wěn)定地工作，所以這款相機(jī)無論是在性能上還是設(shè) 計(jì)上都是優(yōu)秀的一款工業(yè)相機(jī)，同時(shí)這款相機(jī)的體積小，便于攜帶的同時(shí)也便于安裝，使 用該款相機(jī)也是很方便，操作十分簡單，對于新手來說很容易上手操作

32、，ME2L-161-61U3M 相機(jī)還有一個(gè)優(yōu)點(diǎn)就是使用該款相機(jī)時(shí)，這款相機(jī)工作所產(chǎn)生的噪聲小，使得相機(jī)能在一 定程度上增加精度，最后 ME2L-161-61U3M 這款相機(jī)最重要的一個(gè)優(yōu)點(diǎn)，就是這款相機(jī)具 有較高的清晰度，這對于選擇工業(yè)相機(jī)來說是一個(gè)十分重要的指標(biāo)。結(jié)合這些優(yōu)點(diǎn)來說， ME2L-161-61U3M 這款相機(jī)時(shí)我們工作站的首選，這款相機(jī)超高的性價(jià)比和十分可靠的性 能，都十分有利于我們的視覺系統(tǒng)。其參數(shù)如表 3.1 所示。18本科畢業(yè)論文（設(shè)計(jì)）專用表 3.1 ME2L-161-61U3M 工業(yè)相機(jī)技術(shù)參數(shù)分辨率1440*1080幀率（fps）61.2傳感器廠商Sony傳感器1/

33、2.9IMX296 Global shutter CMOS像元尺寸3.45um像素深度8bit,10bit數(shù)據(jù)接口USB3鏡頭接口C,CS光譜黑白圖像數(shù)據(jù)格式Mono8,Mono10信噪比40.6Db供電要求5VDC額定功率2.7W5VDC工作溫度0-+5存儲溫度-20-+70工作濕度10%-80%機(jī)械尺寸（W*H*L）29mm*29mm*28.1mm(不含 C 接口長度)重量47g認(rèn)證及標(biāo)準(zhǔn)CE,RoHS,USB3Vision,GenlCam3.3 工業(yè)相機(jī)鏡頭選型工業(yè)相機(jī)的鏡頭一般具有將光束實(shí)現(xiàn)轉(zhuǎn)換的基本功能，或者稱為將光束進(jìn)行調(diào)制，鏡 頭需要負(fù)責(zé)與自帶的圖像傳感器進(jìn)行配合，將我們所需要拍

34、下來的圖片成像在圖像傳感器 的光敏面上，這也是鏡頭所具備的重要功能。同時(shí)工業(yè)鏡頭也具備另一特性，那就是光譜 特性，工業(yè)相機(jī)鏡頭都會有鏡頭鍍膜，而影響光譜特性的便是鏡頭鍍膜的干涉特性和所鍍 膜的材料具備的吸收特性。相機(jī)鏡頭還有以下四個(gè)因素的影響。（1）焦距和景深，畸變和漸暈現(xiàn)象都具有很大的聯(lián)系，就景深來說，焦距和景深是 成反比關(guān)系，同時(shí)焦距和畸變也是呈現(xiàn)反比的關(guān)系。而如果焦距越小，那么漸暈現(xiàn)象也 就會越嚴(yán)重，漸暈現(xiàn)象越嚴(yán)重也會導(dǎo)致像差邊緣照度降低。（2）第二就是和光圈大小有影響，光圈大小和圖像亮度則呈正比關(guān)系，與景深呈現(xiàn) 反比關(guān)系，最后如果光圈越大，那么圖像的分辨率也是越高。（3）第三與像場中央

35、與邊緣也有影響，一般像場中心較邊緣分辨率高一般像場中心 較邊緣光場照度高。（4）光波長度的影響。本科畢業(yè)論文（設(shè)計(jì)）專用光圈 F 值一般有： 2.8、4、5.6、8、11、16、25、50 這幾個(gè)等級，F(xiàn) 值和景深關(guān)系 如圖 3.1 所示。圖 3.1 F 值與景深關(guān)系圖通過相機(jī)的尺寸也就是 CCD 的尺寸，還有鏡頭與所拍物品所存在的工作距離（WD）， 這樣通過這兩個(gè)條件，我們可以算出來工業(yè)相機(jī)的焦距并且確定所需要的焦距大小，焦距 的計(jì)算過程如圖 3.2 所示。圖 3.2 焦距計(jì)算公式視野角計(jì)算原理如圖 3.3 所示。圖 3.3 視野角計(jì)算原理圖工作距離：視野角=焦距：CDD 尺寸本工作站選用的

36、鏡頭是大恒圖像 HN-P-5028-6M-C1/1.8 型號工業(yè)鏡頭。如圖 3.4 所示。圖 3.4 大恒圖像 HN-P-6M 系列鏡頭的 HN-P-5028-6M-C1/1.8 型號工業(yè)鏡頭大恒圖像 HN-P-5028-6M-C1/1.8 型號工業(yè)鏡頭的技術(shù)參數(shù)如表 3.2 所示。表 3.2 N-P-5028-6M-C1/1.8 型號工業(yè)鏡頭的技術(shù)參數(shù)型號HN-P-5028-6M-C1/1.8品牌大恒圖像調(diào)焦類型固定焦距分辨率6M焦距50Sehsor 尺寸（inch）1/1.8視場角（H*V）7.84*5.24光圈范圍F2.8-F16畸變（%）0.1鏡頭接口C螺紋尺寸M30.5*0.5最小工

37、作距離（mm）500工作距離（mm）250-機(jī)械尺寸（D*H）(mm)37*51.7重量104.5g3.4 工業(yè)相機(jī)光源選型光源的作用有以下幾點(diǎn)：（1） 照亮目標(biāo)，提高目標(biāo)亮度；（2） 形成最有利于圖像處理的成像效果；（3） 為了保證圖像具有較高的穩(wěn)定性，不被自然光以及周圍環(huán)境中的光源所干擾；（4） 用作測量的工具或參照。 我們可以根據(jù)我們所需光源的位置來進(jìn)行分類，主要分為四類光源，第一種是安裝在物件前端的光源稱之為前光源，第二種是安裝在物件背后，在后面提供光源的稱之為背光 源，第三種是環(huán)形的安裝在物件正上方的光源，稱之為環(huán)形光源，最后一種光源是以點(diǎn)射 光直接照射在物件表面的光源稱之為點(diǎn)光源。

38、四種光源安裝方式如圖 3.5，圖 3.6，圖 3.7 和圖 3.8 所示。圖 3.5 前光源圖 3.6 背光源圖 3.7 環(huán)形光源本科畢業(yè)論文（設(shè)計(jì)）專用圖 3.8 點(diǎn)光源市面上常見和最常用的光源有以下五種：電致發(fā)光管，光纖鹵素?zé)簦哳l熒光燈，氙 燈，LED 燈，這幾種光源的特性比較如表 3.3 所示。表 3.3 光源的特性比較表光源顏色壽命/h發(fā)光亮度特點(diǎn)鹵素?zé)舭咨?，偏黃50007000很亮發(fā)熱多，較便宜熒光燈白色，偏綠50007000亮較便宜LED 燈紅、黃、綠、白藍(lán)600010000較亮固體，能做出很多形狀氙燈白色，偏藍(lán)30007000亮熱多，持續(xù)光電致發(fā)光管由發(fā)光頻率決定5000700

39、0較亮發(fā)熱少，較便宜本工作站需要識別的是三種規(guī)格的板件，主要對板件的形狀尺寸進(jìn)行識別，若使用點(diǎn) 光源會因角度產(chǎn)生較大陰影區(qū)域從而產(chǎn)生較大誤差，而且 LED 燈安全性高，作為低溫光 源，LED 的發(fā)熱率很低，不會產(chǎn)生熱輻射，能夠?qū)崿F(xiàn)光線角度、形狀的控制，光線較柔和， 不會產(chǎn)生刺眼的光線，不會產(chǎn)生鈉、汞等有害物質(zhì)13。所以本工作站光源可選擇以 LED 燈 組成的環(huán)形光源，垂直安裝在板件上方。采用 LED 環(huán)形光源，可以加大被測板件的光照范 圍，從而可以拍攝出有較好的灰度成像值的照片，有利于后期圖像的處理，提高板件識別 的成功率。FH-RI15045 LED 環(huán)形光源如圖 3.9 所示。本科畢業(yè)論文

40、（設(shè)計(jì)）專用3.5 傳感器的選型圖 3.9 FH-RI15045 LED 環(huán)形光源相機(jī)開始工作需要用傳感器來觸發(fā)，所以本工作站需要一個(gè)感應(yīng)迅速，靈敏的傳感器 來檢測被測板件，因此本工作站選擇光電傳感器。光電傳感器由發(fā)射器，接收器和檢測電路三部分組成。當(dāng)光源投射的光照到被測板件 上，再從被測板件上反射到接收器上，通過電信號信息傳輸?shù)揭曈X系統(tǒng)，視覺系統(tǒng)接受到 信號后開始工作。為了達(dá)到這一流程并且滿足工作站的需求，我們選擇 M18 漫反射式光電 傳感器如圖 3.10 所示。3.6 小結(jié)圖 3.10 M18 漫反射式光電傳感器在本章，我們根據(jù)多規(guī)格版分揀機(jī)器人工作站視覺系統(tǒng)的需求，選擇了工業(yè)相機(jī)，工

41、業(yè)相機(jī)鏡頭，工業(yè)相機(jī)光源，傳感器這些硬件的選型。我們的工業(yè)相機(jī)選擇 ME2L-161- 61U3M 水星二代 Lite16 萬像素黑白工業(yè)相機(jī)，工業(yè)相機(jī)鏡頭選擇大恒圖像 HN-P-6M 系列鏡頭的 HN-P-5028-6M-C1/1.8 型號工業(yè)鏡頭，工業(yè)相機(jī)光源選擇了 LED 環(huán)形光源，傳感器 選擇了漫反射式光電傳感器。這些硬件均可滿足工作站視覺系統(tǒng)工作的需求。4 視覺系統(tǒng)的軟件設(shè)計(jì)4.1 軟件設(shè)計(jì)方案本工作站視覺系統(tǒng)通過 halcon 軟件編寫程序，對三種規(guī)格的板件的圖像進(jìn)行采集和預(yù) 處理，并對圖像進(jìn)行識別并將結(jié)果顯示。具體流程是先進(jìn)行相機(jī)標(biāo)定，完成相機(jī)標(biāo)定之后相機(jī)對待采集的板件進(jìn)行拍照采

42、集圖 像，當(dāng)采集的圖像質(zhì)量符合圖像識別標(biāo)準(zhǔn)時(shí)，用 halcon 軟件將圖像進(jìn)行灰度化等預(yù)處理， 完成圖像預(yù)處理后，視覺系統(tǒng)進(jìn)行深度學(xué)習(xí)，并建立特征庫，最后通過建立的特征庫與待 檢測的板件進(jìn)行特征匹配，從而完成視覺系統(tǒng)對于待測板件的識別并將結(jié)果顯示在顯示屏 上。4.2 相機(jī)標(biāo)定相機(jī)標(biāo)定是不可缺少的環(huán)節(jié)，相機(jī)的標(biāo)定是為了防止圖片產(chǎn)生形變，而圖片的形變產(chǎn) 生的原因就是因?yàn)殓R頭的畸變造成的，所以相機(jī)標(biāo)定的作用之一就是用于矯正鏡頭的形變。 除此之外，相機(jī)的標(biāo)定可以通過算法進(jìn)行數(shù)學(xué)變換，可以通過數(shù)學(xué)變換來對一個(gè)三維坐標(biāo) 點(diǎn)與與它對應(yīng)的二維圖像的坐標(biāo)點(diǎn)進(jìn)行轉(zhuǎn)換，通過這一操作可以得出相機(jī)的內(nèi)外參數(shù)。同 時(shí)“相

43、似度閾值”是影響視覺系統(tǒng)識別工件的因素，鄧龍等人得出了工件高度與“相似度閾值” 之間的關(guān)系，為工業(yè)機(jī)器人準(zhǔn)確、高效、穩(wěn)定抓取工件提供了理論依據(jù)11。工作站對板件實(shí)際發(fā)生的旋轉(zhuǎn)量和偏移量進(jìn)行計(jì)算，根據(jù)板件的旋轉(zhuǎn)中心進(jìn)行二次補(bǔ) 償，之后再把板件旋轉(zhuǎn)中心的坐標(biāo)發(fā)送給 PLC，PLC 再將二次補(bǔ)償?shù)闹捣答伣o電機(jī)，通過 板件平移的長度和旋轉(zhuǎn)的角度進(jìn)行位置標(biāo)定。我們需要得到對處理圖像最適合的圖像位置，所以我們需要對偏移值進(jìn)行計(jì)算，經(jīng)過 計(jì)算之后，會反饋給我們一個(gè)對圖像處理的最好位置以及一個(gè)最合適的偏轉(zhuǎn)角度值，我們 還可以運(yùn)用這種方式來計(jì)算得出圖像中的像素相對應(yīng)的位置和距離，通過得出的這些距離 值來將需要處

44、理的圖像區(qū)域更加準(zhǔn)確的上傳到我們的 PLC 種，從而是我們處理圖像更加精 確。最后我們還可以通過對偏移量的計(jì)算，從而算出我們的工業(yè)相機(jī)所在空間區(qū)域的坐標(biāo) 或者位置，確定我們工業(yè)相機(jī)的高度，從而可以計(jì)算出相機(jī)的焦距和識別域的景深是多少。 這樣可以令圖像識別更加清晰準(zhǔn)確。我們的工作站基本運(yùn)用棋盤格的方法來標(biāo)定我們的工業(yè)相機(jī)，首先我們將圖像的三維 點(diǎn)和二維圖像的坐標(biāo)點(diǎn)輸入到我們的工業(yè)相機(jī)之中，棋盤格是由黑色和白色相間的格子組 成的，所以二維圖像要找到角點(diǎn)是十分迅速的，主要通過黑色和白色格子來確定角點(diǎn)。其 次，我們?nèi)绻_定實(shí)際情況之中的三維點(diǎn)，我們需要在圖像采集的過程之中，先把我們 的工業(yè)相機(jī)放在一

45、個(gè)固定的位置上，然后提前確定三維坐標(biāo) XYZ 的值之后通過對黑白棋 盤格的位置移動，拍攝棋盤格不同位置的圖像。我們還可以借助標(biāo)定板來幫助我們進(jìn)行相機(jī)的標(biāo)定，如果我們采用借助標(biāo)定板的方法將會大大減少我們的工作量，提高我們的效率。 用標(biāo)定板標(biāo)定實(shí)現(xiàn)代碼如下。#對于在棋盤格之中的角點(diǎn)的定位criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)#確定格子的尺寸大小 w = 9h = 6#世界坐標(biāo)系中的棋盤格點(diǎn),例如(0,0,0),(1,0,0),(2,0,0) .,(8,5,0)，去掉 Z 坐標(biāo)，記為二維矩陣

46、objp = np.zeros(w*h,3), np.float32)objp:,:2 = np.mgrid0:w,0:h.T.reshape(-1,2) #儲存棋盤格角點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)對 objpoints = #在世界坐標(biāo)系中的三維點(diǎn)imgpoints = #在圖像平面的二維點(diǎn) 我們還需要把已經(jīng)標(biāo)定過的三維點(diǎn)和與之相互對應(yīng)的處理過的圖像的二維點(diǎn)進(jìn)行比對。相機(jī)標(biāo)定完成后，這個(gè)函數(shù)就會返回標(biāo)定結(jié)果、從而得出相機(jī)內(nèi)參數(shù)矩陣、畸變系數(shù)、旋轉(zhuǎn)矩陣和平移向量。再 將對應(yīng)的相機(jī)標(biāo)定進(jìn)行對棋盤格進(jìn)行設(shè)存儲并在圖像上顯示出來。代碼如下：images = glob.glob(calib/*.png) f

47、or fname in images:img = cv2.imread(fname)gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #找到棋盤格角點(diǎn)et, corners = cv2.findChessboardCorners(gray, (w,h),None) #如果找到足夠點(diǎn)對，將其存儲起來我們還可以使用九眼標(biāo)定法來進(jìn)行相機(jī)標(biāo)定的操作，這也是我在平時(shí)的課程中最常用 的標(biāo)定方法，并且在實(shí)現(xiàn)機(jī)器視覺與工業(yè)機(jī)器人相聯(lián)合的話也需要使用九眼標(biāo)定的方法來 進(jìn)行相機(jī)的標(biāo)定?，F(xiàn)在我們來看如何來實(shí)現(xiàn)相機(jī)的九眼標(biāo)定。 首先第一個(gè)步驟就是準(zhǔn)備一張有九個(gè)點(diǎn)的圖片，我們稱之為

48、標(biāo)定板，并且圖中點(diǎn)是尺寸直徑為 3cm 的圓，如圖 4.1 九眼標(biāo)定九點(diǎn)圖所示。圖 4.1 九眼標(biāo)定法標(biāo)定板的圖片第二個(gè)步驟，就是我們需要把這張標(biāo)定板放置在我們的工業(yè)相機(jī)的正下方，并且標(biāo) 定板需要處于水平位置，然后我們需要按照 Z 字形的順序來記錄這九個(gè)點(diǎn)的中心坐標(biāo)是 多少。第三個(gè)步驟是我們需要控制我們的工業(yè)機(jī)器人，并且將工業(yè)機(jī)器人的末端操作器， 在我們實(shí)驗(yàn)室使用的末端操作器是一支筆，我們用筆尖來按順序靠近九個(gè)圓的中心點(diǎn)， 用筆尖可以更加精確地得到圓心的坐標(biāo)，然后我們記錄用機(jī)器人記錄的九組坐標(biāo)數(shù)據(jù)。第四個(gè)步驟就是我們需要用到 Halcon 軟件的算子，這一步驟需要在 Halcon 軟件上編 程

49、，并且運(yùn)用之前所記錄的數(shù)據(jù)。我們在所拍攝的照片上的數(shù)據(jù)所需的程序代碼如下。image_x:= image_y:=我們用機(jī)器人所采集的九組數(shù)據(jù)坐標(biāo)的程序代碼如下。robot_x:= robot_y:=完成這一步之后，我們需要將我們所拍攝的圖片記錄的數(shù)據(jù)和機(jī)器人所記錄的九組數(shù)據(jù)坐標(biāo)相結(jié)合，程序代碼如下。vector_to_hom_mat2d (image_x, image_y, robot_x, robot_y, HomMat2D)然后我們需要貯存一個(gè)矩陣的數(shù)據(jù)，儲存矩陣的代碼是 write_tuple (HomMat2D, 路徑 )，值得注意的是我們需要命名的后綴是.tup 這個(gè)形式。這里我們已

50、經(jīng)標(biāo)定完成了，接下來我們就需要用相機(jī)拍一個(gè)特征點(diǎn)，并且求出這個(gè) 點(diǎn)的像素位置。img_x:= img_y:=read_tuple (路徑, HomMat2D) affine_trans_point_2d(HomMat2D,img_x,img_y, Qx, Qy) 這一步我們就可以把所得的像素坐標(biāo)重合為機(jī)器人坐標(biāo)。 接下來我們就要寫出完整的九眼標(biāo)定法的代碼，代碼如下。 read_image (Image, D:/hellowprld/視覺標(biāo)定板圖/9points.jpg) dev_close_window ()dev_open_window_fit_image (Image, 0, 0, -1,

51、 -1, WindowHandle) dev_display (Image)binary_threshold (Image, Region, max_separability, dark, UsedThreshold) connection (Region, ConnectedRegions)*篩選出來九個(gè)點(diǎn)select_shape(ConnectedRegions, SelectedRegions, area, and, 1000, 2000) shape_trans (SelectedRegions, RegionTrans, outer_circle)*求出九點(diǎn)坐標(biāo)area_center

52、 (RegionTrans, Area, Row, Column)disp_message (WindowHandle, R:+Row+ C:+Column, Image, Row, Column, black, true)*把求得的 Row 和 Column 賦值*九點(diǎn)標(biāo)定行 PxRow:=Row*九點(diǎn)標(biāo)定列PxColunm:=Column*九點(diǎn)標(biāo)定行*PxRow:=23.5, 23.5, 23.5, 71.5, 71.5, 71.5, 118.5, 118.5, 118.5*九點(diǎn)標(biāo)定列*PxColunm:=28.5, 75.5, 122.5, 28.5, 75.5, 122.5, 28.5

53、, 75.5, 122.5*機(jī)器坐標(biāo)行 Qx:=100,50,0,100,50,0,100,50,0*機(jī)器坐標(biāo)列Qy:=0,0,0,50,50,50,100,100,100*拿到機(jī)器坐標(biāo)和像素坐標(biāo)求出關(guān)系矩陣*標(biāo)定行 標(biāo)定列 機(jī)器 X 機(jī)器 Y 得到矩陣vector_to_hom_mat2d (PxRow, PxColunm, Qx, Qy, HomMat2D)*保存矩陣write_tuple (HomMat2D, 九點(diǎn)標(biāo)定.tup)本科畢業(yè)論文（設(shè)計(jì)）專用*讀取矩陣read_tuple (九點(diǎn)標(biāo)定.tup, HomMat2D)*利用求出來的物體行列坐標(biāo)得到機(jī)器坐標(biāo) affine_trans_

54、point_2d (HomMat2D, Row, Column, Qx1, Qy1)4.3 圖像采集圖像采集是視覺系統(tǒng)乃至整個(gè)機(jī)器人系統(tǒng)最重要的環(huán)節(jié)之一10。在圖像采集中，獲得 的圖像具有以下共同特點(diǎn)：（1）我們需要將圖像中可以利用的信息提取出來，并且有用信 息提取得越多，對于我們接下來處理圖像越有利；（2）我們的工業(yè)相機(jī)所具備的傳感器的 有效像素有限，所以需要最大程度地利用起來，我們需要識別的板件盡可能地再 FOV 中全 部展現(xiàn)出來；（3）我們采集的圖像需要具備盡可能高的信噪比，以降低干擾，值得一提的 是，我們這里不需要采取任何降噪的算法來實(shí)現(xiàn)這一目的，我們需要原始圖像有高的信噪 比；（4）

55、我們采集的圖像需要有無限靠近最大值的動態(tài)范圍，并且我們的圖像的動態(tài)值并 不能達(dá)到飽和狀態(tài)；（5）我們的采集的圖像必須沒有其他圖像的干擾，去除會產(chǎn)生干擾的 圖像，只留取我們所需的三種板件的完整圖像。采集的圖像是視覺系統(tǒng)工作最重要的一環(huán)，若沒有采集到足夠清晰的圖像，后續(xù)的視 覺識別將會面臨較大的困難，并且識別的準(zhǔn)確性將大打折扣，達(dá)不到預(yù)期的標(biāo)準(zhǔn)。4.4 圖像預(yù)處理為了將圖像不需要的元素去除，只保留所需的區(qū)域圖像，我們一般會將圖像進(jìn)行預(yù)處 理操作。圖像預(yù)處理一般由三個(gè)步驟組成：圖像灰度化，圖像幾何變化，圖像增強(qiáng)。圖像灰度化：灰度值是在工業(yè)相機(jī)中的模擬視頻部分用信號/噪音比 SNR 表示；經(jīng)過 采集卡

56、的 A/D 轉(zhuǎn)換之后的數(shù)字視頻量是用比特（bits）位數(shù)表示的。在現(xiàn)實(shí)世界中一幅圖 像同時(shí)具有最亮和最暗的區(qū)域，他們之間的差距非常大，機(jī)器視覺系統(tǒng)所采集的圖像應(yīng)盡 可能地反映出這種灰度的巨大變化范圍。對采集的圖像進(jìn)行灰度值轉(zhuǎn)換的操作，將 RGB（red、green、bule）三種顏色的進(jìn)行灰度值轉(zhuǎn)換為黑白圖像（0-255），讓相機(jī)精確的識別 出板件的形狀和尺寸。童勝杰,江明,焦傳佳等通過實(shí)驗(yàn)結(jié)果表明,通過改進(jìn)的算法在去除工 件表面劃痕方面效果明顯,并與傳統(tǒng)微分算子比較,邊緣清晰度、峰值信噪比(PSNR)都有大 幅提高,為提高工件識別精度打好基礎(chǔ)3。幾何變換是指借助對圖像進(jìn)行鏡像操作，平移操作，

57、旋轉(zhuǎn)操作，放大或縮小操作，轉(zhuǎn) 置操作等一些對圖像幾何方向上的轉(zhuǎn)換來減小乃至減除因?yàn)椴杉瘯r(shí)系統(tǒng)存在的誤差，比如 我們置放板件時(shí)位置的不同而產(chǎn)生的誤差，還有工業(yè)相機(jī)儀器所產(chǎn)生的微笑誤差，比如相 機(jī)和鏡頭自身重量所產(chǎn)生的細(xì)微誤差，提高了圖像的準(zhǔn)確性以及能夠提高圖像處理的效率。 我們除了通過幾何變換來減少誤差，我們還要使用灰度插值法，這種方法精度更加高，因 為灰度插值法可以將相機(jī)輸出的圖像的像素映射到輸入圖像的非整數(shù)坐標(biāo)上。我們還需要對圖像進(jìn)行增強(qiáng)操作，我們的目的就是為了提高圖像可采集的信息，放大19本科畢業(yè)論文（設(shè)計(jì)）專用圖像所呈現(xiàn)出來的效果，歸根到底，圖像增強(qiáng)操作屬于是一種失真處理。在運(yùn)用具體的影

58、 像時(shí)，應(yīng)注重其整體或局部的特性，以強(qiáng)調(diào)其原本的模糊、突出某些特性、放大不同對象 的特性差異、去除不相干的特性、提高影像質(zhì)量、增加資訊的數(shù)目、 提高影像的判讀和識 別能力，以達(dá)到一定的分析需求。4.5 特征匹配和圖像識別我們完成了對我們所拍攝的圖像的預(yù)處理之后，一般我們選擇對預(yù)處理完的圖像進(jìn)行 特征提取，特征提取是對我們拍攝的圖像進(jìn)行矢量分析，主要是借助于特征描述的方法來 進(jìn)行這一操作，而關(guān)于特征提取，就是把我們得到的圖像進(jìn)行一連串的編碼，從而我們在 輸出端會得到關(guān)于我們的圖像的一組數(shù)據(jù)。特征抽取是指由單一的點(diǎn)或多個(gè)點(diǎn)，通過低層 次的屬性來探測出特定的點(diǎn)?！暗图墝傩浴笔菦]有意義的，比如：地點(diǎn)、

59、高度、幾何、色彩、 強(qiáng)度、點(diǎn)數(shù)等?！暗图墝傩浴钡男畔⒁话悴恍枰崆矮@得先進(jìn)的知識就能從點(diǎn)云數(shù)據(jù)中獲得。 在此基礎(chǔ)上，提出了一種基于特征的特征提取方法。劃分是根據(jù)以上所說的低層次特征， 把點(diǎn)集成一小塊或一小塊的過程。相對于單個(gè)的分析和處理，劃分過程對各個(gè)物體進(jìn)行了 進(jìn)一步的 處理和分析，使得數(shù)據(jù)更加豐富。利用該方法，可以從大量的數(shù)據(jù)中提取出特定 的目標(biāo)特性，從而實(shí)現(xiàn)對板件類型的預(yù)測5。4.6 識別結(jié)果顯示我們在 halcon 軟件上完成了對板件進(jìn)行識別操作的編程并且調(diào)試完之后，我們開始使 用 C#語言編寫相應(yīng)的程序，從而達(dá)到可以有顯示我們識別結(jié)果的界面的目的，顯示界面的 主要代碼如下。names

60、pace _1public partial class Form1 : FormCogToolBlock ab = new CogToolBlock(); public Form1()InitializeComponent(); cogRecordDisplay1.AutoFit = true; LoadJob();private void LoadJob ()ab=( CogToolBlock)CogSerializer.LoadObjectFromFile(C:2022021320220213.vpp);43private void button1_Click(object sender,

61、 EventArgs elabel1.Text = ; label2.Text = ; label3.Text = ; ab.Run();cogRecordDisplay1.AutoFit = true;cogRecordDisplay1.Record = ab.CreateLastRunRecord().SubRecords0; int Results_Count = (int)ab.OutputsResults_Count.Value;int Results_Count1 = (int)ab.OutputsResults_Count1.Value; int Results_Count2 = (int)ab.OutputsResults_Count2.Value; if (Results_Count = 1)label1.Text = wcgxy.5-1 安裝板 A ;if (Results_Count1 = 1)label2.Text = wcgxy.5-2 安裝版 B ;if (Results_Count2 = 1)label3.Text = wcgxy.5-2 安裝板 C ;4.7 深度學(xué)習(xí)機(jī)器視覺最重要的一環(huán)便是深度學(xué)習(xí)之一塊，而深度學(xué)習(xí)的定義則為深度神經(jīng)網(wǎng)絡(luò)學(xué) 習(xí)，它能過尋找被測產(chǎn)品也就是我們的板件的數(shù)據(jù)聯(lián)系后，建立起和我們板件相同的深