模式識別導論第01章概論.ppt

2020 3 3 北京郵電大學信息工程學院 模式識別導論 盛立東北京郵電大學信息工程學院 2020 3 3 北京郵電大學信息工程學院 參考書 模式識別人民郵電出版社羅耀光盛立東模式識別清華大學出版社邊肇祺模式識別及應用科學出版社付京蓀SyntacticPatternRecognitionandApplicationK S FuPatternRecognitionPrinciplesJ T TomR C Gouzales 2020 3 3 北京郵電大學信息工程學院 作業(yè) 大型上機作業(yè)題考試 開卷考試 2020 3 3 北京郵電大學信息工程學院 第一章概論 1 1模式識別的基本概念 一 模式識別的基本定義模式 pattern 存在于時間 空間中可觀察的事物 具有時間或空間分布的信息 模式識別 PatternRecognition 用計算機實現(xiàn)人對各種事物或現(xiàn)象的分析 描述 判斷 識別 模式識別與圖象識別 圖象處理的關系模式識別是模擬人的某些功能模擬人的視覺 計算機 光學系統(tǒng)模擬人的聽覺 計算機 聲音傳感器模擬人的嗅覺和觸覺 計算機 傳感器 2020 3 3 北京郵電大學信息工程學院 二 模式識別的發(fā)展史 1929年G Tauschek發(fā)明閱讀機 能夠閱讀0 9的數(shù)字 30年代Fisher提出統(tǒng)計分類理論 奠定了統(tǒng)計模式識別的基礎 因此 在60 70年代 統(tǒng)計模式識別發(fā)展很快 但由于被識別的模式愈來愈復雜 特征也愈多 就出現(xiàn) 維數(shù)災難 但由于計算機運算速度的迅猛發(fā)展 這個問題得到一定克服 統(tǒng)計模式識別仍是模式識別的主要理論 2020 3 3 北京郵電大學信息工程學院 50年代NoamChemsky提出形式語言理論美籍華人付京蓀提出句法結構模式識別 60年代L A Zadeh提出了模糊集理論 模糊模式識別理論得到了較廣泛的應用 80年代Hopfield提出神經(jīng)元網(wǎng)絡模型理論 近些年人工神經(jīng)元網(wǎng)絡在模式識別和人工智能上得到較廣泛的應用 90年代小樣本學習理論 支持向量機也受到了很大的重視 2020 3 3 北京郵電大學信息工程學院 三 關于模式識別的國內 國際學術組織 1973年IEEE發(fā)起了第一次關于模式識別的國際會議 ICPR 成立了國際模式識別協(xié)會 IAPR 每2年召開一次國際學術會議 1977年IEEE的計算機學會成立了模式分析與機器智能 PAMI 委員會 每2年召開一次模式識別與圖象處理學術會議 國內的組織有電子學會 通信學會 自動化協(xié)會 中文信息學會 2020 3 3 北京郵電大學信息工程學院 1 2模式識別系統(tǒng) 信息的獲取 是通過傳感器 將光或聲音等信息轉化為電信息 信息可以是二維的圖象如文字 圖象等 可以是一維的波形如聲波 心電圖 腦電圖 也可以是物理量與邏輯值 預處理 包括A D 二值化 圖象的平滑 變換 增強 恢復 濾波等 主要指圖象處理 2020 3 3 北京郵電大學信息工程學院 特征抽取和選擇 在模式識別中 需要進行特征的抽取和選擇 例如 一幅64x64的圖象可以得到4096個數(shù)據(jù) 這種在測量空間的原始數(shù)據(jù)通過變換獲得在特征空間最能反映分類本質的特征 這就是特征提取和選擇的過程 分類器設計 分類器設計的主要功能是通過訓練確定判決規(guī)則 使按此類判決規(guī)則分類時 錯誤率最低 把這些判決規(guī)則建成標準庫 分類決策 在特征空間中對被識別對象進行分類 2020 3 3 北京郵電大學信息工程學院 1 3模式識別的應用 1 字符識別 包括印刷體字符的識別 手寫體字符的識別 脫機 各種OCR設備例如信函分揀 文件處理 卡片輸入 支票查對 自動排板 期刊閱讀 稿件輸入 在線手寫字符的識別 聯(lián)機 各種書寫輸入板 2 醫(yī)療診斷 心電圖 腦電圖 染色體 癌細胞識別 疾病診斷 例如關幼波肝炎專家系統(tǒng) 3 遙感 資源衛(wèi)星照片 氣象衛(wèi)星照片處理 數(shù)字化地球 圖象分辨率可以達到1米 2020 3 3 北京郵電大學信息工程學院 4 指紋識別臉形識別5 檢測污染分析 大氣 水源 環(huán)境監(jiān)測 6 自動檢測 產(chǎn)品質量自動檢測7 語聲識別 機器翻譯 電話號碼自動查詢 偵聽 機器故障判斷 8 軍事應用 2020 3 3 北京郵電大學信息工程學院 1 4模式識別的基本問題 一 模式 樣本 表示方法向量表示 假設一個樣本有n個變量 特征 X1 X2 Xn T2 矩陣表示 N個樣本 n個變量 特征 2020 3 3 北京郵電大學信息工程學院 3 幾何表示一維表示X1 1 5X2 3二維表示X1 x1 x2 T 1 2 TX2 x1 x2 T 2 1 T三維表示X1 x1 x2 x3 T 1 1 0 TX2 x1 x2 x3 T 1 0 1 T 2020 3 3 北京郵電大學信息工程學院 4 基元 鏈碼 表示 在右側的圖中八個基元分別表示0 1 2 3 4 5 6 7 八個方向和基元線段長度 則右側樣本可以表示為X1 006666這種方法將在句法模式識別中用到 2020 3 3 北京郵電大學信息工程學院 二 模式類的緊致性 1 緊致集 同一類模式類樣本的分布比較集中 沒有或臨界樣本很少 這樣的模式類稱緊致集 2020 3 3 北京郵電大學信息工程學院 2 臨界點 樣本 在多類樣本中 某些樣本的值有微小變化時就變成另一類樣本稱為臨界樣本 點 3 緊致集的性質 要求臨界點很少 集合內的任意兩點的連線 在線上的點屬于同一集合 集合內的每一個點都有足夠大的鄰域 在鄰域內只包含同一集合的點4 模式識別的要求 滿足緊致集 才能很好的分類 如果不滿足緊致集 就要采取變換的方法 滿足緊致集 2020 3 3 北京郵電大學信息工程學院 三 相似與分類 1 兩個樣本xi xj之間的相似度量滿足以下要求 應為非負值 樣本本身相似性度量應最大 度量應滿足對稱性 在滿足緊致性的條件下 相似性應該是點間距離的單調函數(shù)2 用各種距離表示相似性 絕對值距離已知兩個樣本xi xi1 xi2 xi3 xin Txj xj1 xj2 xj3 xjn T 2020 3 3 北京郵電大學信息工程學院 歐幾里德距離 明考夫斯基距離其中當q 1時為絕對值距離 當q 2時為歐氏距離 2020 3 3 北京郵電大學信息工程學院 切比雪夫距離q趨向無窮大時明氏距離的極限情況 馬哈拉諾比斯距離其中xi xj為特征向量 為協(xié)方差 使用的條件是樣本符合正態(tài)分布 2020 3 3 北京郵電大學信息工程學院 夾角余弦為xixj的均值即樣本間夾角小的為一類 具有相似性例 x1 x2 x3的夾角如圖 因為x1 x2的夾角小 所以x1 x2最相似 x1 x2 x1 x2 x3 2020 3 3 北京郵電大學信息工程學院 相關系數(shù)為xixj的均值注意 在求相關系數(shù)之前 要將數(shù)據(jù)標準化3 分類的主觀性和客觀性 分類帶有主觀性 目的不同 分類不同 例如 鯨魚 牛 馬從生物學的角度來講都屬于哺乳類 但是從產(chǎn)業(yè)角度來講鯨魚屬于水產(chǎn)業(yè) 牛和馬屬于畜牧業(yè) 分類的客觀性 科學性判斷分類必須有客觀標準 因此分類是追求客觀性的 但主觀性也很難避免 這就是分類的復雜性 2020 3 3 北京郵電大學信息工程學院 四 特征的生成1 低層特征 無序尺度 有明確的數(shù)量和數(shù)值 有序尺度 有先后 好壞的次序關系 如酒分為上 中 下三個等級 名義尺度 無數(shù)量 無次序關系 如有紅 黃兩種顏色2 中層特征 經(jīng)過計算 變換得到的特征3 高層特征 在中層特征的基礎上有目的的經(jīng)過運算形成例如 椅子的重量 體積 比重體積與長 寬 高有關 比重與材料 紋理 顏色有關 這里低 中 高三層特征都有了 2020 3 3 北京郵電大學信息工程學院 五 數(shù)據(jù)的標準化1 極差標準化 一批樣本中 每個特征的最大值與最小值之差 極差極差標準化2 方差標準化Si為方差標準化的方法很多 原始數(shù)據(jù)是否應該標準化 應采用什么方法標準化 都要根據(jù)具體情況來定