如請求項3所述之階層式影像辨識方法，其中，在重複步驟至步驟時，若所確認的該至少一階層資訊與先前相同，則省略該步驟。 如請求項13所述之階層式影像辨識系統，其中，當該至少一處 理器重複前述運作至運作時，若所確認的該至少一階層資訊與先前相同，則省略運作。 如請求項3所述之階層式影像辨識方法，其中，在重複步驟至步驟時，若所確認的該至少一階層資訊與先前相同，則 花種類2023 省略該步驟。 需說明者，由於本實施例的初步分類模組31、分類管理模組32、細分類模組33及訓練模組34係個別地為一處理器，故該等模組之間會有訊號及資料的傳遞。 然而，若其他實施例將初步分類模組31、分類管理模組32、細分類模組33及訓練模組34的某些或全部整合於同一處理器中，則前述的某些或全部訊號及資料的傳遞則可省略。
近年來，和其他機器學習方法一樣，人工神經網路(artificial neural network；ANN)(又被稱之為類神經網路)已經被用於解決各種各樣的問題，例如：機器視覺和語音識別。 在影像辨識領域，可採用訓練後的人工神經網路來為影像做特徵分類，並辨識出正確的影像資訊。 需說明者，於某些實施態樣中，初步分類模組31、分類管理模組32、細分類模組33及訓練模組34則可在同一實體機器(例如：同一處理器)上運行。 此外，於某些實施態樣中，初步分類模組31、分類管理模組32、細分類模組33及訓練模組34可以任意的方式組合而執行於不同的處理器，並透過網路傳輸來交換資料。
花種類: 相關文章
因此，將可能出現複數個細分類結果並各自不斷的再進行細分類，其方法與前述內容類似，不再贅言。 步驟207：判斷所確認的該至少一細分類模型的一數目(所有曾經確認過的細分類模型的數目)是否改變。 若判斷之結果為否(亦即，所確認的該至少一細分類模型的數目不再改變)，則結束影像辨識流程，並輸出該初步分類結果及所有的細分類結果。 該階層式影像辨識方法可由至少一電子計算裝置(例如：電腦、伺服器或其他具有類似電子計算能力之裝置)執行。 如請求項13所述之階層式影像辨識系統，其中，當該至少一處理器重複前述運作至運作時，若所確認的該至少一階層資訊與先前相同，則省略運作。
舉例而言，若該初步分類模型包含複數個層，則各該預設細分類模型對應至該等層其中之一，而該層關聯表係記錄各該預設細分類模型及相對應之該層之一編號。 本發明之階層式影像辨識系統3包括一接收介面30、一初步分類模組31、一分類管理模組32、一細分類模組33及一訓練模組34，其中接收介面30電性連接至初步分類模組31，且初步分類模組31、分類管理模組32、細分類模組33及訓練模組34彼此電性連接。 於本實施例中，初步分類模組31、分類管理模組32、細分類模組33及訓練模組34個別地為一處理器。 步驟203：根據步驟202所查詢到的該至少一細分類模型查詢一層關聯表以確認該至少一細分類模型分別相關聯之該初步分類模型之至少一階層資訊。 前述該分類關聯表係記錄該初步分類模型與該等預設細分類模型間的關聯性，以及該等預設細分類模型間的關聯性。
花種類: TWI662511B - 階層式影像辨識方法及系統
於某些實施態樣中，該初步分類模型及該等預設細分類模型中的每一個為一深度卷積神經網路。 步驟202根據初步分類結果「花」來查詢表一之分類關聯表，並因此確認與該初步分類結果「花」相關聯的一細分類模型為「花種類」。 步驟203根據細分類模型「花種類」查詢表二之層關聯表，並因此確認與該細分類模型「花種類」相關聯之初步分類模型之一階層資訊為「10」，即代表初步分類模型的第「10」層。
如請求項1所述之階層式影像辨識方法，更包括下列步驟：根據各該至少一細分類結果查詢該分類關聯表以確認與各該至少一細分類結果相關聯的至少一細分類模型；以及重複步驟至步驟，直到所確認的該至少一細分類模型的一數目不再改變時，輸出該初步分類結果及該至少一細分類結果。 於某些實施態樣中，分類管理模組32會根據細分類模組33所輸入的該至少一細分類結果再次查詢該分類關聯表，藉此確認與各該至少一細分類結果相關聯的至少一細分類模型。 與前述第一實施例類似，分類管理模組32、初步分類模組31及細分類模組33會重複前述運作，不斷地進行細分類。 當所有曾確認過的細分類模型的數目不再改變時，分類管理模組32將該初步分類結果及該至少一細分類結果輸出。 分類管理模組32接收該初步分類結果，根據該初步分類結果查詢一分類關聯表，藉此確認與該初步分類結果相關聯的至少一細分類模型。
花種類: 系統工具
細分類模組33根據該至少一細分類模型及接收的該至少一初步特徵描述決定至少一細分類結果，且將該至少一細分類結果輸入分類管理模組32。 於該等實施態樣中，之後若分類管理模組32查詢該層關聯表後得到與先前相同的該階層資訊，表示需使用的初步特徵描述與之前相同，因此，分類管理模組32可省略前述通知初步分類模組擷取初步特徵描述之動作。 由前述說明可知，本發明所提供之階層式影像辨識方法先使用初步分類模型對影像做初步分類，依據初步分類結果查詢下一層有哪些相關聯的細分類模型可使用，再進一步地以查詢到的細分類模型來對影像做細部分類。 階層式影像辨識方法可藉由重複前述流程不斷進行細分類，直到無法再細分類為止，故可提供精確的影像辨識率。 此外，藉由在不同階層的分類模型間建立對應關係，階層式影像辨識方法可隨時新增其他的預設細分類模型，而不需重新訓練所有的分類模型，故可以有效率地提高影像辨識的正確率。
- 如請求項15所述之階層式影像辨識系統，其中，該分類關聯表係記錄該初步分類模型與該等預設細分類模型間之關聯性，該初步分類模型包含複數個層，各該預設細分類模型對應至該等層其中之一，該層關聯表係記錄各該預設細分類模型及相對應之該層之一編號。
- 如請求項7所述之階層式影像辨識方法，更包含下列步驟：藉由於該分類關聯表記錄該初步分類模型與一新增細分類模型之關聯性而更新該分類關聯表，其中該新增細分類模型對應至該等層其中之一；以及藉由於該層關聯表記錄該新增細分類及相對應之該層之一編號而更新該層關聯表。
- 表一的標籤欄位中的文字(亦即，車、衣服、褲子、花、玫瑰花等等)代表初步分類結果或細分類結果。
- 需說明者，於某些實施態樣中，初步分類模組31、分類管理模組32、細分類模組33及訓練模組34則可在同一實體機器(例如：同一處理器)上運行。
- 分類管理模組32接收該初步分類結果，根據該初步分類結果查詢一分類關聯表，藉此確認與該初步分類結果相關聯的至少一細分類模型。
- 在以下說明中，將參照本發明之實例性實施例來解釋本發明，然而，此等實例性實施例並非用於將本發明限於此等實施例中所述之任何特定實例、實施例、環境、應用或特定實施方案。
本發明之一第二態樣為一種階層式影像辨識系統，其係包括 一接收介面及至少一處理器。 該至少一處理器電性連接至該接收介面，且執行一初步分類模組、一分類管理模組及一細分類模組。 花種類2023 該分類管理模組根據該初步分類結果查詢一分類關聯表以確認與該初步分類結果相關聯的至少一細分類模型。
花種類: TW201915942A - 階層式影像辨識方法及系統
該分類管理模組根據該至少一細分類模型查詢一層關聯表以確認該至少一細分類模型分別相關聯之該初步分類模型之至少一階層資訊。 由前述實施例可知，本發明之階層式影像辨識方法及系統先使用初步分類模型對影像做初步分類，依據初步分類結果查詢下一層有哪些相關聯的細分類模型可使用，再進一步地以查詢到的細分類模型來對影像做細部分類。 本發明之階層式影像辨識方法及系統可藉由重複前述流程不斷地進行細分類，直到無法再細分類為止，故可提供精確的影像辨識率。 此外，本發明之階層式影像辨識方法及系統可隨時更新細分類模型的相關資訊(即新增、刪除、調整細分類模型)而不需重新訓練所有分類模型(亦即，初步分類模型及所有的預設細分類模型)，故可節省訓練的時間，可適應性的調整或更新細分類模型，有效率地提高影像辨識的正確率。 為達成上述目標，本發明之一第一態樣為一種階層式影像辨識方法，其係適用於至少一電子計算裝置。
如請求項15所述之階層式影像辨識系統，其中，該訓練模組更以該初步分類模型的一低階層資訊的一初步特徵描述訓練該初步分類模型以獲得該等預設細分類模型。 如請求項17所述之階層式影像辨識系統，其中，該分類管理模組藉由於該分類關聯表記錄該初步分類模型與一新增細分類模型之關聯性而更新該分類關聯表，其中該新增細分類模型對應至該等層其中之一，且藉由於該層關聯表記錄該新增細分類及相對應之該層之一編號而更新該層關聯表。 如請求項11所述之階層式影像辨識系統，其中，該至少一處理器更執行一訓練模組，該初步分類模組包含該初步分類模型，該細分類模組包含複數個預設細分類模型，該訓練模組個別地以一深度學習方法訓練出該初步分類模型及該等預設細分類模型。
花種類: 相關文章
藉由在不同階層的分類模型間建立對應關係，本發明可隨時更新任一細分類模型(即新增、刪除、調整細分類模型)，而不需重新訓練所有的分類模型，故可以有效率地提高影像辨識的正確率。 於本發明的某些態樣中，該階層式影像辨識系統還會由該分類管理模組根據該至少一細分類結果查詢該分類關聯表以確認與各該至少一細分類結果相關聯的至少一細分類模型。 若所確認的該至少一細分類模型的一數目改變，該階層式影像辨識系統會以新確認的該至少一細分類模型進行前述運作以進行更精細的分類。 若所確認的該至少一細分類模型的數目不再改變時，該分類管理模組輸出該初步分類結果及該至少一細分類結果。 花種類2023 於某些實施態樣中，初步分類模組31的該初步分類模型、細分類模組33的所有預設細分類模型、該分類關聯表及該層關聯表的內容可隨時更新。 舉例來說(請同時參閱第1B圖及第3C圖)，假設欲新增一新細分類模型，訓練模組34先訓練該新細分類模型，將訓練好的該新細分類模型輸入細分類模組33，且將該新細分類模型的資訊輸入分類管理模組32。
- 需說明者，若分類管理模組32再次查詢該層關聯表後得到與先前相同的該階層資訊時，與前述第一實施例類似，分類管理模組32不需為了相同的該初步特徵描述而通知該初步分類模組，分類管理模組32僅需通知細分類模組33欲使用該至少一細分類模型做細分類。
- 相較於低階層資訊，高階層資訊(亦即，非第1至3層)所對應的初步特徵描述則是包含較複雜的影像特徵，例如：形狀、圖案等特徵。
- 依據下文之詳細說明，本發明所屬技術領域中具有通常知識者應能輕易思及本發明之其他適用範圍。
- 此外，訓練模組34亦可調整、重新訓練或刪除既有的細分類模型，並將相關資訊輸入分類管理模組32以更新該分類關聯表及該層關聯表。
- 除了上述內容，第二實施例亦能執行第一實施例所描述之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。
- 各該處理器可為中央處理單元(Central Processing Unit；CPU)、圖形處理單元(Graphics Processing Unit；GPU)、微處理器、控制元件、其他可執行指令的硬體元件或本發明所屬技術領域中具有通常知識者 所知之其他計算裝置中之任一者。
- 於本實施例中，初步分類模組31、分類管理模組32、細分類模組33及訓練模組34個別地為一處理器。
步驟204：根據步驟203所確認的該至少一階層資訊，擷取該初步分類模型中該至少一階層資訊所分別相應的至少一初步特徵描述。 另外，分類管理模組32根據初步分類模組31的該初步分類模型的資訊、細分類模組33的所有預設細分類模型的資訊與該所有預設細分類模型之用途間的關聯性以建立該分類關聯表。 換言之，該分類關聯表係記 錄該初步分類模型與該等預設細分類模型間之關聯性，以及該等預設細分類模型間之關聯性。 透過前述運作，第二實施例之階層式影像辨識系統3即可辨識出該影像之初步分類結果(亦即，屬於哪一初步分類)及細部分類結果(亦即，屬於哪一或哪些細部分類)。 此外，在前述具體範例中，若於查詢表一之分類關聯表後得到複數個相關聯的細分類模型，則後續步驟203至206需針對每一個細分類模型執行。
花種類: TWI662511B - 階層式影像辨識方法及系統
於本發明的某些態樣中，該階層式影像辨識方法還可包含下列步驟：根據該至少一細分類結果查詢該分類關聯表以確認與各該至少一細分類結果相關聯的至少一細分類模型；以及重複步驟至步驟，直到所確認的該至少一細分類模型的數目不再改變時，輸出該初步分類結果及該至少一細分類結果。 階層式影像辨識方法可再次查詢該分類關聯表及該層關聯表以不斷進行細分類，最後輸出該初步分類結果及該至少一細分類結果。 如請求項5所述之階層式影像辨識方法，更包含下列步驟：以該初步分類模型的一低階層資訊的一初步特徵描述訓練該初步分類模型而獲得該等預設細分類模型。 如請求項5所述之階層式影像辨識方法，更包含下列步驟： 以該初步分類模型的一低階層資訊的一初步特徵描述訓練該初步分類模型而獲得該等預設細分類模型。
如請求項7所述之階層式影像辨識方法，更包含下列步驟：藉由於該分類關聯表記錄該初步分類模型與一新增細分類模型之關聯性而更新該分類關聯表，其中該新增細分類模型對應至該等層其中之一；以及藉由於該層關聯表記錄該新增細分類及相對應之該層之一編號而更新該層關聯表。 步驟205根據該細分類模型「玫瑰花品種」及該初步特徵描述所決定之細分類結果為「大馬士革玫瑰花」。 步驟206根據細分類結果「大馬士革玫瑰花」再次查詢表一之分類關聯表，以確認與該細分類結果「大馬士革玫瑰花」相關聯的細分類模型。
花種類: TW201915942A - 階層式影像辨識方法及系統
步驟：以該初步分類模型的一低階層資訊所對應的一初步特徵描述訓練該初步分類模型而獲得一預設細分類模型。 該低階層資訊是指該初步分類模型的第1至3層，而低階層資訊所對應的初步特徵描述則包含一些簡單的影像特徵資訊，例如：邊緣、稜角、曲線、光點等特徵。 相較於低階層資訊，高階層資訊(亦即，非第1至3層)所對應的初步特徵描述則是包含較複雜的影像特徵，例如：形狀、圖案等特徵。 前述該至少一電子計算裝置包含了該初步分類模型及複數個預設細分類模型，其中該等預設細分類模型包含前述步驟202所查詢到的該至少一細分類模型。
於某些實施態樣中，階層式影像辨識方法可由該至少一電子計算裝置執行下列步驟及步驟以新增其他預設新分類模型，各步驟之細節詳述於下。 花種類 之後，步驟206根據該細分類結果「玫瑰花」再次查詢表一之分類關聯表，並因此確認與該細分類結果「玫瑰花」相關聯的一細分類模型為「玫瑰花品種」。 步驟207判斷所有曾經確認過的細分類模型的數目已經改變，故重複前述步驟203至207。 如請求項15所述之階層式影像辨識系統，其中，該初步分類模型及該等預設細分類模型中的每一個為一深度卷積神經網路(Deep Convolutional Neural Network；DCNN)。
花種類: 系統工具
需說明者，若分類管理模組32再次查詢該層關聯表後得到與先前相同的該階層資訊時，與前述第一實施例類似，分類管理模組32不需為了相同的該初步特徵描述而通知該初步分類模組，分類管理模組32僅需通知細分類模組33欲使用該至少一細分類模型做細分類。 細分類模組33根據 該至少一細分類模型及已儲存的該至少一初步特徵描述以決定至少一細分類結果，並將該至少一細分類結果輸入分類管理模組32。 分類管理模組32根據輸入的該至少一細分類結果查詢該分類關聯表，藉此確認與該至少一細分類結果相關聯的至少一細分類模型，並繼續進行下一階段更細部的分類。 本發明之第二實施例之建立與更新分類關聯表及層關聯表之示意圖係描繪於第3B-3C圖。 訓練模組34以一深度學習方法訓練出初步分類模型及複數個預設細分類模型，將訓練好的該初步分類模型及所有預設細分類模型分別輸入初步分類模組31及細分類模組33，且將該初步分類模型的資訊及所有細分類模型的資訊輸入分類管理模組32。 因此，初步分類模組31包含了該初步分類模型，細分類模組33包含了該等預設細分類模型，而前述該至少一細分類模型則包含於該等預設細分類模型中。
花種類: 相關文章
如請求項5所述之階層式影像辨識方法，其中，該初步分類模型及該等預設細分類模型中的每一個為一深度卷積神經網路(Deep 花種類 Convolutional Neural Network；DCNN)。 分類管理模組32更通知細分類模組33欲使用該至少一細分類模型做細分類，且通知初步分類模組31需擷取該初步分類模型中相應於該至少一階層資訊的至少一初步特徵描述。 初步分類模組31擷取該初步分 類模型中該至少一階層資訊所分別相應的至少一初步特徵描述，且將該至少一初步特徵描述提供至細分類模組33。 步驟206：根據各該至少一細分類結果查詢該分類關聯表，藉此確認與各該至少一細分類結果相關聯的至少一細分類模型。 於某些實施態樣中，階層式影像辨識方法可再由該至少一電子計算裝置執行步驟206及步驟207以便得到更為精細的細分類結果，各步驟之細節詳述於下。 透過前述步驟201至步驟205，第一實施例之階層式影像辨識方法即可辨識出該影像之初步分類結果(亦即，屬於哪一初步分類)及細部分類結果(亦即，屬於哪一或哪些細部分類)。
花種類: TWI662511B - 階層式影像辨識方法及系統
接下來，步驟204擷取初步分類模型中相應於該階層資訊「10」的一初步特徵描述(一般特徵描述呈現的數據類型可為浮點數類型、字元類型等等)，且此初步特徵描述會被儲存下來。 花種類 步驟205根據該細分類模型「花種類」及該至少一初步特徵描述所決定之細分類結果為「玫瑰花」。 花種類2023 需說明者，於某些實施態樣中，階層式影像辨識方法還可執行一步驟以儲存步驟204所擷取出的該至少一初步特徵描述。 花種類 於該等實施態樣中，前述重複步驟203至207時，若步驟203查詢該層關聯表後得到與先前相同的該階層資訊時，則省略步驟204，直接執行步驟205以根據該次所使用的細分類模型及前述已儲存的初步特徵描述決定至少一細分類結果，且再執行步驟206及步驟207。 概要而言，本發明提出的影像辨識技術先使用初步分類模型對影像做初步分類，依據初步分類結果查詢(例如：可實作一分類管理模組，並由該分類管理模組查詢)下一層有哪些相關聯的細分類模型可使用，再進一步地 以查詢到的細分類模型來對影像做細部分類。 本發明可不斷地找出下一層的細分類模型以進行更細的分類，直到無下一層細分類模型可用為止。
