示例型查詢系統
示例的含義
上述查詢語言都是基于輔助字符信息的,由字符表示了媒體實體的語義。由于并沒有直接捕獲媒體實體的內容信息,所以會導致一些問題:首先,如果在多媒體數據庫中沒有輸入媒體輔助信息,查詢就會失敗;第二,輸入的輔助信息所用的關鍵詞不一致,例如“日出”寫成“曙光”,“輪子”寫成“車輪”,也會導致查詢失敗;另外,很多媒體的特征是很難用字符表示的,例如圖像的紋理、顏色、形狀和空間結構、聲音的旋律節段等等。這時就必須采用示例查詢。
示例查詢,就是“依據示例進行查詢”的意思。對于無法用形式化方法描述的查詢,可以給出一個示例,使系統自動獲取其特征,然后根據這些特征進行查詢。例如:“找到所有與照片A上人的面貌相似的全部罪犯的資料”。這種方法避免了讓用戶描述的困難。
由于示例是直接對媒體進行處理和操作的,所以可以不需要用戶事先輸入關鍵字進行描述,也不會由此產生關鍵字選取的不一致,但需要具有對媒體處理能力和知識的輔助,需要像圖像理解、語音識別等技術的支持。
示例的種類
1、文本示例
對文本的操作比較易于接受,都比較熟悉。在特定的位置輸入一個字符串,系統按照規則在文本中對該字符串進行檢索,就可以達到目的。也可以用示例的方法給出用戶的要求。用戶在閱讀某一文獻時,對某一詞、字、詞組、短語甚至段落都可以標識出來,作為系統在數據庫中進行檢索的請求。這樣,我們可以不用輸入,而是通過示例說明自己的請求。如果用戶的查詢比較復雜,在給出示例時,還可以附帶說明相應的約束條件如查詢范圍、組合方法、模糊形式等,也可以結合自然語言理解的技術進行約束。
2、圖像示例
圖像的示例包括給出一幅類似的圖像、手繪圖像的輪廓、大致的對象形狀等。根據用戶給出的示例,系統按照要求得到相應的特征,然后對數據庫進行匹配查詢,最后將得到的結果按照相似的程度排列出來。示例可以決定整幅圖像的全局特征,如“找出與該幅圖像顏色相似的所有圖像”,也可以是該圖像中某一對象的特征,如“找出鋪有與圖中的地毯花紋相似地毯的房間照片”等。選取何種特征、對象范圍多大、相似程度多大等都可以由用戶決定。但是,圖像特征的抽取與圖像理解、模式識別等技術有關,也需要知識的輔助。
3、聲音示例
對聲音媒體的示例與圖像不太一樣,因為聲音無法用形象的方法顯示出來,給出聲音示例有兩種方法,一種是指定已有的聲音示例源,另一種是臨時給出聲音的樣本。在第一種方法中,用戶查詢系統將從聲音示例源中提取特征,然后與數據庫中的數據進行模式匹配,查找對應的數據。例如:“查找與對象A聲音相似的聲音”,對于這個查詢,查詢系統先把對象A的聲音提出,再抽取出關鍵的特征,再進行模式識別和匹配。對于第二種方法,系統臨時提取樣本,分析特征,再進行查找。例如:“查找其中一段旋律為XX的歌曲出來”。
4、視頻示例
視頻的示例可以分解為對圖像的示例,例如:“查找影片中所有日出的場景”,就需要對視頻序列進行鏡頭分解,找出代表幀,這個代表幀就是圖像。將圖像查詢的方法用于這里就可以達到目的。但視頻序列不僅僅是圖像的集合,它還具有時間上的相互關系。對于像“查找影片中汽車通過大橋后發生爆炸”的場景,需要兩幅以上并且具有先后順序的圖像示例,或者是一種鏡頭組。
5、混合示例
這種示例方法是把多種示例方法混合起來一起使用,例如圖像示例與文本示例結合,聲音示例與視頻示例結合等。
示例查詢系統的結構
示例查詢系統往往要和系統的特征提取、存儲和相似匹配結合起來。對于需要提取特征的媒體,需要加入模式識別與管理等部分,需要與對應的視覺處理、聲音處理等專門技術相結合。以圖像示例查詢系統為例,需要在系統上增加特征提取、特征管理和知識輔助等相應的模塊,以處理事先的、臨時的特征處理的需要。
[上一頁] [下一頁]
|