在記錄索引資料方面，也必須記錄多人之事件，然而偵測之人形細部動作包括所有頭、手、身體等在所有時間點的位置資訊，這些資訊過於繁雜且無查詢之必要與意義，因此將採取分類方法，將人形細部動作辨認分類成為行為事件，如等待、徘徊、直行通過、滯留等，將此分類之行為事件作為高階語意索引來記錄，將可有效的查詢。此外，將提供自然語言查詢之技術與介面，因此需定義監控相關之詞庫，如基本語彙、同義詞庫、反義詞庫、事件詞庫、時空詞庫與語法庫，發展有限領域之中文斷詞技術，並研究問答系統之對話技巧，以建立監控特有之自然語言查詢技術。