企業(yè)網(wǎng)站設(shè)計(jì)預(yù)處理模塊的構(gòu)成
日期 : 2019-10-09 16:01:53
預(yù)處理模塊的構(gòu)成。預(yù)處理模塊由三個子模塊構(gòu)成, 分別是頁面抓取、文本內(nèi)容提取、關(guān)鍵字提取。頁面抓取的主要功用是讀取用戶信息庫中儲存的行為信息, 分析用戶興趣所在, 抓取相對應(yīng)的頁面。文本內(nèi)容提取, 其主要功能是將抓取到的頁面信息進(jìn)行過濾, 去除不相關(guān)的信息, 提取與頁面主題相關(guān)聯(lián)的內(nèi)容, 并將其以文本文件的形式保存至數(shù)據(jù)庫, 便于用戶觀看與查找。關(guān)鍵字提取, 該項(xiàng)子功能模塊會將用戶行為信息進(jìn)行分詞, 將文本中的內(nèi)容以詞條形式顯示, 并計(jì)算每個詞條的重要性, 依此排序, 選出與詞條相關(guān)的內(nèi)容。