鑒于KPI100貌似密碼又忘了，但bruce也弄不進(jìn)去了，所以這次的博客更新在這里。
之前用的工具一直是光年。光年這個(gè)工具怎么說(shuō)呢，感覺(jué)是百度統(tǒng)計(jì)，整體能看看，但一旦出現(xiàn)問(wèn)題想要看到細(xì)分的領(lǐng)域，用光年還是感到力不從心。推薦一款splunk的日志分析軟件，并且說(shuō)說(shuō)里面有哪些讓我感到興奮的點(diǎn)：
（的話請(qǐng)百度搜索splunk，然后翻墻下吧，用light版本，這個(gè)版本僅提供日志分析，已經(jīng)夠用了，安裝完后你會(huì)發(fā)現(xiàn)他是本地的localhost:）
1、簡(jiǎn)單的數(shù)據(jù)導(dǎo)入，即使不和服務(wù)器打通，在自己的硬盤(pán)里放一個(gè)日志的文件夾，以后把新的內(nèi)容再添加進(jìn)去能自動(dòng)分析了，這個(gè)蠻方便的。如下圖，幾個(gè)項(xiàng)目的日志被我分開(kāi)來(lái)放，導(dǎo)入導(dǎo)出很快。

2、可以隨時(shí)調(diào)整日志的搜索時(shí)間，并且根據(jù)文檔提供的語(yǔ)句調(diào)整自己需要的內(nèi)容（這點(diǎn)不太傻瓜了，但語(yǔ)句真的具有挺強(qiáng)大的功能）。想要什么只要在搜索框你輸入行了。比如下圖中我要搜404狀態(tài)碼，在搜索框打入status = 404，OK了，等著它自己跑數(shù)據(jù)庫(kù)提取。

另外一個(gè)很好的地方是有一個(gè)時(shí)間線的提示，這里能很直觀的找到你所搜索的這個(gè)事件在這個(gè)時(shí)間段內(nèi)出現(xiàn)了多少次，便捷的幫助我們找到網(wǎng)站的問(wèn)題并監(jiān)視終的結(jié)果。

3、另外個(gè)是不錯(cuò)的統(tǒng)計(jì)功能，比如我稍微變化一下搜索的語(yǔ)句，如下圖中的status = 404| top limit=100 uri，能轉(zhuǎn)化成統(tǒng)計(jì)的視圖表，

這樣的視圖能幫助你找到這個(gè)URL出現(xiàn)的次數(shù)和所占的百分比。

4、當(dāng)然還能導(dǎo)出你的篩選結(jié)果，這個(gè)棒極了。

想想如果再把這些語(yǔ)句發(fā)揚(yáng)一下：
我們還能用這個(gè)工具來(lái)，
1、監(jiān)測(cè)某個(gè)蜘蛛的每天，每時(shí)的爬取情況，哪個(gè)時(shí)間段被蜘蛛喜歡（馬上能分析出）
2、統(tǒng)計(jì)某個(gè)時(shí)間段被抓取的頁(yè)面，如果一直想要的頁(yè)面沒(méi)有被抓取，那么馬上需要作出調(diào)整；如果被抓取了卻沒(méi)被收錄，那么可能是頁(yè)面質(zhì)量的問(wèn)題了
3、找出浪費(fèi)爬蟲(chóng)抓取量的垃圾頁(yè)面，獲得數(shù)據(jù)之后，迅速的做調(diào)整（而光年只能看到整體，不能具體到哪個(gè)頁(yè)面）。
4、xenu工具跑的只是爬蟲(chóng)的角度，平常用來(lái)處理404頁(yè)面。我們還可以從用戶和蜘蛛的角度去看返回的一些狀態(tài)碼，如果你夠?qū)I(yè)，不僅要處理xenu工具跑出來(lái)的頁(yè)面很直觀的架構(gòu)問(wèn)題，還要從具體的服務(wù)器請(qǐng)求看結(jié)果，幫助網(wǎng)站真正的做個(gè)體檢。

推薦閱讀

另一個(gè)維度比較靠譜的免費(fèi)日志分析工具 – Splunk@steven | 文軍...1、簡(jiǎn)單的數(shù)據(jù)導(dǎo)入,即使不和服務(wù)器打通,在自己的硬盤(pán)里放一個(gè)日志的文件夾,以后把新的內(nèi)容再添加進(jìn)去能自動(dòng)分析了,這個(gè)蠻方便的。如下圖,幾個(gè)項(xiàng)目的日志被我分開(kāi)來(lái)放,導(dǎo)入導(dǎo)出很快。 2、可以隨時(shí)調(diào)整日志的搜索時(shí)間,并且根據(jù)文檔提供的語(yǔ)句調(diào)整自己需要的內(nèi)容(這點(diǎn)不太傻瓜了,但語(yǔ)句真的具有挺強(qiáng)大的功能)。想要...