知識點：網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。通常情況下，一個好的網絡爬蟲功能，能夠有效的幫助你從搜索引擎的角度理解你網站的銷量，提供有關您的網站搜索性能的詳細報告，幫助您更好的優化你的網站，但值得注意的是一個好的網絡爬蟲工具必須要能夠執行以下基本功能：
1、能夠檢測移動元素
隨著移動互聯網的發展，現如今很多的企業不僅建立了pc端的網站，同時也建設了移動端網站，好的爬蟲工具必須要能夠幫助你檢測出您的網站上的哪些區域或功能可能無法在移動設備上正常顯示，甚至明確的給出你相應的解決的辦法或建議。
2、檢測robot.txt文件和站點地圖
關于這點，其實任何一個好的網絡爬蟲都應該要做到，不僅如此，不但要做到能夠檢測到這些文件，還應該檢測一些不可索引的頁面。由于托管的約束，有可能這些頁面不會被搜索引擎編入索引，如：robot.txt文件中的特定闡釋。
3、能夠與Google Analytics（分析）連接
不可否認，Google Analytics（分析）工具已經成為當前的主流，深的很多seo優化的鐘愛，因為它能夠有效的監控你的工作效果以你可能需要改變的中心。因此，選擇與Google Analytics（分析）集成的抓取工具或許能夠讓你的工作更加的輕松，因為您可以在一個位置查看所有報告。
4、及時發現破損的頁面和鏈接
受損的不完整頁面和鏈接會給用戶造成不好的體驗，而這也是為什么谷歌會建議各位seo優化的站長們定期檢查網站頁面或鏈接是否受損的重要原因。一個好的爬蟲工具必須要能夠⑴時間檢測到你網站鏈接和頁面的受損情況，甚至提供一個頁面，而作為seo優化站長的你只需要直接更新軟件儀表板中的鏈接即可。
5、識別重定向問題以及HTTP和HTTPS沖突
重定向經常在網絡上出現，一個好的爬蟲不僅應該檢測錯誤的重定向，還應該幫你挑選審閱它們。另外，對于有多個網頁和帖子的網站而言，確保每個指向您網站的鏈接都反映出新的狀態可能令人望而生畏。但這卻是衡量一個爬蟲工具好壞的依據，好的爬蟲工具應該能夠檢測到這些沖突，并為你提供簡單的處理方式。
總之，一款好的爬蟲工具，能夠幫助您精簡你的網站，提升你優化工作的效率，幫助你的網站發揮最大的價值，所以各位seo優化的站長們務必要選擇一個好的爬蟲工具哦！
