久久久久精品亚洲18国产成人精品无码AV综合_亚洲国产成人精品久久久久av无码综合色_亚洲精品国产无码午夜福利成人毛片中文字幕_亚洲国产婷婷综合在线精品18禁伊人网_亚洲国产综合91精品久久久久久免费黄aa网站_国产黄A级三级无码A成人毛片一区二区三区_91麻豆va国产精品久久久久久精品免费观看_99re国产乱码欧美日本韩高清视频一区二区三区

如何制作網(wǎng)站地圖并規(guī)范robots協(xié)議內(nèi)容

2020-04-05 11:34:07 編輯:永諾網(wǎng)絡 來源:本站原創(chuàng)
   網(wǎng)站地圖的制作在seo優(yōu)化中也是占據(jù)很重要一部分的,網(wǎng)站地圖制作好了可以更加有利于蜘蛛對我們網(wǎng)站信息的檢索與抓取,他會對網(wǎng)頁信息進行方向引導,給搜索引擎蜘蛛的爬行提供一個路徑,快速準確的抓取網(wǎng)站內(nèi)容。
如何制作網(wǎng)站地圖并規(guī)范robots協(xié)議內(nèi)容
   我們可以利用小爬蟲工具、愛站工具等來生成網(wǎng)站地圖。我們首先打開愛站工具包,選擇網(wǎng)站地圖,然后左側(cè)選擇添加網(wǎng)站,將網(wǎng)址輸入后選擇xml選項,將里面的頂部的所有文件選項勾選之后點擊抓爬,完成后生成xml文件,最后將生成之后的sitemap后綴為html、xml、txt的文件上傳到網(wǎng)站后臺的根目錄中即可。這樣,只要有用戶進入就會抓取了。
   robots協(xié)議又是什么?該如何書寫它呢?robot協(xié)議就是給搜索引擎蜘蛛的一個規(guī)定,我們利用這個文件來限制搜索引擎的抓取范圍,尊重信息提供者意愿并維護其隱私權(quán),保護我們的隱私不被搜索引擎抓取的一份內(nèi)容。這個有我們自己進行編輯規(guī)定。
   robots協(xié)議的編輯會用到三個標簽:1、User-agent: 蜘蛛名稱(這里個User-agent 指定搜索引擎蜘蛛名稱)2、Disallow: 內(nèi)容名稱(代表要禁止抓取的內(nèi)容)3、Allow:內(nèi)容名稱(代表允許抓取的內(nèi)容)。這些標簽后書寫的就是協(xié)議的內(nèi)容,還會用到3個通配符來編輯:"*"表示涵蓋所有搜索引擎;"$"表示以某字符串結(jié)尾;"/"表示當前目錄下的所有內(nèi)容。當編輯完協(xié)議內(nèi)容后可在最后添加“Sitemap:網(wǎng)站域名/sitemap.xml”,用地圖讓蜘蛛更快速的抵達我們的網(wǎng)站。
   SEO的日常工作比較細致,查看我們網(wǎng)站的日志也是需要關注的。從網(wǎng)站后臺空間找到文件管理,然后打開logs文件,將最新的日志文件載到桌面,然后使用光年日志分析系統(tǒng)等工具對其進行分析,可以看到蜘蛛爬行過的記錄以及一些問題,需要及時查看并解決掉。
本站文章均為永諾網(wǎng)站建設摘自權(quán)威資料,書籍,或網(wǎng)絡原創(chuàng)文章,如有版權(quán)糾紛或者違規(guī)問題,請即刻聯(lián)系我們刪除,我們歡迎您分享,引用和轉(zhuǎn)載,我們謝絕直接復制和抄襲!感謝...
我們猜你喜歡
久久久久精品亚洲18国产成人精品无码AV综合_亚洲国产成人精品久久久久av无码综合色_亚洲精品国产无码午夜福利成人毛片中文字幕_亚洲国产婷婷综合在线精品18禁伊人网_亚洲国产综合91精品久久久久久免费黄aa网站_国产黄A级三级无码A成人毛片一区二区三区_91麻豆va国产精品久久久久久精品免费观看_99re国产乱码欧美日本韩高清视频一区二区三区