<menuitem id="h7t7f"><dl id="h7t7f"><progress id="h7t7f"></progress></dl></menuitem>
<cite id="h7t7f"><strike id="h7t7f"><thead id="h7t7f"></thead></strike></cite>
<cite id="h7t7f"><strike id="h7t7f"></strike></cite>
<var id="h7t7f"></var>
<var id="h7t7f"><strike id="h7t7f"><listing id="h7t7f"></listing></strike></var>
<menuitem id="h7t7f"></menuitem>
<var id="h7t7f"></var>
<var id="h7t7f"><strike id="h7t7f"></strike></var><var id="h7t7f"><strike id="h7t7f"></strike></var><cite id="h7t7f"><video id="h7t7f"><listing id="h7t7f"></listing></video></cite>
  1. 主頁 > SEO大全 > seo案例分析 >

robots.txt里要不要新增屏蔽js和css文件

  Robots協議用來告知搜索引擎哪些頁面能被抓取,哪些頁面不能被抓??;可以屏蔽一些網站中比較大的文件,如:圖片,音樂,視頻等,節省服務器帶寬;可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容;設置網站地圖連接,方便引導蜘蛛爬取頁面。今天一個客戶在分析網站日志的時候,發現蜘蛛抓取了很多js和css等樣式文件,于是就問網站robots文件中到底要不要屏蔽JS和css?遇到這種情況,因為這些似乎對蜘蛛沒有用處,是否應該屏蔽蜘蛛抓取這些類型的文件?

robots.txt里要不要新增屏蔽js和css文件

今天我們就來分析下,這些是否有必要屏蔽js和css文件哈
 
 
一、robots全部屏蔽掉不太建議,因為隨著網頁的發展,資源種類越來越多,蜘蛛需要分析;
 
二、根據之前看到的百度對網頁主體內容模板的專利的簡單介紹可以得出下面幾個觀點:
 
1、百度能夠根據前臺頁面的鏈接布局、框架,判斷出一個站點的主要頁面類型,及各頁面適合用戶瀏覽的主體內容;
 
2、因此如果js、css等如果對蜘蛛判斷站點的主體內容沒有什么影響,比如遮罩、跟蹤用戶行為返回區域內容變化,那么屏蔽完全可以,但是從實際的例子來說可能對站點其他主體內容頁面的抓取頻次沒有多大幫助,因為主體內容與js、css本來就互不相關的兩類東西;

3、如果js、css等如果對蜘蛛判斷站點的主體內容有影響,如包含較多網址、圖片地址、有效資源地址、文字資源等建議不屏蔽,蜘蛛爬取js/css文件的同時可以爬取里面的內容,并且盡量簡單處理,不要采用ajax或多重邏輯判斷的代碼;
 
 
 
所以我的建議是沒必要
 
理由:
 
1. 沒有證據證明蜘蛛爬行JS和css之后,會減少爬行網頁的機會;
2. 如果得通過屏蔽js和css來讓其他網頁得到抓取的話,那網站也夠差的;
3. 搜索引擎分得清什么是js、css和什么是網頁。

好了,關于robots.txt里要不要新增屏蔽js和css文件就分享到這里哦,大家如果有其他見解,也可以在評論中與大家一同分享哦!
 

本文僅代表作者觀點,不代表本站立場。 如需轉載請注明原網址:http://www.ez-party.com/seoanli/376.html

聯系我們

在線咨詢:點擊這里給我發消息

微信號:

工作日:9:30-18:30,節假日休息

中文字字幕乱码在线电影_西西人体大尺度44rtnet_粉嫩粉嫩看着都硬了[11p]_试看做受三十分钟_很黄的赤裸裸美女视频_午夜男女很黄的视频