收藏文章 楼主
HadSky-轻论坛--robots.txt---规则写法
版块:开发者交流区   类型:普通   作者:??100800??   查看:7036   回复:0   获赞:8   时间:2016-05-06 00:20:22


HadSky-轻论坛-Robots.txt(原创


介绍:robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。


   网站主机支持伪静态的Robots规则  如下:(所给出的robots规则,都是经过百度robots.txt工具验证通过下发布的)


#
# robots.txt for hadsky
#

User-agent: *
Disallow: /admin/
Disallow: /install/
Disallow: /template/
Disallow: /phpscript/
Disallow: /puyuetian/
Disallow: /uploadfiles/
Disallow: /index.php?c=list&*
Disallow: /index.php?c=read&*
Disallow: /index.php?c=edit&*
Disallow: /index.php?c=plug&*
Disallow: /index.php?c=zone*


网站主机  不 支 持 伪静态的Robots规则  如下:


#
# robots.txt for hadsky
#

User-agent: *
Disallow: /admin/
Disallow: /install/
Disallow: /template/
Disallow: /phpscript/
Disallow: /puyuetian/
Disallow: /uploadfiles/


使用 百度SEO插件 的Robots规则  如下:(只需要在其后面添加)不管是有、无伪静态的做法也是一样的



Allow: /phpscript/plug/puyuetian_baiduseo/


解释:允许访问特定中目录的部分链接(加这个目录,是为了让蜘蛛访问该目录下的sitemao.txt的)

下面附上本站的Robots写法(伪静态下)

帖内图片

帖内图片

高清资源-下载中心-无毒-无弹窗-绿色网站!--关注微信号:360影视圈 
回复列表
默认   热门   正序   倒序
guest
0F
游客Lv0
回复 puyuetian :aaaaaaaaaaaaaaaa
 1   2016-05-19 16:04:11  回复
puyuetian
0F
乐天Lv810
+80豆
 2   2016-05-06 08:26:43  回复

回复:HadSky-轻论坛--robots.txt---规则写法

暂无用户组
退出
等级:0级
天豆:
游客:

公告

近期本站被人为恶意注册及发布垃圾帖,本站已开启普通用户发帖审核功能,VIP系列用户组不受影响,一但发现发布违法或垃圾帖的用户,该用户账号将会被永久封号,请大家共同维护互联网环境,共创美好互联网未来。

永久免费,购授权享豪礼

3年个人版授权+1940天豆仅需194元

终身个人版授权+3880天豆仅需388元

3年尊享版授权+13580天豆仅需1358元

终身尊享版授权+27160天豆仅需2716元

Powered by HadSky 7.8.7

©2015 - 2021 HadSky

购买产品 用户文档 加入QQ群 授权查询 网站绑定 客户案例 陕ICP备13005805号

您的IP:3.236.51.151,2021-10-25 08:52:47,Processed in 0.03788 second(s).

支持原创软件,抵制盗版,共创美好明天!
头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(8) 分享
分享

请保存二维码或复制链接进行分享

取消