收藏文章 楼主
HS系统Robots.txt文件设置参考
版块:其他技术文章   类型:普通   作者:乐天   查看:1313   回复:2   获赞:3   时间:2021-01-07 11:47:51

HS系统从7.6.2之后支持设置robots.txt文件,建议设置内容:

User-agent: *
Disallow: /install/
Disallow: /app/superadmin/
Disallow: /index.php?c=app&a=superadmin*
如果您的站点没有开启伪静态功能或不支持伪静态功能,请保持robots.txt文件内容默认即可;

如果您的站点开启了伪静态且不希望百度去抓取您的站点的动态URL您可以将robots.txt文件内容设置为下:

User-agent: *
Disallow: /install/
Disallow: /app/superadmin/
Disallow: /*?*


屏蔽无用蜘蛛池:

User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /
user-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /




相关文档:百度robots文件详解






有些梦虽然遥不可及,但并不是不可能实现。 
回复列表
默认   热门   正序   倒序
黑衣人
3F
懂了,后边动态地址也要加进去。。多加几个板块也是这种操作。。超级使用。。


不然被搜索引擎收录太多跟网站主SEO不相关的内容,相关性太低,会影响排名。。这些完美了

简单就是美:
超级实用

 0   2021-02-02 11:39:02  回复
黑衣人
2F
乐天,有空麻烦看下,不希望百度收录隐藏板块内容,后台Robots这么设置对不对,/list-7-1.html 是版块的列表id为7


User-agent: *

Disallow: /install/

Disallow: /app/superadmin/

Disallow: /list-7-1.html



乐天:
Disallow: /index.php?c=list&sortid=7*

乐天:
zai jia shang zhe ge

 0   2021-02-02 11:23:01  回复

回复:HS系统Robots.txt文件设置参考

暂无用户组
退出
等级:0级
天豆:
游客:

公告

近期本站被人为恶意注册及发布垃圾帖,本站已开启普通用户发帖审核功能,VIP系列用户组不受影响,一但发现发布违法或垃圾帖的用户,该用户账号将会被永久封号,请大家共同维护互联网环境,共创美好互联网未来。

永久免费,购授权享豪礼

3年个人版授权+1940天豆仅需194元

终身个人版授权+3880天豆仅需388元

3年尊享版授权+13580天豆仅需1358元

终身尊享版授权+27160天豆仅需2716元

Powered by HadSky 7.8.7

©2015 - 2021 HadSky

购买产品 用户文档 加入QQ群 授权查询 网站绑定 客户案例 陕ICP备13005805号

您的IP:3.229.142.91,2021-10-28 10:40:03,Processed in 0.04121 second(s).

支持原创软件,抵制盗版,共创美好明天!
头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(3) 分享
分享

请保存二维码或复制链接进行分享

取消