HS系统Robots.txt文件设置参考

puyuetian 乐天 关注 九级站长 创始人
发表于其他技术文章版块

HS系统从7.6.2之后支持设置robots.txt文件,建议设置内容:

User-agent: *
Disallow: /install/
Disallow: /app/superadmin/
Disallow: /index.php?c=app&a=superadmin*
如果您的站点没有开启伪静态功能或不支持伪静态功能,请保持robots.txt文件内容默认即可;

如果您的站点开启了伪静态且不希望百度去抓取您的站点的动态URL您可以将robots.txt文件内容设置为下:

User-agent: *
Disallow: /install/
Disallow: /app/superadmin/
Disallow: /*?*


屏蔽无用蜘蛛池:

User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /
user-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /




相关文档:百度robots文件详解






评论列表 评论
黑衣人 简单就是美 八级站长 VIP 3#
懂了,后边动态地址也要加进去。。多加几个板块也是这种操作。。超级使用。。


不然被搜索引擎收录太多跟网站主SEO不相关的内容,相关性太低,会影响排名。。这些完美了

简单就是美:
超级实用

共0条回复,点击查看回复
黑衣人 简单就是美 八级站长 VIP 2#
乐天,有空麻烦看下,不希望百度收录隐藏板块内容,后台Robots这么设置对不对,/list-7-1.html 是版块的列表id为7


User-agent: *

Disallow: /install/

Disallow: /app/superadmin/

Disallow: /list-7-1.html



乐天:
Disallow: /index.php?c=list&sortid=7*

乐天:
zai jia shang zhe ge

共0条回复,点击查看回复
发布评论

评论: HS系统Robots.txt文件设置参考

已有0次打赏
(3) 分享
分享

请保存二维码或复制链接进行分享

取消