robots.txt如何配置

搜索引擎爬虫配置文件robots.txt

配置robots.txt

1.进入您的宝塔，文件管理，进入fecify的根目录，然后进入 pubic文件夹(宝塔文件路径：/www/wwwroot/{网站名称}/public)，查看是否存在robots.txt文件， 如果存在，则将其删除（一些老版本默认自带这个文件，需要手动删除掉），如果不存在，则不需要做任何事情

2.进入自定义文件插件，新建,编辑参数

• 状态：开启
• 文件名：robots.txt
• 文件类型：文件内容
• 文件内容：这里填写您的爬虫规则

填写完成后保存即可，然后前台商城首页地址，后面加上robots.txt 访问，看看是否生效，譬如：https://www.fecshop.cn/robots.txt

如果可以访问，则说明已生效