创建一个robots.txt文件
查看所有提示

创建一个robots.txt文件

编写一个robots.txt文件,阻止Googlebot抓取整个网站,但允许Bingbot抓取整个网站,除了包含字母"q"的URL。

关键词

  • 编码
  • 搜索引擎优化
  • robots txt
  • 网络爬虫
  • 谷歌机器人
  • 必应机器人
  • 网站管理
  • 网络开发
  • 爬虫控制

来源