robot.txt 文件指示 搜索引擎抓取工具应该抓取.不应该抓取网站上的哪些内容! 默认是抓取所有网页的. 建议用 robot.txt 来阻止抓取没什么价值的网页. 如搜索结果页 …