Back to Question Center
0

索引内容之前,抓取工具是否需要robots.txt文件? - Semalt

1 answers:

你需要机器人吗? Source - buy cargo bike online usa. txt文件的抓取工具索引您的网站,或者只是不允许任何您不希望抓取工具索引的内容?

February 14, 2018