熊掌号答案:了解robots工具并通过答题测

熊掌号答案:了解robots工具并通过答题测，由米铺网进行收集，帮助快速通过平台任务得分。所有资源都答对，可快速到100分度过新手期。

了解robots工具并通过答题测

如果想要网站全部被百度收录，该不该建立robots.txt文件？

A: 应该
B: 不应该
答案：选择（B）

robots.txt 文件的作用是什么？

A: 能够更好的吸引搜索引擎抓取页面
B: 能够指定spider在你网站上的抓取范围
C: 能够提供搜索结果出图效果
D: 没有什么用
答案：选择（B）

robots.txt文件应该放在哪个位置？

A: 放置在网站根目录下
B: 放置在对应页面中
答案：选择（A）

下面robots.txt文件内字段描述错误的是：

A: User-agent：描述自己站点和页面的名称
B: Disallow：描述不希望被访问的一组URL
C: allow：描述希望被访问的一组URL
D: *匹配0或多个任意字符
答案：选择（A）

robots工具目前支持48K的文件检测，最长不超过250个字符。

A:正确
B:错误
答案：选择（A）