Robots.txt文件看似只有几行字母，但是其实有很多细节需要注意的。因为如果你不注意这些细节，有的语句将不会发挥效果，甚至出现反效果。robots.txt文件是搜索引擎进入文汇软件站点后访问的第一个文件，文汇软件（济南网站建设）提醒大家robots.txt文件写的好不好直接关系到站点的seo能否顺利进行。
1、robots的用法
User-agent：定义进制搜索引擎名字，比如说：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*号代表全部搜索引擎
Disallow：不允许收录
Allow：允许收录
案例：
User-agent: * （声明禁止所有的搜索引擎抓取以下内容）
Disallow：/blog/（禁止网站blog栏目下所有的页面。比如说：/blog/123.html）
Disallow：/api（比如说：/apifsdfds/123.html也会被屏蔽。）
Allow：/blog/12/（一般情况下不需要写Allow的，而我们在禁止的目录下面，我们需要让搜索引擎收录，那么我们就可以使用Allow，比如说我们前面禁止了blog栏目下所有的页面，同时我们想/12/栏目下被收录，这个时候我们就需要通过Allow来允许搜索引擎的收录。）
Disallow：*?*（只要你的路径里面带有问号的路径，那么这条路径将会被屏蔽
Disallow：/*.php$（意思是以.php结尾的路径全部屏蔽掉。）
对于robots.txt文件的重要性想必很多站长都深有体会。如果济南网站建设不重视这些书写的小细节的不仅会失去robotss.txt原有的效果，还会引起不必要的反效果。
上一篇： 如何提升公司产品的知名度
下一篇： 如何选择b2b平台？
关键词:
