robots.txt怎么写,robots.txt文件的写法！

看到很多网站没有文件，那么一个普通的.txt文件应该是这样写的。今天给大家讲讲.txt的写法和文件的常规写法。

文章插图
上图是编辑器的文件。我的个人博客是织梦系统。默认情况下，织梦中有一些文件。小编先给大家讲解一下写法。
1、允许所有搜索引擎访问 User-agent：* 允许：
2、禁用所有搜索引擎访问 User-agent: * : /
3、站点地图::

文章插图
应使用 .txt 阻止哪些页面
我知道怎么写，但是很多朋友还是不知道哪些页面需要屏蔽才能阻止搜索引擎被访问。其实很简单。不希望被搜索引擎抓取的页面会被屏蔽，那么我们不希望被搜索引擎抓取的页面。抓住它。
空白页：什么是空白页，比如注册页、联系我们、关于我们等页面都是空白页，因为这种页面在搜索引擎眼里是没有意义的，没有人会去搜索注册到访问您的网站。
后台页面：后台没有被搜索引擎索引，所以我们需要屏蔽后台登陆页面。
动态页面：通常我们的网站会是伪静态的，然后我们会屏蔽动态页面。
总结：写文档是很有必要的，一是给搜索引擎留下更好的第一印象，二是给搜索引擎做一个。
99% 还阅读：
这是什么，怎么写？
如何屏蔽百度蜘蛛
【robots.txt怎么写,robots.txt文件的写法！】郑重声明：本文版权归原作者所有，转载文章仅出于传播更多信息之目的。如果作者信息标注有误，请尽快联系我们修改或删除，谢谢。