很多新手站长初建站，不明白robotstxt文件到底有什么用处，和SEO有什么关系。本文raksmart美国服务器将给大家讲一下关于关于robotstxt文件的SEO优化。仅供参考
一：什么是robots.txt文件？
robots.txt文件是网站在网络浏览器访问中与网络爬虫之间的所制定的规则或者协议。robots.txt文件由多条规则组成。每条规则可禁止（或允许）特定抓取工具抓取相应网站中的指定文件路径。
二：robots.txt文件的规范
1、文件格式和命名
- 文件格式为标准 ASCII 或 UTF-8
- 文件必须命名为 robots.txt
- 只能有 1 个 robots.txt 文件 推荐阅读：什么是SEO？ SEO是做什么的，它是如何工作的
2、文件位置
必须位于它所应用到的网站主机的根目录下
3、常用的关键字
- User-agent 网页抓取工具的名称
- Disallow 不应抓取的目录或网页
- Allow 应抓取的目录或网页
- Sitemap 网站的站点地图的位置
三：robots.txt文件如何让实现的SEO优化
搜索引擎（爬虫），访问一个网站，首先要查看当前网站根目录下的robots.txt，然后依据里面的规则，进行网站页面的爬取。
也就是说，robots.txt起到一个基调的作用，也可以说是爬虫爬取当前网站的一个行为准则。
那使用robots.txt的目的，就很明确了。
- 更好地做定向SEO优化，重点曝光有价值的链接给爬虫
- 将敏感文件保护起来，避免爬虫爬取收录
最后可以使用http://tool.chinaz.com/robots/ 该网站生成robots.txt文件内容。更多内容请阅读：SEO优化最基础的四点
