|
深圳市易商网电子商务有限公司是深圳市为数不多的一家专注企业一站式整合网络营销服务提供商， 公司坐落在风景秀丽的深圳市龙华新区，公司成立于2009年06月，是一家年轻富有活力、 朝气蓬勃的电子商务科技公司！而且公司拥有一支意气风发、拼搏向上、甘于奉献的互联网电子商务各类人才， 平均年龄不到26岁的精英团队。公司主营业务包括：企业整合网络营销、平台开发、网络推广、网站建设、 移动端业务解决方案、竞价账户托管、搜索引擎营销、淘宝，天猫店铺托管、400电话、域名空间托管、企业邮局、网络营销培训、电商运维培训等。 联系人：郑先生；手机：13825209712；电话：0755-23735819；QQ：64495593；深圳seo公司www.easy-biz.cn；
众所周知，SEO优化中robots机器人是用来抓取网站内容的，而robots.txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛（机器人）可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，那个目录你不可以进；这个文件你可以访问，那个文件你不能访问。但是有些时候，robots文件，我们还是要谨慎使用的好。
事情还得从年初开始。年初我负责的一个网站因为网站刚建好，内容还没填充完整，大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取，等到一个月之后，填充得已经差不多了，我就开放蜘蛛抓取。我不仅有提交首页网址给百度，提交网址诊断，而且还发了不少外链，但****过去，在百度上面SITE网站就是一个收录都没有。我就纳闷了，是不是我什么地方设置错误了呢？结果在谷歌上面site了一下已经有上百个收录了，306，搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽，百度长时间未反应过来导致的。
前两个月，我又有一个新站重新建好开始填充内容，也是把网站屏蔽着，结果到现在都两个月过去了，可是还是不收录，首页还是提示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。” |
