欢迎光临九牛科技,我们是一家专注中小型企业网站建设、营销型网站建设、响应式网站建设公司!

咨询热线:82195810或15022223002    网站导航  社区团购  抖音运营
新闻中心News
天津网站建设-高端网站制作-网页设计-百度seo优化-网络营销-小程序开发推广-公众号运营公司-武清做网站-九牛科技

讲讲网站地图的制作与robots协议内容的规范

作者:小牛 | 点击: | 来源:小牛
3007
2020
网站地图的制作在seo优化中也是占据很重要一部分的,网站地图制作好了可以更加有利于蜘蛛对我们网站信息的检索与抓取,他会对网页信息进行方向引导,给搜索引擎蜘蛛的爬行提供...
网站地图的制作在seo优化中也是占据很重要一部分的,网站地图制作好了可以更加有利于蜘蛛对我们网站信息的检索与抓取,他会对网页信息进行方向引导,给搜索引擎蜘蛛的爬行提供一个路径,快速准确的抓取网站内容。下面廊坊网站优化小编为您详细介绍一下。
 
我们可以利用小爬虫工具、爱站工具等来生成网站地图。我们首先打开爱站工具包,选择网站地图,然后左侧选择添加网站,将网址输入后选择xml选项,将里面的顶部的所有文件选项勾选之后点击抓爬,完成后生成xml文件,最后将生成之后的sitemap后缀为html、xml、txt的文件上传到网站后台的根目录中即可。这样,只要有用户进入就会抓取了。
 
robots协议又是什么?该如何书写它呢?robot协议就是给搜索引擎蜘蛛的一个规定,我们利用这个文件来限制搜索引擎的抓取范围,尊重信息提供者意愿并维护其隐私权,保护我们的隐私不被搜索引擎抓取的一份内容。这个有我们自己进行编辑规定。
 
robots协议的编辑会用到三个标签:
 
1、User-agent: 蜘蛛名称(这里个User-agent 指定搜索引擎蜘蛛名称)
 
2、Disallow: 内容名称(代表要禁止抓取的内容)
 
3、Allow:内容名称(代表允许抓取的内容)。这些标签后书写的就是协议的内容,还会用到3个通配符来编辑:"*"表示涵盖所有搜索引擎;"$"表示以某字符串结尾;"/"表示当前目录下的所有内容。当编辑完协议内容后可在最后添加“Sitemap:网站域名/sitemap.xml”,用地图让蜘蛛更快速的抵达我们的网站。
 
SEO的日常工作比较细致,查看我们网站的日志也是需要关注的。从网站后台空间找到文件管理,然后打开logs文件,将最新的日志文件载到桌面,然后使用光年日志分析系统等工具对其进行分析,可以看到蜘蛛爬行过的记录以及一些问题,需要及时查看并解决掉。

我要咨询做网站
案例展示
建站流程
  • 网站需
    求分析
  • 网站策
    划方案
  • 页面风
    格设计
  • 程序设
    计研发
  • 资料录
    入优化
  • 确认交
    付使用
  • 后续跟
    踪服务
  • 022-82195810
    82195810
Hi,Are you ready?
准备好开始了吗?
那就与我们取得联系吧

咨询送礼现在提交,将获得九牛科技策划专家免费为您制作
价值5880元《全网优化视频教程》一份!
下单送礼感恩五周年,新老用户下单即送惊喜大礼
咨询热线82195810
合作意向表
您需要的服务
您最关注的地方
预算

直接咨询