• Jan282011

    如何正确使用robots.txt

    如何正确使用robots.txt
    robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话，robots.txt是一个简单有效的工具。这里简单介绍一下怎么使用它。 如何放置Robots.txt文件 robots.txt自身是一个文本文件。它必须位于域名的根目录中并 被命名为”rob...阅读全文
    作者：海洋 | 分类：seo学习 | 阅读：1440 次 | 标签：,
    抢沙发
  • Sep112010

    重庆seo实战：robots写法测试之Disallow: /*

    重庆seo实战：robots写法测试之Disallow: /*
    重庆seo分享自己从事seo所获得的经验，让seo道路更加明朗！ 今天我的重庆金融网（www.jr023.com）上线了，趁着这个还未上线的网站，我在这里做个有关robots的测试，那就是有关Disallow: /*； 相信从事seo的大家都知道robots.txt吧，这个txt文件主要是用来屏蔽一些自己网站不想给搜索引擎搜索的信息；今天给大家说的这个Disallow: /*，是我同事看到一个网站这么写，后来大家讨论，本来Disall...阅读全文
    作者：海洋 | 分类：网站优化 | 阅读：1548 次 | 标签：,
    抢沙发