网址规范化处理,解决网址大小写问题的方法

网址URL规范化（URL canonicalization）是近一年来在Google搜索结果中出现的一个很大的问题。它指的是搜索引擎挑选最好的URL网址作为真正网址的过程。举例来说，下面这几个URL一般来说指的是同一个文件或网页：

http://www.domainname.com
http://domainname.com
http://www.domainname.com/index.html
http://domainname.com/index.html

但是从技术上来讲，这几个URL网址都是不同的。虽然在绝大部分情况下，这些网址所返回的都是相同的文件，也就是你的主页。但是从技术上来说，主机完全可以对这几个网址返回不同的内容。

当搜索引擎要规范化网址时，搜索引擎需要从这些选择当中挑一个最好的代表。一般来说，你的主页应该是固定的，只有一个。但是有的时候，在很多网站上站长在链接回主页时，所使用的URL并不是唯一的。很可能在你的网站上，一会连到URL http://www.domainname.com，一会儿连到URL http://www.domainname.com/index.html 。

虽然这不会给访客造成什么麻烦，因为这些网址都是同一个文件，但是对Google来说却是造成了困惑，哪一个网址是你真正的主页呢？如果在你的网站上，不同的版本网址都大量出现，那么这两个URL可能都会被Google收录进数据库，这时就会造成复制内容网页。

所谓复制内容网页，指的是两个或多个网页的内容是相同或大部分相似的。很多时候，复制网页有可能是作弊手段。就算不是作弊手段的时候，搜索引擎通常也只会挑出其中一个返回搜索结果，而把其他的复制网页都排在最后面，以至于根本找不到。

当你的网站出现网址URL规范化问题的时候，就有可能造成被怀疑为复制网页，因而影响搜索引擎结果排名。

从Google的角度来说，他们正在发展所谓大爸爸数据中心基本架构，来解决包括URL规范化的问题。但谁知道能不能解决呢？

从站长的角度来考虑，你应该做两件事：

1）你的网站内部在链接到其他网页，尤其是主页时，只使用一种URL。不管是包含www或不包含www，你要由始至终只使用一个版本。这样搜索引擎也就明白哪一个是规范化的主页网址。

2）但是你没办法控制别的网站用哪一个网址连向你的主页。所以你应该在你的主机服务器上，把所有有可能成为主页网址的URL，做301重定向到你所选择的主页网址版本。也就是说，从下面这几个网址

http://domainname.com
http://www.domainname.com/index.html
http://domainname.com/index.html

都要做301重定向到这个网址

http://www.domainname.com

很重要的一点是，如果你的网站出现了URL规范化的问题，千万不能使用Google的网址删除反馈表，来要求删除其中的一个网址版本。比如说，你所要的是带有www的版本

http://www.domainname.com

你千万不能到Google的网站上填表，要求没有www的主页网址

http://domainname.com

被删除掉。因为那样做的话，你整个的域名有可能被删除6个月。

当然，除了包含www和不包含www的两个版本以外，还有其他类型的URL规范化问题。比如有的时候，搜索引擎会去掉或加上网址尾端最后的斜线。有的时候会尝试把大写字母换成小写字母，有的时候可能尝试去掉会话ID（session ID）等等，这些都有可能造成网址规范化问题。

什么是301转向？

301转向(或叫301重定向，301跳转)是当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址。

其它常见的状态码还包括，200表示一切正常，404网页找不到，302暂时转向，等等。

为什么要做网址转向？

除了前面介绍过的网址规范化问题外，还有很多需要做网址转向的情形。比如，为保护版权，你拥有不同TLD的多个域名：

company.com
company.net
company.org
company.com.cn
company.cn
等等。

很自然这些域名全部指向一个网站。如用company.com为主域名，其它域名就可以转向到company.com。

或者你注册了公司全称域名longcompanyname.com，但太长 ，你也注册了缩写域名方便用户记住lcn.com，其中一个做主域名，另一个就可以转向到主域名。

为什么要用301转向？

网址转向方法主要包括：301转向，302转向，JavaScript转向，PHP/ASP/CGI转向，META REFRESH网页META刷新，等。302转向可能会有URL规范化问题。其它方法都是常用的作弊手法，当然不是说不可以正当地用，方法本身没有错，但被作弊者用多了，搜索引擎对这些可疑的转向都很敏感。何必冒险呢。

当网页A用301重定向转到网页B时，搜索引擎可以肯定网页A永久的改变位置，或者说实际上不存在了，搜索引擎就会把网页B当作唯一有效目标。好处是，第一，没有网址规范化问题，第二，也很重要的，网页A的PR网页级别会传到网页B。

很多时候其它网站会链接到

http://domainname.com
http://www.domainname.com/index.html
http://domainname.com/index.html

而不是你希望的

http://www.domainname.com

这样链接的PR也会传递到所有URL，如果你用301转向把前三个URL转到
http://www.domainname.com
PR也就集中在网页http://www.domainname.com了。

怎样判断网站有网址规范化问题？

英语中有句话，东西没坏就别修理。很多网站没做301转向排名也没影响，那就别动它。

如果你觉得网站排名没有预想的好，可以看看是否有网址规范化问题：

1) 查一下这些URL是否都有差不多的PR值和网页快照：

http://domainname.com
http://www.domainname.com/index.html
http://domainname.com/index.html
http://www.domainname.com

如果是，那可能有问题。

2)搜一下site:domain.com看是否结果中有多个主页版本。

3)你的网站是否在Google有大量网页被标为“ 补充材料”(Supplemental Result)。一般认为被归为“ 补充材料”是网址规范化问题的征兆。

怎样做301转向

如果你用的是Unix/Linux主机，可以用文件(Unix/Linux中用于目录特定指令如密码，转向，错误处理等的文件)。

比如把/old.htm转到http://www.domain.com/new.htm，可以用这个指令：

redirect 301 /old.htm http://www.domain.com/new.htm

或

redirect permanent /old.htm http://www.domain.com/new.htm

如果要把所有http://domain.com形式的URL用301重定向转到 http://www.domain.com，包括：

http://domain.com/about.htm
转到 http://www.domain.com/about.htm

及

http://domain.com/dir/index.htm
转到 http://www.domain.com/dir/index.htm

等等，还要用到mod_rewrite：

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^domain.com [NC]
RewriteRule ^(.*)$ http://www.domain.com/$1 [L,R=301]

如果你用的是 Windows主机，应该在控制面板做301转向设定。

补充 ：在网址规范化评论里回答石头王的问题，可能对大家有帮助：

据我所知，HTML无法做301转向。在HTML里只能做JS或META REFRESH，但不是301转向。HTML一被读取，就已经返回200 OK状态码了。

如果你的页面是ASP或PHP还可以做301转向：

ASP：

<%
Response.Status="301 Moved Permanently" Response.AddHeader "Location", " http://www.domain.com"
>

PHP:

Header( “HTTP/1.1 301 Moved Permanently” );
Header( “Location: http://www.domain.com” );
?>

另外，DOThtaccess文件只是一个普通文字文件，你用Notepad建这个文件，放上指令，存在你帐号的根目录下就行了。不需要修改Apache。