浏览器访问和模拟蜘蛛不一样，这是那个环节的问题

COOCOO · 发表于 2012-9-15 10:28:22

www.ctrl-f.cn

这个网站，我用浏览器访问一切正常，但是搜索引擎收录不正常，用网上的模拟蜘蛛工具也是提示未beian网站被屏蔽：
http://www.baidu.com/s?wd=www.ctrl-f.cn&rsv_bp=0&rsv_spt=3&rsv_sug3=12&rsv_sug4=785&rsv_sug1=8&inputT=5319
http://i.linkhelper.cn/robots.asp?weburl=www.ctrl-f.cn&pagecode=utf-8

robots.txt也没有问题：

User-agent: *
Disallow: /admin/
Disallow: /include/
Disallow: /config.php

发现其他不少网站也有这个问题，这是哪个环节出问题了呢，求分析。

ccc · 发表于 2012-9-15 10:30:24

收录不正常的很多啊

单手摘月 · 发表于 2012-9-15 10:30:50

提示: 作者被禁止或删除内容自动屏蔽

im286 · 发表于 2012-9-15 10:31:17

原因很多啊

		自动登录	找回密码
密码			注册

单手摘月单手摘月当前离线积分 12266	3^# 发表于 2012-9-15 10:30:50 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
单手摘月单手摘月当前离线积分 12266
	回复支持反对举报

[Windows VPS] 浏览器访问和模拟蜘蛛不一样，这是那个环节的问题

相关帖子

浏览过的版块