Categories
产业观察

超级搞笑的Robots.txt玩法

众所周知,每一个靠谱的网站都会有Robots.txt文件。

Robots.txt是一个文本文件,可以用记事本程序编写。网站管理员用它来告诉搜索引擎蜘蛛,网站哪些内容是可以爬的,哪些是G点,禁止乱碰。标准的Robots.txt文件有自己的语法,该文件是实现网站SEO的必备利器。最简单的robots.txt写法是:

User-agent: *

Disallow:

以上robots.txt文件含义是:允许所有搜索引擎查看所有文件。很多牛逼的个人博客网站和企业网站(比如苹果官网)就是这种写法。

youtube

视频网站Youtube的robots文件挺搞笑:

# robots.txt file for YouTube

# Created in the distant future (the year 2000) after

# the robotic uprising of the mid 90’s which wiped out all humans.

意思是:写于遥远的2000年,在90年代兴起的机器人消灭全人类之后。

youtube robots txt

无独有偶,英国《每日邮报》的技术人员也搞起了robots文件,他们把一个SEO职位招聘信息写进了robots.txt文件:

也许在他们的眼里,只有那些连robots文件都看的才算是真正的技术宅男吧?

最搞笑的是国外有个站长,在robots文件里详细记录了自己和Google之间的不解情缘,其中出现的名词包括:辛普森一家、电脑、潜水艇、手表、美钞、牙医、任天堂游戏机、扑克牌、手机和自画像。

Dear google robots

请近处围观

5 replies on “超级搞笑的Robots.txt玩法”

[…] 站内链接说的是一个网站内部文本、图片、多媒体内容附属的链接。站内链接既可以指向网站自身的文章内容(最常见的的),也可以指向外部地址。Google希望看到的是,一个网站拥有完备的“富链接”生态系统,各个目录下的内容彼此互通,互为补充。“富链接”的网站有利于Google/Bing等搜索引擎的小机器人(Robots)检索收录,以及进行“关键词定位”,最终提高网站的排名和权重。 […]

Leave a Reply

Your email address will not be published. Required fields are marked *