超级搞笑的Robots.txt玩法

众所周知,每一个靠谱的网站都会有Robots.txt文件。

Robots.txt是一个文本文件,可以用记事本程序编写。网站管理员用它来告诉搜索引擎蜘蛛,网站哪些内容是可以爬的,哪些是G点,禁止乱碰。标准的Robots.txt文件有自己的语法,该文件是实现网站SEO的必备利器。最简单的robots.txt写法是:

User-agent: *

Disallow:

以上robots.txt文件含义是:允许所有搜索引擎查看所有文件。很多牛逼的个人博客网站和企业网站(比如苹果官网)就是这种写法。

youtube

视频网站Youtube的robots文件挺搞笑:

# robots.txt file for YouTube

# Created in the distant future (the year 2000) after

# the robotic uprising of the mid 90’s which wiped out all humans.

意思是:写于遥远的2000年,在90年代兴起的机器人消灭全人类之后。

youtube robots txt

无独有偶,英国《每日邮报》的技术人员也搞起了robots文件,他们把一个SEO职位招聘信息写进了robots.txt文件:

也许在他们的眼里,只有那些连robots文件都看的才算是真正的技术宅男吧?

最搞笑的是国外有个站长,在robots文件里详细记录了自己和Google之间的不解情缘,其中出现的名词包括:辛普森一家、电脑、潜水艇、手表、美钞、牙医、任天堂游戏机、扑克牌、手机和自画像。

Dear google robots

请近处围观

5 thoughts on “超级搞笑的Robots.txt玩法

Leave a Reply to WordPress站内链接利于网站SEO(上) – 新民智 Cancel reply

Your email address will not be published. Required fields are marked *

Related Posts

Begin typing your search term above and press enter to search. Press ESC to cancel.