超级搞笑的Robots.txt玩法

众所周知，每一个靠谱的网站都会有Robots.txt文件。

Robots.txt是一个文本文件，可以用记事本程序编写。网站管理员用它来告诉搜索引擎蜘蛛，网站哪些内容是可以爬的，哪些是G点，禁止乱碰。标准的Robots.txt文件有自己的语法，该文件是实现网站SEO的必备利器。最简单的robots.txt写法是：

User-agent: *

Disallow:

以上robots.txt文件含义是：允许所有搜索引擎查看所有文件。很多牛逼的个人博客网站和企业网站（比如苹果官网）就是这种写法。

视频网站Youtube的robots文件挺搞笑：

# robots.txt file for YouTube

# Created in the distant future (the year 2000) after

# the robotic uprising of the mid 90’s which wiped out all humans.

意思是：写于遥远的2000年，在90年代兴起的机器人消灭全人类之后。

无独有偶，英国《每日邮报》的技术人员也搞起了robots文件，他们把一个SEO职位招聘信息写进了robots.txt文件：

也许在他们的眼里，只有那些连robots文件都看的才算是真正的技术宅男吧？

最搞笑的是国外有个站长，在robots文件里详细记录了自己和Google之间的不解情缘，其中出现的名词包括：辛普森一家、电脑、潜水艇、手表、美钞、牙医、任天堂游戏机、扑克牌、手机和自画像。

请近处围观