众所周知,每一个靠谱的网站都会有Robots.txt文件。 Robots.txt是一个文本文件,可以用记事本程序编写。网站管理员用它来告诉搜索引擎蜘蛛,网站哪些内容是可以爬的,哪些是G点,禁止乱碰。标准的Robots.txt文件有自己的语法,该文件是实现网站SEO的必备利器。最简单的robots.txt写法是: User-agent: * Disallow: 以上robots.txt文件含义是:允许所有搜索引擎查看所有文件。很多牛逼的个人博客网站和企业网站(比如苹果官网)就是这种写法。 视频网站Youtube的robots文件挺搞笑: # robots.txt file for YouTube # Created in the distant future (the year 2000) after # the robotic uprising of the mid 90’s which wiped out all humans. 意思是:写于遥远的2000年,在90年代兴起的机器人消灭全人类之后。 无独有偶,英国《每日邮报》的技术人员也搞起了robots文件,他们把一个SEO职位招聘信息写进了robots.txt文件: 也许在他们的眼里,只有那些连robots文件都看的才算是真正的技术宅男吧? 最搞笑的是国外有个站长,在robots文件里详细记录了自己和Google之间的不解情缘,其中出现的名词包括:辛普森一家、电脑、潜水艇、手表、美钞、牙医、任天堂游戏机、扑克牌、手机和自画像。 请近处围观
夺回twitter用户名(实战篇)
许多知名的社交服务网站,比如twitter,facebook,新浪微博,以及youtube等,是企业和个人对外宣传的好帮手。但有时你会遇到理想的用户名已被抢注的情况,很让人头疼。不同的服务商在解决此类争端的态度不同,拿twitter来说,它有一整套的用户名争端解决机制,一般只要用户提出合理的申请,twitter客服会做出非常及时高效的回复。换作是其他的网站,待遇或许就大不相同了,你要靠运气办事。