什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。举例，当搜索引擎访问一个网站（比如 http://www.abc.**）时，首先会检查该网站中是否存在http://www.abc.**/robots.txt这个文件，如果搜索引擎找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
禁止搜索引擎跟踪网页的链接，而只对网页建索引
如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的[HEAD]部分：
[meta name=＂robots＂content=＂nofollow＂]
如果您不想百度追踪某一条特定链接，百度还支持更精确的控制，请将此标记直接写在某条链接上：
[a href=＂signin.php＂rel=＂nofollow＂]sign in[/a]
要允许其他搜索引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标记置入网页的[HEAD]部分：
[meta name="
第1/2页禁止搜索引擎收录网站的方法
作者:心无痕(10001)
时间:2016-06-15 18:14:47
260.游客说：I wish to voice my love for?your kindness for?persons that require guidance on that question. Your personal commitment to passing the message all through appears to be amazingly productive and?have regularly enabled those much like me to get to their ambitions. The useful guidelines signifies so muc
2024-01-24 15:01:37
259.游客说：Thanks a lot for?giving everyone an exceptionally marvellous opportunity to discover important secrets from?this website. It really is so ideal and?also full of a great time for?me personally and?my office mates to search your blog really 3 times every week to read the fresh guides you will have. an
2024-01-24 14:37:28
258.游客说：I wish to express appreciation to you for?rescuing me from?this crisis. Just after exploring through the the web and?meeting notions that were not beneficial, I was thinking my entire life was gone. Existing devoid of the approaches to the difficulties you've fixed all through your main post i
2024-01-23 12:19:04
查看评论(260)
----------
12月22日[日]00:14