13.3. robotsparser — robots.txt 的解析器 — Python 文档

13.3. 机器人解析器 — robots.txt 的解析器

笔记

robotparser 模块已在 Python 3 中重命名为 urllib.robotparser。 2to3 工具将在将您的源代码转换为 Python 3 时自动调整导入。

这个模块提供了一个单一的类，RobotFileParser，它回答了关于特定用户代理是否可以在发布 robots.txt 文件的网站上获取 URL 的问题。 有关 robots.txt 文件结构的更多详细信息，请参阅 http://www.robotstxt.org/orig.html。

class robotparser.RobotFileParser(url=)

此类提供读取、解析和回答有关 url 上的 robots.txt 文件的问题的方法。

set_url(url)

设置引用 robots.txt 文件的 URL。

read()

读取 robots.txt URL 并将其提供给解析器。

parse(lines)

解析行参数。

can_fetch(useragent, url)

如果允许 useragent 根据解析的 robots.txt 文件中包含的规则获取 url，则返回 True。

mtime()

返回上次获取 robots.txt 文件的时间。 这对于需要定期检查新 robots.txt 文件的长时间运行的网络蜘蛛非常有用。

modified()

将 robots.txt 文件上次提取的时间设置为当前时间。

以下示例演示了 RobotFileParser 类的基本用法。

>>> import robotparser
>>> rp = robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True