19.1. HTMLParser — 简单的 HTML 和 XHTML 解析器 — Python 文档

来自菜鸟教程
Python/docs/2.7/library/htmlparser
跳转至：导航、​搜索

19.1. HTML解析器 — 简单的 HTML 和 XHTML 解析器

笔记

HTMLParser 模块已在 Python 3 中重命名为 html.parser。 2to3 工具将在将您的源代码转换为 Python 3 时自动调整导入。


2.2 版中的新功能。


源代码： :source:`Lib/HTMLParser.py`


该模块定义了一个类 HTMLParser，它作为解析 HTML（超文本标记语言）和 XHTML 格式的文本文件的基础。 与 htmllib 中的解析器不同，该解析器不是基于 sgmllib 中的 SGML 解析器。

class HTMLParser.HTMLParser

HTMLParser 实例接收 HTML 数据并在遇到开始标记、结束标记、文本、注释和其他标记元素时调用处理程序方法。 用户应该继承 HTMLParser 并覆盖其方法以实现所需的行为。

HTMLParser 类是在没有参数的情况下实例化的。

与 htmllib 中的解析器不同，此解析器不检查结束标记是否与开始标记匹配，也不为通过关闭外部元素而隐式关闭的元素调用结束标记处理程序。

还定义了一个异常：

exception HTMLParser.HTMLParseError
HTMLParser 能够处理损坏的标记，但在某些情况下，它可能会在解析时遇到错误时引发此异常。 此异常提供三个属性：msg 是解释错误的简短消息，lineno 是检测到损坏构造的行的编号，offset 是编号字符到构造开始的行中。

19.1.1. 示例 HTML 解析器应用程序

作为一个基本示例，下面是一个简单的 HTML 解析器，它使用 HTMLParser 类打印出遇到的开始标记、结束标记和数据： 

from HTMLParser import HTMLParser

# create a subclass and override the handler methods
class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print "Encountered a start tag:", tag

    def handle_endtag(self, tag):
        print "Encountered an end tag :", tag

    def handle_data(self, data):
        print "Encountered some data  :", data

# instantiate the parser and fed it some HTML
parser = MyHTMLParser()
parser.feed('<html><head><title>Test</title></head>'
            '<body><h1>Parse me!</h1></body></html>')

然后输出将是： 

Encountered a start tag: html
Encountered a start tag: head
Encountered a start tag: title
Encountered some data  : Test
Encountered an end tag : title
Encountered an end tag : head
Encountered a start tag: body
Encountered a start tag: h1
Encountered some data  : Parse me!
Encountered an end tag : h1
Encountered an end tag : body
Encountered an end tag : html

19.1.2. HTML解析器方法

HTMLParser 实例有以下方法：

HTMLParser.feed(data)
向解析器提供一些文本。 它被处理，因为它由完整的元素组成； 不完整的数据将被缓冲，直到提供更多数据或 close() 被调用。 data 可以是 unicode 或 str，但建议传递 unicode。
HTMLParser.close()
强制处理所有缓冲数据，就好像它后面跟有文件结束标记一样。 这个方法可能会被派生类重新定义，以在输入的末尾定义额外的处理，但重新定义的版本应该始终调用 HTMLParser 基类方法 close()。
HTMLParser.reset()
重置实例。 丢失所有未处理的数据。 这在实例化时隐式调用。
HTMLParser.getpos()
返回当前行号和偏移量。
HTMLParser.get_starttag_text()
返回最近打开的开始标签的文本。 这通常不需要用于结构化处理，但在处理“已部署”的 HTML 或以最小的更改重新生成输入时可能很有用（可以保留属性之间的空白等）。

当遇到数据或标记元素并且它们打算在子类中被覆盖时，将调用以下方法。 基类实现什么都不做（除了 handle_startendtag()）：

HTMLParser.handle_starttag(tag, attrs)

调用此方法来处理标签的开始（例如 <div id="main">）。

tag 参数是转换为小写的标签名称。 attrs 参数是 (name, value) 对的列表，其中包含在标签的 <> 括号内找到的属性。 name 将被转换为小写，value 中的引号已被删除，字符和实体引用已被替换。

例如，对于标签 <A HREF="https://www.cwi.nl/%22>，该方法将被称为 handle_starttag('a', [('href', 'https://www.cwi.nl/')])。

2.6 版更改： 来自 htmlentitydefs 的所有实体引用现在在属性值中被替换。

HTMLParser.handle_endtag(tag)

调用此方法来处理元素的结束标记（例如 </div>）。

tag 参数是转换为小写的标签名称。

HTMLParser.handle_startendtag(tag, attrs)
类似于 handle_starttag()，但在解析器遇到 XHTML 样式的空标签 (<img ... />) 时调用。 这个方法可能会被需要这个特定词法信息的子类覆盖； 默认实现简单地调用 handle_starttag() 和 handle_endtag()。
HTMLParser.handle_data(data)
调用此方法来处理任意数据（例如 文本节点和 <script>...</script> 和 <style>...</style> 的内容）。
HTMLParser.handle_entityref(name)
调用此方法来处理形式为 &name; 的命名字符引用（例如 &gt;)，其中 name 是一般实体引用（例如 'gt'）。
HTMLParser.handle_charref(name)
调用此方法来处理形式为 &#NNN; 和 &#xNNN; 的十进制和十六进制数字字符引用。 例如，&gt; 的十进制等效值为 &#62;，而十六进制为 &#x3E;； 在这种情况下，该方法将收到 '62' 或 'x3E'。
HTMLParser.handle_comment(data)

当遇到评论时调用此方法（例如 <!--comment-->）。

例如，注释 <!-- comment --> 将导致使用参数 ' comment ' 调用此方法。

Internet Explorer 条件注释（condcoms）的内容也将发送到此方法，因此，对于 <!--[if IE 9]>IE9-specific content<![endif]-->，此方法将收到 '[if IE 9]>IE9-specific content<![endif]'。

HTMLParser.handle_decl(decl)

调用此方法来处理 HTML 文档类型声明（例如 <!DOCTYPE html>）。

decl 参数将是 <!...> 标记内声明的全部内容（例如 'DOCTYPE html'）。

HTMLParser.handle_pi(data)

当遇到处理指令时调用此方法。 data 参数将包含整个处理指令。 例如，对于处理指令<?proc color='red'>，该方法将被称为handle_pi("proc color='red'")。

笔记

HTMLParser 类使用 SGML 句法规则来处理指令。 使用尾随 '?' 的 XHTML 处理指令将导致 '?' 包含在 data 中。

HTMLParser.unknown_decl(data)

当解析器读取无法识别的声明时调用此方法。

data 参数将是 <![...]> 标记内声明的全部内容。 有时被派生类覆盖很有用。


19.1.3. 例子

以下类实现了一个解析器，用于说明更多示例： 

from HTMLParser import HTMLParser
from htmlentitydefs import name2codepoint

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print "Start tag:", tag
        for attr in attrs:
            print "     attr:", attr

    def handle_endtag(self, tag):
        print "End tag  :", tag

    def handle_data(self, data):
        print "Data     :", data

    def handle_comment(self, data):
        print "Comment  :", data

    def handle_entityref(self, name):
        c = unichr(name2codepoint[name])
        print "Named ent:", c

    def handle_charref(self, name):
        if name.startswith('x'):
            c = unichr(int(name[1:], 16))
        else:
            c = unichr(int(name))
        print "Num ent  :", c

    def handle_decl(self, data):
        print "Decl     :", data

parser = MyHTMLParser()

解析文档类型： 

>>> parser.feed('<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" '
...             '"http://www.w3.org/TR/html4/strict.dtd">')
Decl     : DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"

解析具有一些属性和标题的元素： 

>>> parser.feed('<img src="python-logo.png" alt="The Python logo">')
Start tag: img
     attr: ('src', 'python-logo.png')
     attr: ('alt', 'The Python logo')
>>>
>>> parser.feed('<h1>Python</h1>')
Start tag: h1
Data     : Python
End tag  : h1

script 和 style 元素的内容按原样返回，无需进一步解析： 

>>> parser.feed('<style type="text/css">#python { color: green }</style>')
Start tag: style
     attr: ('type', 'text/css')
Data     : #python { color: green }
End tag  : style

>>> parser.feed('<script type="text/javascript">'
...             'alert("<strong>hello!</strong>");</script>')
Start tag: script
     attr: ('type', 'text/javascript')
Data     : alert("<strong>hello!</strong>");
End tag  : script

解析评论： 

>>> parser.feed('<!-- a comment -->'
...             '<!--[if IE 9]>IE-specific content<![endif]-->')
Comment  :  a comment
Comment  : [if IE 9]>IE-specific content<![endif]

解析命名和数字字符引用并将它们转换为正确的字符（注意：这 3 个引用都等价于 '>'）： 

>>> parser.feed('&gt;&#62;&#x3E;')
Named ent: >
Num ent  : >
Num ent  : >

向 feed() 提供不完整的块是可行的，但 handle_data() 可能会被多次调用： 

>>> for chunk in ['<sp', 'an>buff', 'ered ', 'text</s', 'pan>']:
...     parser.feed(chunk)
...
Start tag: span
Data     : buff
Data     : ered
Data     : text
End tag  : span

解析无效的 HTML（例如 未加引号的属性）也有效： 

>>> parser.feed('<p><a class=link href=#main>tag soup</p ></a>')
Start tag: p
Start tag: a
     attr: ('class', 'link')
     attr: ('href', '#main')
Data     : tag soup
End tag  : p
End tag  : a


取自“https://cainiaojiaocheng.com/index.php?title=Python/docs/2.7/library/htmlparser&oldid=22706”
Powered by MediaWiki