pip3 install lxml在 CMD 命令行验证是否安装成功。若引入模块,不返回错误则说明安装成功。
>>> import lxml >>>
from lxml import etree
parse_html = etree.HTML(html)HTML() 方法能够将 HTML 标签字符串解析为 HTML 文件,该方法可以自动修正 HTML 文本。示例如下:
from lxml import etree html_str = ''' <div> <ul> <li class="item1"><a href="link1.html">Python</a></li> <li class="item2"><a href="link2.html">Java</a></li> <li class="site1"><a href="task.lmcjl.com">C语言中文网</a> <li class="site2"><a href="www.baidu.com">百度</a></li> <li class="site3"><a href="www.jd.com">京东</a></li> </ul> </div> ''' html = etree.HTML(html_str) # tostring()将标签元素转换为字符串输出,注意:result为字节类型 result = etree.tostring(html) print(result.decode('utf-8'))输出结果如下:
<html><body><div> <ul> <li class="item1"><a href="link1.html">Python</a></li> <li class="item2"><a href="link2.html">Java</a></li> <li class="site1"><a href="task.lmcjl.com">C语言中文网</a></li> <li class="site2"><a href="www.baidu.com">百度</a></li> <li class="site3"><a href="www.jd.com">京东</a> </li></ul> </div> </body></html>上述 HTML 字符串存在缺少标签的情况,比如“C语言中文网”缺少一个 </li> 闭合标签,当使用了 HTML() 方法后,会将其自动转换为符合规范的 HTML 文档格式。
r_list = parse_html.xpath('xpath表达式')
<div class="wrapper"> <a href="www.lmcjl.com/product/" id="site">website product</a> <ul id="sitename"> <li><a href="http://www.lmcjl.com/" title="编程帮">编程</a></li> <li><a href="http://world.sina.com/" title="新浪娱乐">微博</a></li> <li><a href="http://www.baidu.com" title="百度">百度贴吧</a></li> <li><a href="http://www.taobao.com" title="淘宝">天猫淘宝</a></li> <li><a href="http://www.jd.com/" title="京东">京东购物</a></li> <li><a href="http://c.bianchneg.net/" title="C语言中文网">编程</a></li> <li><a href="http://www.360.com" title="360科技">安全卫士</a></li> <li><a href="http://www.bytesjump.com/" title=字节">视频娱乐</a></li> <li><a href="http://bzhan.com/" title="b站">年轻娱乐</a></li> <li><a href="http://hao123.com/" title="浏览器">搜索引擎</a></li> </ul> </div>
from lxml import etree # 创建解析对象 parse_html=etree.HTML(html) # 书写xpath表达式,提取文本最终使用text() xpath_bds='//a/text()' # 提取文本数据,以列表形式输出 r_list=parse_html.xpath(xpath_bds) # 打印数据列表 print(r_list)输出结果:
['website product', '编程', '微博', '百度贴吧', '天猫淘宝', '京东购物', '编程', '安全卫士', '视频娱乐', '年轻娱乐', '搜索引擎']
from lxml import etree # 创建解析对象 parse_html=etree.HTML(html) # 书写xpath表达式,提取文本最终使用text() xpath_bds='//a/@href' # 提取文本数据,以列表形式输出 r_list=parse_html.xpath(xpath_bds) # 打印数据列表 print(r_list)输出结果:
['http://www.lmcjl.com/product/', 'http://www.lmcjl.com/', 'http://world.sina.com/', 'http://www.baidu.com', 'http://www.taobao.com', 'http://www.jd.com/', 'http://c.bianchneg.net/', 'http://www.360.com', 'http://www.bytesjump.com/', 'http://bzhan.com/', 'http://hao123.com/']
from lxml import etree # 创建解析对象 parse_html=etree.HTML(html) # 书写xpath表达式,提取文本最终使用text() xpath_bds='//a/@href' # 提取文本数据,以列表形式输出 xpath_bds='//ul[@id="sitename"]/li/a/@href' # 打印数据列表 print(r_list)输出结果:
['http://www.lmcjl.com/', 'http://world.sina.com/', 'http://www.baidu.com', 'http://www.taobao.com', 'http://www.jd.com/', 'http://c.bianchneg.net/', 'http://www.360.com', 'http://www.bytesjump.com/', 'http://bzhan.com/', 'http://hao123.com/']
本文链接:http://task.lmcjl.com/news/18135.html