那些年，我用xpath按照我至今一直用xpath的方式抓取页面数据。xpath很容易得到一个节点下的所有文本，这里有一个窍门:这是你的html文件，我将其命名为test.html，并用xpath: import lxml进行了匹配，etreehtmllxml。伊特里，解析(test.html)reshtml，xpath(在东盟xpath我一般是这样用的/1233，//*/a首先:鼠标API函数1。打开浏览器，输入您要查找弹出窗口的地址网页，然后单击访问网页，2.打开开发者工具，按F12进入开发者模式，点击“Element”选项卡，查看网页 element，3.在元素栏中，找到对应的弹出元素，点击右键，选择“检查”或“查看元素”，查看元素的XPath路径，4.在XPath中，复制相应的XPath路径以找到弹出窗口的click XPath路径。
到现在为止，我一直在用xpath的方式爬取页面数据。我采取的方法是直接用xpath抓取其中一个，判断是否可以采用这种方法。目前遇到的一些坑。综上所述，解决方法是重新分析xpath path。绕过这个根节点，从下一级找到一个新的根节点。在爬取多个页面时，我们需要从URL中找到规则，然后使用遍历来达到爬取多个页面的目的。比如我们之前在学习GET传递参数的时候，就知道URl ？
在这里，我们通过比较两个页面的URL，删除多余的参数，留下一个非常简洁的链接，当然包括关键字，以及分页如file1等。简化URL above关键字:PHP，pagination curPage1，遍历并拼接pagination关键字。达到了多页面抓取的目的。由于网页的结构问题，类似于网页中的
