Python 爬虫如何取script里面的数据

李甜甜~

5137人浏览 · 2022-09-07 09:44:37

李甜甜~ · 2022-09-07 09:44:37 发布

1，问题描述

取script里面的数据，如图

2，解决

1，框架：scrapy

2，通过xpath去到标签

3，利用正则表达取出内容

不知为啥正则写成r"sCount=.*;$" 匹配不成功，得写为r"sCount=.*" 【摊手】.jpg

text = response.xpath('/html/body/center/div/div[3]/div[2]/div[3]/script/text()').get()
count = re.compile(r"sCount=.*")
self.page = int(count.findall(text)[0].split("'")[1])

# 上面那个写的不好，看下面这个
 script = response.xpath("//script[contains(.,'sCount')]").get()
  
page = int(re.findall(r"var sCount='(\d+)'", script, flags=re.S)[0])

技术共进，成长同行——讯飞AI开发者社区

更多推荐

论文笔记：AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models（AlphaEdit）

论文发表于人工智能顶会ICLR（基于定位和修改的模型编辑方法（针对和等）会破坏LLM中最初保存的知识，特别是在顺序编辑场景。为此，本文提出AlphaEdit：1、在将保留知识应用于参数之前，将扰动投影到保留知识的零空间上。2、从理论上证明，这种预测确保了在查询保留的知识时，编辑后的LLM的输出保持不变，从而减轻中断问题。3、对各种LLM（包括LLaMA3、GPT2XL和GPT-J）的广泛实验表明，