网友 战神赵日天 说:
*帖最后由 战神赵日天 于 2022-7-2 17:27 编辑
这几天打算采集一些discuz的论坛用户
http://2bcpa.com/home.php?mod=*****&uid=1 (以此为例,这个站长兄弟,我只是正好看到你的论坛,以此举例,并非针对)
但是采集后的response.content数据内的中文,全部都是\x开头的编码,而符号和英文数据都是正常的
请教下如何采集这个页面获得的中文都是正常的,而不是\x编码
额,从今天中午研究到现在了,尝试了网上不同办法,依据没解决,还请了解的大佬写个几句指点下。。。
网友 ii** 说:
response.encoding=&*uot;utf-8&*uot;
网友 战神赵日天 说:
ii** 发表于 2022-7-2 17:15
response.encoding=&*uot;utf-8&*uot;
网友 ii** 说:
战神赵日天 发表于 2022-7-2 17:17
这个早就试过了,不行,完全没有反应,我甚至都在想,是不是我*地python缺少什么库,或者编码组件 …
网友 战神赵日天 说:
ii** 发表于 2022-7-2 17:21
建议源码发出来
网友 directlink** 说:
你这不用.text而是用.content是为啥呢,.content是未解析的原始内容啊。
网友 战神赵日天 说:
directlink** 发表于 2022-7-2 17:26
你这不用.text而是用.content是为啥呢,.content是未解析的原始内容啊。
网友 战神赵日天 说:
ii** 发表于 2022-7-2 17:21
建议源码发出来
网友 战神赵日天 说:
directlink** 发表于 2022-7-2 17:26
你这不用.text而是用.content是为啥呢,.content是未解析的原始内容啊。
网友 Tankie 说:
我告诉你这个产生的原因吧。
原始数据 json.dumps 没有加ens**e_ascii **http到客户端就成这样子
如果 json.dumps(data,ens**e_ascii=False) 浏览器数据就不会出现这个。
那么怎么解决呢,其实不是UTF**的问题,记得以前我搞过一次,解决方法是先encode再重新decode一遍(具体忘了,当时也是百度解决的)
另外根据产生的原因,我觉得也可以试下用json来解决,json.parse出来应该没问题。
网友 战神赵日天 说:
Tankie 发表于 2022-7-2 19:08
我告诉你这个产生的原因吧。
原始数据 json.dumps 没有加ens**e_ascii **http到客户端就成这样子