网站首页 网站建设 IT知识 IT知识教程 python 采集中文乱码问题的完美解决方法

python 采集中文乱码问题的完美解决方法

2021-05-22 21:24:49

近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录

1. 在正常情况下..可以用

import chardetthischarset = chardet.detect(strs)["encoding"]

来获取该文件或页面的编码方式

或直接抓取页面的charset = xxxx 来获取

2. 遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.

strs = strs.decode("UTF-8","ignore").encode("UTF-8")

decode的第二个参数表示遇到非法字符时所采取的方式

该参数默认为抛出异常.

以上就是小编为大家带来的python 采集中文乱码问题的完美解决方法的全部内容了，希望对大家有所帮助，多多支持~

声明：本页内容来源网络，仅供用户参考；我单位不保证亦不表示资料全面及准确无误，也不保证亦不表示这些资料为最新信息，如因任何原因，本网内容或者用户因倚赖本网内容造成任何损失或损害，我单位将不会负任何法律责任。 如涉及版权问题，请提交至online#300.cn邮箱联系删除。

相关文章

解决python中使用PYQT时中文乱码问题
如题，解决Python中用PyQt时中文乱码问题的解决方法：在中文字符串前面加上u，如u'你好，世界'，其他网上的方法没有多去探究，Python的版本也会影响解
如何解决mysql insert乱码的问题
问题介绍：在mysql中插入中文乱码，或mysql中中文正常显示，但jsp在前台显示mysql中的中文时乱码。解决方法：进入mysql控制台，执行下面的命令即可
PHP使用strrev翻转中文乱码问题的解决方法
本文实例讲述了PHP使用strrev翻转中文乱码问题的解决方法。分享给大家供大家参考，具体如下：在用PHP中的strrve翻转中文时，会出现乱码情况例如：hea
.Net获取URL中文参数值的乱码问题解决方法总结
本文总结分析了.Net获取URL中文参数值的乱码问题解决方法。分享给大家供大家参考，具体如下：解决方法：1.设置web.config文件2.传递中文之前，将要传
解决Python发送Http请求时,中文乱码的问题
解决方法：先encode再quote。原理：msg.encode('utf-8')是解决中文乱码问题。quote()：假如URL的name或者value值中有『

最新文章

载入进度条 效果
邮件发送简单例子-html文件
详解关于html，css，js三者的加载顺序问题
限制复选框的最大可选数
随鼠标上下滚动的jquery代码

hot 热门文章

python模拟登陆Tom邮箱示例分享
苹果11抖音怎么投屏? iphone将投影投屏到电视的技巧
蚂蚁森林节气签怎么领
华为mate30怎么更新系统？华为mate30更新手机系统教程
小米电视怎么下载斗鱼

猜你喜欢

JavaScript 命名空间 使用介绍
javascript ���名规则 变量命名规则
javascript 秒表计时器实现代码
Javascript 面向对象之重载
JavaScript 面向对象之命名空间
以上产品还未完全满足我的所有需求，在下方提交我的专属需求
我的专属需求：
*手机号：
*验证码：
img
咨询报价
现在咨询
img

在线咨询

建站在线咨询
img

获取方案

获取建站报价/方案

我们联系您img

img

微信咨询

扫一扫添加
动力姐姐微信
img
img

TOP

我们尽快联系您