python3里gbk编码的问题解决
短信预约 -IT技能 免费直播动态提醒
在python3有关字符串的处理当中,经常会遇到
'gbk' codec can't encode character '\xa0'
这个问题,原因是在str里面存在着不能正确编码的字符。
通过以下方法即可解决。
import requests
from bs4 import BeautifulSoup
url = "http://jecvay.com/2015/03/learning-compilers-1.html"
url = url.encode('gbk','ignore').decode('utf-8') //忽略
response = requests.get(url)
print(response)
soup = BeautifulSoup(response.text)
print(soup.body.text)
以上方法在必须要记录数据的时候会出现数据不准确问题
python3 字符串无法将 gbk 完全转换为utf8
对于必须存储的情况,将gbk -> 十六进制字节码文本 保存,需要的时候在转换为gbk以便显示。
def string_hex(data):
lin = ['%02X' % i for i in data]
return "".join(lin).upper()
def __ToUTF8(tuple):
lists = []
for itme in tuple:
tmp = itme
if type(itme) == bytes:
try:
tmp = itme.decode('gbk')
except UnicodeDecodeError:
tmp = string_hex(itme)
lists.append(tmp)
return lists
def readFileAll(file):
with open(file, 'rb') as f:
data = f.read()
return data
s = readFileAll('gkb.txt') //gbk 字符串文件
sx = string_hex(s)//转化为16进制文本
print(sx)
到此这篇关于python3里gbk编码的问题解决的文章就介绍到这了,更多相关python3 gbk编码内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341