json与pickle
- 序列化(serialization):将内存中的结构化数据转换成字节串。
- 反序列化(deserialization):从文件中或网络中获取的数据转换成内存中原来的数据类型
- 具体方法:dump、dumps、load、loads
- dump与load是对文件进行操作(序列化与反序列化)
- dumps与loads时对内存中的数据进行操作(序列化与反序列化)
pickle 写入多个对象,读取多个对象
pickle支持多次dump,但对于读取文件,我们再不清楚内容(load多少次)时,使用try except EOFErrorclass A: def __init__(self): self.li = []class B: def __init__(self): self.li = []a = A()a.li.append(1)b = B()b.li.append(2)import pickleclass My_pickle(): def __init__(self,path): self.path = path def dump(self,*args): with open(self.path,mode='wb') as f: for i in args: pickle.dump(i,f) def load(self): with open(self.path,mode='rb') as f: while 1: try: yield pickle.load(f) except EOFError: breakp1 = My_pickle('test.pikle')p1.dump(a,b)for i in p1.load(): print(i)
json写入多行
方式一: 将待写入的多种数据(列表,元组,字典)放到一个列表中写入,读取时,将列表反序列化到内存,在逐个返回。缺点:一次性取出所有,内存占用大。import jsonclass My_json(): def __init__(self,file): self.file = file def dump(self,*args): with open(self.file,mode='w',encoding='utf-8') as f: li = [] for i in args: li.append(i) json.dump(li,f) def load(self): with open(self.file,mode='r',encoding='utf-8') as f: ret = json.load(f) for j in ret: yield jj = My_json('test.json')j.dump([1,2,3,4,],'ssss')for i in j.load(): print(i)
方式二: 推荐 将待写入的多种数据(列表,元组,字典)写入一种数据的同时写入一个\n,这样读取文件的时候,使用for遍历文件句柄,对于得到的字符串使用json.loads()方法进行反序列化。import jsonclass My_json(): def __init__(self,file): self.file = file def dump(self,*args): with open(self.file,mode='w',encoding='utf-8') as f: for i in args: json.dump(i,f) f.write('\n') def load(self): with open(self.file,encoding='utf-8') as f: for line in f: ret = json.loads(line) print(ret)j = My_json('test.json')j.dump([1,2,3,4,],'ssss')j.load()
方式三: 在方式二的基础上进行的小改,除了先dump(i)在write('\n'),我们还可以先用 dumps(i)序列化数据,然后再write(序列化数据 + '\n')import jsonclass My_json(): def __init__(self,file): self.file = file def dump(self,*args): with open(self.file,mode='w',encoding='utf-8') as f: for i in args: f.write(json.dumps(i) + '\n') def load(self): with open(self.file,encoding='utf-8') as f: for line in f: ret = json.loads(line) print(ret)j = My_json('test.json')j.dump([1,2,3,4,],'ssss')j.load()
pickle和json在对多行写入,写出的区别:
- pickle 支持多次dump,所以对应着就可以多次load来取这个数据,但当我们不知道文件中有多少个或者不知道该load几次的时候,我们可以使用try except EOFError 来让它停止。
- json 不支持多次dump,所以在dump一次后,在写入一个换行。 这样在读文件的时候,我们循环遍历文件句柄,读一行,用loads (注意这里的loads是因为,已经对内存的字符串进行处理/而不是文件)