Python 序列化问题请教 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
chaleaoch
V2EX    Python

Python 序列化问题请教

  •  
  •   chaleaoch 2021-09-22 09:28:39 +08:00 3842 次点击
    这是一个创建于 1555 天前的主题,其中的信息可能已经有所发展或是发生改变。
    flask 和 django 默认的 session 序列化使用的是 pickle, 现在因为某些原因,需要换成和 go 兼容的.
    golang 的 pickle 包 都不是很稳定且长久未更新. 所以想换成兼容的, protobuf 太重了.
    想用 json 但是大家都知道默认的 json encode 不支持 datetime 序列化.


    所以想问一下大家除了 datetime 还有其他 python 对象不支持序列化吗? 我想自定义一个 encoder 或者有没有开源的解决方案?
    同时需要兼容 golang.


    谢谢啦.
    20 条回复    2021-09-23 17:23:29 +08:00
    fgwmlhdkkkw
        1
    fgwmlhdkkkw  
       2021-09-22 09:31:46 +08:00
    msgpack
    chaleaoch
        2
    chaleaoch  
    OP
       2021-09-22 09:42:06 +08:00
    @fgwmlhdkkkw 还是不支持 datetime ...
    abersheeran
        4
    abersheeran  
       2021-09-22 09:50:30 +08:00
    自己定义 datetime 的序列化与反序列化方式不就好了。golang 里同理。

    不过我建议你先把 golang 的写好,因为 python json 自定义起来比 golang 方便多了,python 能轻松解析的 json,golang 可不一定。
    ysc3839
        5
    ysc3839  
       2021-09-22 09:54:27 +08:00
    @chaleaoch msgpack 自己就有 timestamp 类型的扩展支持。就算不支持也可以自己实现,msgpack 有 ext 类型。
    arthurire
        6
    arthurire  
       2021-09-22 09:55:34 +08:00
    你可以直接转换成 Unix epoch 然后再序列化吧?
    ipwx
        7
    ipwx  
       2021-09-22 10:18:00 +08:00
    1. json 比较通用,所以大概还是用 json 更好。
    2. 你可以扩展标准的 json encoder 。第三方 json encoder 比如 ujson 好像也支持。
    3. 或者其实比如我,一般都直接把 datetime 转换成 timestamp ( python timestamp * 1000 变成毫秒)然后丢给 C++ 的。C++ 也是存 timestamp 丢给 python 。
    2i2Re2PLMaDnghL
        8
    2i2Re2PLMaDnghL  
       2021-09-22 10:24:02 +08:00
    这个 Python 没有 trait 就是逊啦
    不然直接 impl datetime for JsonSerializable 不就行了
    题外话,其实我感觉你直接 pydantic 就行。

    确实推荐按类型动态性由弱到强地写。
    python dict 是 dict[Hashable, Any] ,比 JSON 还动态。
    chaleaoch
        9
    chaleaoch  
    OP
       2021-09-22 10:28:26 +08:00
    @fgwmlhdkkkw 我知道 我可以自定义 encoder 实现. 这没问题. 我的问题是 json 除了不支持 datetime 是否还有其他不支持的格式.
    chaleaoch
        10
    chaleaoch  
    OP
       2021-09-22 10:31:01 +08:00
    @2i2Re2PLMaDnghL 问题是 session 已经存在了 , 现在是在一个既存的应用上改. 如果新项目方案就很多了.
    zeroxia
        11
    zeroxia  
       2021-09-22 10:38:34 +08:00
    flatbuffers?
    misaka19000
        12
    misaka19000  
       2021-09-22 12:23:51 +08:00
    ES 用的就是 JSON,没什么问题的
    2i2Re2PLMaDnghL
        13
    2i2Re2PLMaDnghL  
       2021-09-22 16:05:20 +08:00
    @chaleaoch json 就 7 种内容不是吗?
    object array string number true false null
    对应
    dict list str int/float True False None
    你可以估计大部分是不支持的
    除非你写成 pydantic,能打通 object <=> dict 的界面,类比 ORM 我叫它 OJM 吧
    Nich0la5
        14
    Nich0la5  
       2021-09-22 17:05:59 +08:00
    Protobuf
    chaleaoch
        15
    chaleaoch  
    OP
       2021-09-22 17:25:28 +08:00
    @2i2Re2PLMaDnghL 谢谢. 你说的没错, 要这么干又要照顾应用层了.
    最后的方案是我们把这个功能砍了. - - 后面再说.
    neoblackcap
        16
    neoblackcap  
       2021-09-22 19:04:01 +08:00
    只是让 datetime 类型支持 json 格式序列化的话,直接实现 encoder/decoder 就好了,不管是 go 还是 python 的标准库都可以支持这个操作。
    Hstar
        17
    Hstar  
       2021-09-22 19:12:22 +08:00
    你猜你想问 Django 默认的 json 序列化器额外支持了哪些类型,可以直接看 DjangoJSONEncoder 的源码 https://github.com/django/django/blob/ca9872905559026af82000e46cde6f7dedc897b6/django/core/serializers/json.py#L77
    可见除了 datetime 的几个类型外,还做了 UUID 、decial 和 django.Promise 的 json 序列化支持
    tmackan
        18
    tmackan  
       2021-09-22 19:19:03 +08:00
    json
    zepc007
        19
    zepc007  
       2021-09-23 09:36:16 +08:00
    @2i2Re2PLMaDnghL +1,pydantic 好评
    O5oz6z3
        20
    O5oz6z3  
       2021-09-23 17:23:29 +08:00   1
    偶然看到 https://hynek .me/articles/serialization/
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     884 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 21:24 PVG 05:24 LAX 13:24 JFK 16:24
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86