Python 操作 SQLite 异常 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
monetto

Python 操作 SQLite 异常

  •  
  •   monetto 2022 年 9 月 20 日 1831 次点击
    这是一个创建于 1312 天前的主题,其中的信息可能已经有所发展或是发生改变。
    # coding=utf-8
    import sqlite3
    import random
    import threading
    import time

    db_path = "/Users/admin/test.sqlite"

    cOnnection= sqlite3.connect(db_path, check_same_thread=False)

    CREATE_SQL = """
    CREATE TABLE IF NOT EXISTS test_table (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    name TEXT
    )
    """

    write_count = 0


    def write_handle():
    while True:
    connection.cursor().execute("INSERT INTO test_table (name) VALUES ('%s')" % random.random())
    connection.commit()
    global write_count
    write_count += 1
    print(str(int(time.ime())) + "Insert_" + str(write_count))


    def read_handle():
    while True:
    res = connection.cursor().execute("SELECT * FROM test_table LIMIT 1").fetchone()
    if res is None or res[0] is None:
    continue
    print(str(int(time.time())) + "Read")


    if __name__ == '__main__':
    c = connection.cursor()
    c.execute(CREATE_SQL)
    connection.commit()
    time.sleep(1)
    threading.Thread(target=write_handle).start()
    threading.Thread(target=read_handle).start()
    time.sleep(1000)
    第 1 条附言    2022 年 9 月 20 日
    感谢各位大佬解答,核心原因是因为 一读一写 线程不可以使用一个 Connection ,并发情况下改为 一个线程一个 Connection 即可。也不需要设置 WAL 或者 Cache 模式。如果想要多个线程共用一个 Connection 的话,需要用锁锁住即可。
    17 条回复    2022-09-20 23:08:30 +08:00
    monetto
        1
    monetto  
    OP
       2022 年 9 月 20 日
    代码缩进没有了 ...

    总结就是两个线程循环执行,
    一个线程执行 connection.cursor().execute("INSERT INTO test_table (name) VALUES ('%s')" % random.random())
    一个线程去读
    然后程序必定崩溃 ...
    monetto
        2
    monetto  
    OP
       2022 年 9 月 20 日
    求熟悉 SQLite 的大佬帮忙看看 ...
    DonaidTrump
        3
    DonaidTrump  
       2022 年 9 月 20 日   1
    不贴错误日志,让谁给你看啊
    monetto
        4
    monetto  
    OP
       2022 年 9 月 20 日
    @tulongtou 没有错误日志 直接 异常退出 崩溃了
    ysc3839
        5
    ysc3839  
       2022 年 9 月 20 日 via Android   1
    又遇到字符串拼接 SQL 语句:connection.cursor().execute("INSERT INTO test_table (name) VALUES ('%s')" % random.random())
    有 SQL 注入的风险

    明明.execute()就有占位符功能的,为何不用呢?
    https://docs.python.org/3/library/sqlite3.html#sqlite3-placeholders
    monetto
        6
    monetto  
    OP
       2022 年 9 月 20 日
    @ysc3839 感谢大佬回复,学到了。但是程序崩溃的问题是因为什么呢。PyCharm 直接异常退出了...
    ruanimal
        7
    ruanimal  
       2022 年 9 月 20 日   1
    似乎 connection 非 threadsafe
    kokutou
        8
    kokutou  
       2022 年 9 月 20 日
    你开个命令行运行呗。。。
    wxf666
        9
    wxf666  
       2022 年 9 月 20 日
    我这里测试没崩啊

    Windows 10
    Python 3.10
    PyCharm 2021

    另外,根据[文档]( https://sqlite.org/isolation.html )所说,你不应该在同一个连接内同时读写数据库,此行为未定义

    最后,贴代码起码用下 Markdown 啊。回复用不了就算了,帖子还不用。。
    monetto
        10
    monetto  
    OP
       2022 年 9 月 20 日
    @ruanimal 但是 Google 了一圈,网上基本都是说 <多写> 是非 ThreadSafe ,我这个场景是 单读单写 按道理没问题呀 ...
    monetto
        11
    monetto  
    OP
       2022 年 9 月 20 日
    @wxf666 不好意思哈,不太会贴完整的代码 ... ORZ
    monetto
        12
    monetto  
    OP
       2022 年 9 月 20 日
    @kokutou 命令行也提示 [1] 20588 segmentation fault python test/concurrent_sqlite_test.py
    kokutou
        13
    kokutou  
       2022 年 9 月 20 日 via Android
    @monetto
    盲猜一个环境问题
    monetto
        14
    monetto  
    OP
       2022 年 9 月 20 日
    @wxf666 但是大佬,我本机测试稳定崩溃 ... 会有三种情况出现。
    第一种 直接 Disk IO Error ,google 一圈没找到方案 ...
    第二种 Database Block ,这个我测试 多写并发的时候发生过,但是按理说 一读一写 也会 Block 吗 。。。
    第三种 进程直接关闭了 segmentation fault
    monetto
        15
    monetto  
    OP
       2022 年 9 月 20 日
    @kokutou 感觉不像啊 ...

    macOS 10.15 / 11.4 两个机器都试过了
    Python 都是 2.7 版本(为了兼容性没上 3 )
    wxf666
        16
    wxf666  
       2022 年 9 月 20 日   1
    @monetto 9 楼给的官方文档说了,一个 connection 内同时读写的行为是未定义的。即,按道理,是有问题的

    你试试每个线程一个 connection ?
    monetto
        17
    monetto  
    OP
       2022 年 9 月 20 日
    @wxf666 可以了!程序总算不崩溃了!感谢大佬!每个线程一个 Connect 就可以了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3001 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 35ms UTC 02:20 PVG 10:20 LAX 19:20 JFK 22:20
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86