MySQL 5.5 Community Server MySQL 5.6 Community Server Percona Configuration Wizard XtraBackup 搭建主从复制 Great Sites on MySQL Percona MySQL Performance Blog Severalnines 推荐管理工具 Sequel Pro phpMyAdmin 推荐书目 MySQL Cookbook
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html 
这是一个创建于 2178 天前的主题，其中的信息可能已经有所发展或是发生改变。
场景：在数据库中分别建了两张表 A、B，A 用来存储从网上爬取到的 ip 和 port，然后测试，有效就存储在 B 表。现在，我写了一个定时任务，每 60 分钟爬取一次，并存储在 A 表，然后把有效的存在 B 表。针对 B 表也写了一个定时任务，每 1 分钟检查一次是否仍然有效，如果无效就删除，有效就从当前行删除，插入到最后一行，一直这样循环。但是现在遇到一个问题，针对 B 表的定时任务，在检测完 B 中原有的数据，包括从当前行删除并插入到最后一行的数据后，其他从 A 表存入 B 表的数据再也无法读取到，这是因为锁吗？初学数据库，不太了解这个，求助各位。
 | 1 taogen 2019-10-31 00:44:54 +08:00 via Android 什么叫 “从 A 表存入 B 表的数据再也无法读取”？ 到底是哪个表的操作失败？是读操作，还是写操作失败？ |
 | 2 sumarker PRO ``` 如果无效就删除，有效就从当前行删除，插入到最后一行，一直这样循环 ``` 没看懂这个操作是啥意思 orz |
 | 3 z7356995 2019-10-31 06:53:31 +08:00 via Android 为什么不用一张表，A 表一张就够了，有效无效只要一个标记位就行 |
 | 4 aaa5838769 2019-10-31 07:37:43 +08:00 via iPhone 你应该加个字段就解决了，还干嘛弄个表 |
 | 5 sansanhehe 2019-10-31 07:42:08 +08:00 via Android 没有用事务包裹整个过程吗？ MySQL 的默认隔离级别解决了不可重复读和幻读问题 |
 | 6 fortunezhang 2019-10-31 08:05:46 +08:00 我读了好 5、6 遍才明白你的操作。 从 B 表中的操作，每次都是 select * from table_b order by id asc limit 1。这样就能够保证每次都能拿到了。还有一个复杂的方法，就是你保留上一次被删除的 id，select * from table_b where id=(last_deleted_id +1 ) 这样也行。 |
 | 7 native 2019-10-31 08:40:08 +08:00 via Android 锁一般在多线程高并发时候会用到，仔细检查代码。 |
 | 8 laminux29 2019-10-31 08:54:46 +08:00 楼主要小心网监，毕竟牢饭不好吃。 |
 | 9 chengcanmm77 2019-10-31 08:56:07 +08:00 应该是定时任务开了事务 |
 | 10 Yano 2019-10-31 09:41:22 +08:00 我觉得吧，你一个 A 表就足够了。A 表增加一个字段，标识是否有效；最多再加一个字段，标识是否扫描标记过。 |
 | 11 ShangAliyun 2019-10-31 11:12:09 +08:00 你这个用途要注意安全，扫公网端口，大多目的都不是“合法”的，甚至及时合法都得放着，容易被误解甚至利用 |
 | 12 getlost OP @taogen 比如 B 表中原有 5 条记录，一段时间后都失效了，定时任务查出后将 5 条记录都从 B 表中删除，但是 B 表中新存进去的记录查询不到（是从 A 表中取出后新插入的），但是我用 Navicat 看了 B 表的记录，新的记录已经存进去了，就是取不到。 |
| 13 getlost OP @sumarker 因为我发现每次取一条记录，都只能取到第一条，如果这一条不删除，后面的都取不到。我考虑过用 id+1 这个，但是因为有删除操作，所以 id 不是连续的，然后我就想到这个了，把当前记录删除并插入到最后，这样我就可以一直取到新的记录了。，刚学，还不太会用。 |
| 14 getlost OP @z7356995 但是这样就存在一个问题啊，大多 ip 都无效，无效的记录越来越多，所以我就给删了 |
| 15 getlost OP @aaa5838769 没想到这个，但是如果加个字段，这里面大多都是无效的，能用的 ip 很少，所以干脆删了 |
| 16 getlost OP @sansanhehe 还不会这个，我现在只会用类似 SELCTE INSERT 这种，我去查查你说的这个，谢谢啊 |
| 17 sumarker PRO @getlost 其实比较简单的是你先处理,然后 把处理中的放内存里(如果太大可能导致内存堆满,但是可以分片),然后 再去操作数据库不是更好吗? |
| 18 getlost OP @fortunezhang 我试了一下，这样不行，B 中的记录删除完之后，新加入的记录还是取不到。 |
| 19 getlost OP @native 我开了两个进程，一个执行爬取任务，并存在 A 表，然后测试 ip，有效存入 B 表，无效删除。另一个一直循环检测 B 表 ip 是否还能用，无效就删除。但是问题出现了，B 表原有的 ip 过段时间都会失效，全部删除，从第一个进程存入 B 表的记录，第二个进程就拿不到数据了。 |
Select Language