这是一个创建于 1152 天前的主题，其中的信息可能已经有所发展或是发生改变。
在一个 200GB 内存的机器上，处理上 TB 的数据，如何解决 OOM 问题？
- 关键一：数据分布在多个进程上
- 关键二：数据前期未分区，无法直接分批计算
- 关键三：要求支持多任务，也就是可能存在资源竞争
- 关键四：必须充分利用计算资源，尽可能达到理论的最大性能
这种情况下，OOM 问题怎么设计容易解决呢？
 | 1 bjzhush 2023 年 3 月 1 日 非常简单，很多方案 内存加到 2T ，2T 不够 4T ，以此类推 数据进行分区 找到 OOM 的原因，改进代码 |
| 4 bjzhush 2023 年 3 月 1 日 不开玩笑的说，200G 内存绝对是够了，TB 数据也并不多，最大的问题在程序本身，去看看 log 找下 OOM 的原因，改进代码吧，自己改不了就找个靠谱的人花点钱改 |
 | 5 VYSE 2023 年 3 月 1 日 MMAP |
 | 6 F281M6Dh8DXpD1g2 2023 年 3 月 1 日 装个 duckdb ，跑个 sql 完事 |
 | 7 darkengine 2023 年 3 月 1 日 先把数据处理成可分区处理的，不然其他三点都没法实现 |
 | 8 l01306 OP @bjzhush OOM 原因很明确了，现在遇到的核心问题是：在处理这么大数据的情况下，必然要将部分数据换出到硬盘，这个换出机制如何设计？涉及多个进程，如何实现统一的数据管理且保证性能？ |
| 9 l01306 OP @darkengine 没有办法预分区，只能根据需要，在数据载入内存后做分区了 |
Select anguage