大哥们,给菜鸟想想办法吧,求求了。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yoloMiss
V2EX    Java

大哥们,给菜鸟想想办法吧,求求了。

  •  
  •   yoloMiss 2023-11-05 20:11:38 +08:00 4445 次点击
    这是一个创建于 709 天前的主题,其中的信息可能已经有所发展或是发生改变。
    问题是这个样子的:
    自己写的一个 springboot 程序,接受其他业务系统的数据,60m ,但是由于一些要求数据中的某些字段要求被移除,这里我就非常“合理”的将数据转成 jsonobject ,然后再通过 new jsonarray 逐步获取里面的每一条数据,然后这个时候就又非常“合理”的 oom 了。
    大概示例就是下面这个样子:
    httpReponse res = httpUtil.get(url);
    String resStr = res.getBody();br /> JSONArray arrayData = JSONArray.parse(resStr);
    for(int i=0,i<arrayData.size,i++){
    JSONObject jsOnData= arrayData.getJSONObject(i);
    if(jsonData.contains("key")){
    jsonData.remove(i)
    }
    }
    目前使用的 json 工具是 fastjson ,有没有希望通过升级版本解决这个问题?或者其他方案呢?
    至于怎么排查 oom 的位置,这个不太好弄(不是我不会!是一些原因限制目前只能看着代码猜测,一点一点试),也不能贴报错的图。
    19 条回复    2023-11-06 16:36:17 +08:00
    blankmiss
        1
    blankmiss  
       2023-11-05 20:17:05 +08:00   4
    等一下 我含根内存条 用大脑运算一下这段程序
    yoloMiss
        2
    yoloMiss  
    OP
       2023-11-05 20:23:08 +08:00
    @blankmiss 哈哈哈,扩内存当然可以。但是吧,不是那么的让感觉优雅。
    blankmiss
        3
    blankmiss  
       2023-11-05 20:23:31 +08:00
    看来你没懂我的意思
    yoloMiss
        4
    yoloMiss  
    OP
       2023-11-05 20:25:26 +08:00
    @blankmiss 讲讲!分享一下你的方案。
    lizardll
        5
    lizardll  
       2023-11-05 20:30:06 +08:00 via iPhone
    这段代码中有几个明显的问题:

    1. **循环变量语法错误**:
    ```java
    for(int i=0,i<arrayData.size,i++)
    ```
    应该修改为:
    ```java
    for(int i=0; i<arrayData.size(); i++)
    ```

    2. **删除 JSONArray 中的元素问题**: 当你从`JSONArray`中删除元素时,该数组的大小会改变,这可能会导致你错过某些元素或者遇到`IndexOutOfBoundsException`。一种解决方法是反向遍历这个数组。

    3. **`JSONObject.contains`**:
    根据我的最后的知识,`JSONObject`并没有`contains`方法。如果你想检查一个`JSONObject`是否包含某个 key ,你应该使用`has`方法:
    ```java
    if(jsonData.has("key"))
    ```

    4. **丢失分号**:
    ```java
    jsonData.remove(i)
    ```
    应该有一个分号:
    ```java
    jsonData.remove(i);
    ```

    5. **删除元素的方法不正确**:
    使用`jsonData.remove(i)`是错误的。这将试图从`JSONObject`中删除键为`i`的项,而不是从`JSONArray`中删除索引为`i`的项。你应该在`arrayData`上调用`remove`方法,如`arrayData.remove(i)`。

    考虑上述问题,修改后的代码如下:

    ```java
    httpReponse res = httpUtil.get(url);
    String resStr = res.getBody();
    JSONArray arrayData = JSONArray.parse(resStr);
    for(int i = arrayData.size() - 1; i >= 0; i--) {
    JSONObject jsOnData= arrayData.getJSONObject(i);
    if(jsonData.has("key")) {
    arrayData.remove(i);
    }
    }
    ```

    请确保你的代码环境中的库方法与我的建议相匹配,不同的库可能有不同的方法名称和功能。
    lizardll
        6
    lizardll  
       2023-11-05 20:30:24 +08:00 via iPhone
    这不是问问 gpt 就能解决
    lizardll
        7
    lizardll  
       2023-11-05 20:31:53 +08:00 via iPhone
    httpReponse res = httpUtil.get(url);
    String resStr = res.getBody();
    JSONArray arrayData = JSONArray.parse(resStr);
    我是建议你用迭代器写

    Iterator<Object> it = arrayData.iterator();
    while (it.hasNext()) {
    JSONObject jsOnData= (JSONObject) it.next();
    if (jsonData.has("key")) {
    it.remove();
    }
    }
    knightdf
        8
    knightdf  
       2023-11-05 20:35:10 +08:00
    chunk
    guyeu
        9
    guyeu  
       2023-11-05 21:53:29 +08:00 via iPhone
    gpt 弄混了不同的 json 库,JSONObject 当然有 contains 方法,它实现了 Map 接口。你这里明显的问题是在遍历的时候删除元素,JSONObject 内部的实现不可预期,所以有可能是这块的问题。
    stinkytofu
        10
    stinkytofu  
       2023-11-05 22:36:12 +08:00
    60M 的 JSON 再转 java 对象处理起来太消耗性能了, 建议用纯文本的方式处理, 只是移出特定的字段, 正则表达式很好写
    silentsky
        11
    silentsky  
       2023-11-06 01:16:51 +08:00 via Android
    楼上说的对 别转 JSON 对象了 直接处理字符串
    skydiver
        12
    skydiver  
       2023-11-06 01:22:41 +08:00
    @lizardll 没记错的话这个网站禁止贴 ChatGPT 生成的内容
    blankmiss
        13
    blankmiss  
       2023-11-06 08:19:38 +08:00
    @lizardll 被站长看到会 ban 号
    chuck1in
        14
    chuck1in  
       2023-11-06 09:06:06 +08:00
    op 为啥这么着急
    BQsummer
        15
    BQsummer  
       2023-11-06 10:20:31 +08:00
    试试 Gson 吧, 支持流式读取:
    JsonReader reader = new JsonReader(new InputStreamReader(inputStream));
    reader.beginArray();
    missya
        16
    missya  
       2023-11-06 11:32:53 +08:00
    fastjson 也支持流式读取吧,比一次性加载全量数据到内存中
    lff0305
        17
    lff0305  
       2023-11-06 13:04:34 +08:00
    把这个 json array 存储到 elastic search 里面,使用 elastic search 的运算符进行过滤,更新,最后导出
    knva
        18
    knva  
       2023-11-06 14:02:53 +08:00
    流式读取,直接处理字符串
    lDqe4OE6iOEUQNM7
        19
    lDqe4OE6iOEUQNM7  
       2023-11-06 16:36:17 +08:00
    httpResponse res = httpUtil.get(url);
    String resStr = res.getBody();
    JSONArray arrayData = JSONArray.parseArray(resStr);
    for (int i = 0; i < arrayData.size(); i++) {
    JSONObject jsOnData= arrayData.getJSONObject(i);
    if (jsonData.containsKey("key")) {
    jsonData.remove("key");
    }
    }
    流式 API 处理 JSON ,这样:



    httpResponse res = httpUtil.get(url);
    String resStr = res.getBody();
    JSONReader reader = new JSONReader(new StringReader(resStr));
    reader.startArray();
    while (reader.hasNext()) {
    JSONObject jsOnData= reader.readObject();
    jsonData.remove("key");
    // 处理 jsonData
    }
    reader.endArray();
    reader.close();
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5474 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 07:12 PVG 15:12 LAX 00:12 JFK 03:12
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86