大数据量的 heat map 该怎样做 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制贴 AI 生成的内容
caizixian
V2EX    程序员

大数据量的 heat map 该怎样做

  •  
  •   caizixian
    caizixian 2016-07-24 22:17:31 +08:00 via iPhone 3254 次点击
    这是一个创建于 3443 天前的主题,其中的信息可能已经有所发展或是发生改变。
    十亿级别数据点
    有时间 经纬度 和类型

    要能根据时间范围和类型生成 heat map 到地图上

    之前小规模的数据都是在数据库查询后导出,然后用 Google Maps 的 API

    数据量大了之后很头疼

    有没有V友有相关经验的支支招
    5 条回复    2016-07-25 10:50:52 +08:00
    wander2008
        1
    wander2008  
       2016-07-24 22:33:29 +08:00 via iPhone
    大数据就不是 mysql 这样的可以搞定的。上 spark , hadoop
    techcrystal
        2
    techcrystal  
       2016-07-25 00:22:23 +08:00
    可以试一下 Tableau 自带地图功能和各种其它 visualizations 十亿级别没试过 千万级无压力
    xss
        3
    xss  
       2016-07-25 09:59:38 +08:00
    Elasticsearch 的 aggregation 功能,你可以试试.
    DingSoung
        4
    DingSoung  
       2016-07-25 10:04:13 +08:00
    SmiteChow
        5
    SmiteChow  
       2016-07-25 10:50:52 +08:00
    ES, Solr 轻松应对
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2598 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 14:56 PVG 22:56 LAX 06:56 JFK 09:56
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86