有没有可能收集股市和基金的行情,对以往的数据进行统计分析以支持证券投资? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lu18887
V2EX    投资

有没有可能收集股市和基金的行情,对以往的数据进行统计分析以支持证券投资?

  •  1
     
  •   lu18887 2014-07-16 16:46:21 +08:00 7326 次点击
    这是一个创建于 4184 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近开始看起了股票基金,不会看行情,想抓取股票价格和一些基金网站的估值以及净值保存起来,然后进行一些相关的数学分析。

    现在的问题是:
    1、有必要这样做吗?
    2、有没有什么经济快捷的方式(SAE?GAE? VPS ?)
    3、存储数据的方式(云数据库 OR VPS数据库集群?)
    4、通过评估基金网站的估算价格和日终实际价格的偏差度来给基金评级,偏差越小说明基金网站的估值越准确可以跟着基金网站的涨跌决定买入卖出,这种分析可行吗?
    5、 票和基金的价格,从什么渠道拿是最快最新的?爬虫抓数据?

    有钱途又有点技术含量的东西,最有吸引力了有木有!
    第 1 条附言    2014-07-16 17:59:44 +08:00
    中国股市的一天的交易数据大概是一个怎样的量级?
    31 条回复    2014-07-19 00:46:01 +08:00
    txlty
        1
    txlty  
       2014-07-16 16:59:24 +08:00   1
    不是有没有可能,而是你说的这些,已经是金钱世界的基础。
    华尔街的金融市场,本质上是一群数学天才编写的程序在博弈。
    lu18887
        2
    lu18887  
    OP
       2014-07-16 17:02:15 +08:00
    那些是金融市场的食物链高端了,先在低端吃渣渣……
    Johnny
        3
    Johnny  
       2014-07-16 17:06:22 +08:00   1
    不需要抓取, 这部分数据都是售卖的,历年数据都有!
    halczy
        4
    halczy  
       2014-07-16 17:11:30 +08:00   1
    skybr
        5
    skybr  
       2014-07-16 17:13:39 +08:00   1
    很多机器学习和数据分析的书上都有基于logistic回归等算法预测股票走向的. 不过问题一是僵化使用是玩不过专业的, 二是股票基金的大行情主要是基于消息面, 这是不可预测的.
    imn1
        7
    imn1  
       2014-07-16 17:19:15 +08:00   1
    数据分析分为定性分析和定量分析
    对于证券
    定性分析就是基本面分析,各种资料和金融行业评估,中国的定性分析报告必须要考虑道德诚信因素
    定量分析就是纯证券价格的数学分析

    没有明确的算法有数据也没什么用
    有明确的算法也要有明确的操盘方法,不然也是没用
    抓取的数据不如购买,也不会太贵,现在很难抓到较久远的历史数据的

    注意:期货是不能只用纯数学分析的,除非你能把时间作为一个维度纳入计算
    期货的操盘方法和股票基金也完全不同
    kunimi
        8
    kunimi  
       2014-07-16 17:33:12 +08:00   1
    股票的话:
    日线数据,Yahoo! Fiance就可以抓取,格式很好,可惜复权价格貌似不是很准。我记得Pandas中已经内置了这样的函数。
    tick级的数据,免费的话就去股票软件中下载历史数据,然后在网上搜个转换工具或是自己研究格式做转换。

    当然了,买数据是最快也是最省心,真要想开发一套自己的股票交易系统,这点投资还是必须的。
    lu18887
        9
    lu18887  
    OP
       2014-07-16 17:34:42 +08:00
    @imn1 没有搞期货,期货死太快了……就想用自己的知识想办法换点钱,实在不行就交点低智商税,然后再奋发图强也好啊!先把数据搞到手……
    flyever
        10
    flyever  
       2014-07-16 17:39:45 +08:00   1
    中国的股市是脱离统计规律的吧……不可控因素太多
    bobopu
        11
    bobopu  
       2014-07-16 17:43:04 +08:00 via Android   1
    你这玩意肯定还没我自己挑出的股票做得好。话说今年做的几只都还不错,平均每只收益能稳定在7个点左右。
    lu18887
        12
    lu18887  
    OP
       2014-07-16 17:46:08 +08:00
    kunimi
    @Johnny 恩,我会考虑买历史数据的!
    lu18887
        13
    lu18887  
    OP
       2014-07-16 17:54:56 +08:00
    @bobopu 恩,刚开始肯定是丑陋的,但是股票多了肯定看不过来的。
    @flyever 就算有不可控因素,大部分还是有规律的
    @skybr 不需要太专业,想先做出来
    resettarget
        14
    resettarget  
       2014-07-16 20:20:48 +08:00   1
    有些年前,我在公司班车上听到两人对话,主题跟楼主的类似,到现在别的记不得了,但还是忘不了其中一个人蹿了句“交易量温和放大”,这么多年过去了,不知道为什么,总是对这个词,这个场景......
    akfish
        15
    akfish  
       2014-07-16 21:18:51 +08:00   1
    有,方法很多。大学时认识一教授就是做这个的,他用的是时序数据挖掘。
    国外好多投资公司有大量秘密的算法搞自动化交易,曾经TED看到过,量子基金雇佣了大量冷战时期搞隐形飞机雷达截面分析的专家去做对冲基金的交易算法,因为数学模型极其相似。
    grindsgears
        16
    grindsgears  
       2014-07-16 23:36:13 +08:00   6
    hahahahahhahahahahahahha终于说道了我的职业,, day trader,, lol,,
    肯定是有用的,, 你说的属于是backtesting,数据没有那么贵,我有近十年的ES, CL , NQ, TF, YM,等等 和几乎全部的FOREX的data,精确到tick,你可以用python,也可以用matlab来用machine learning之类的东西来算。我现在用multicharts,可以很精准的做backtesting,但是,市场一直是变化的,我有跑出来all the way up的曲线,但是在真实市场却表现不好,why?因为市场一直在运动,一直在变,所以还有做walk forward等等,, 再高级一点,研究研究套利,最简单的来说,如果今晚美股收盘,ES下跌,那么有很大可能,明早开盘,沪深也下跌, BDI(波罗的海指数)下跌,那么A股关于船运的股票也可能下跌, 再来,就是hedge,比如,我short EUR/USD(欧元对美金),并同时long一单(es 迷你标普股指期货)。最后,你会发现,你可以同时做N个市场,用N个策略,我们全是写好策略,然后放到服务器跑的,不手动交易,当然,为了速度,要离交易所越近越好。
    well,说的比较乱,总而言之
    1,。绝对有必要
    2,要的国外数据基本可以找tickdata.com买,或者我可以给你点,国内的基本都是日线,不清楚
    3,最新的价格,最快当然是从数据提供商,而不是你的券商那里,最好选场内的,我现在用rithmic ,以前用过IQFEED, 这点很重要,因为rithmic和iqfeed的数据是没有延时的(大概15微秒左右到我的服务器),而且券商的数据是有filter,简单来说就不是真实的数据,当然日线之类的无所谓。
    4,即使你计算出一种策略,未必对将来的市场是有效的,所以你可以用模拟账户去做forward testing。
    5,就美国市场而言,70%的交易已经是电脑算法完成,但是,只是提供更好的流动性而已,大部分都是HFT(高频交易)。 但是,市场永远是市场,永远有一定的规律
    祝你好运。。
    Ultratude
        17
    Ultratude  
       2014-07-17 06:13:57 +08:00 via iPad   1
    @grindsgears 美国 HFT 最近不行啊,搞搞欧洲吧。
    wanjun
        18
    wanjun  
       2014-07-17 09:03:36 +08:00
    http://www.chinascopefinancial.com.cn/

    我们公司开发了5年的产品,

    目前还是免费使用。
    lu18887
        19
    lu18887  
    OP
       2014-07-17 09:04:26 +08:00
    @wanjun 好东西!
    Quaintjade
        20
    Quaintjade  
       2014-07-17 09:41:42 +08:00 via Android   1
    数据容易得到,处理数据的方法才是关键。
    你能想到的绝大部分算法/模型,都早已有大量人在用,甚至早已被抛弃。
    另外,中国的股市真说不上有啥规律,至少数据上。玩数据的模型远不如分析各种消息,当然最好是去企业实地考察。某个过劳死的高业绩基金经理就是这么干的。
    janwen
        21
    janwen  
       2014-07-17 10:07:35 +08:00   1
    雪球已经做了
    ming
        22
    ming  
       2014-07-17 10:31:52 +08:00   1
    这叫 backtesting (回测)
    量化交易的必修课
    wanjun
        23
    wanjun  
       2014-07-17 10:41:24 +08:00   1
    @janwen

    雪球只有些行情和新闻,
    wanjun
        24
    wanjun  
       2014-07-17 16:40:10 +08:00   1
    @lu18887

    有excel 插件,

    网页大部分数据也可以直接导出到excel
    grindsgears
        25
    grindsgears      2014-07-17 22:39:14 +08:00
    @Ultratude HFT有很多种,, 那种你说的现在基本是拼带宽,拼服务器。。 所以门槛比较高,只要有钱,美国也可以做,, 不过。。。每年带宽费用在五千万美金左右,, lol
    欧洲,,well,重点是,,, 除了美国,其他的监管都比较严。很难做。
    Ultratude
        26
    Ultratude  
       2014-07-18 03:25:38 +08:00 via iPad
    @grindsgears 五千万,我读书少你别忽悠我,我现在 co-location 在 Exchange 的 DC 里还不到零头。
    Ultratude
        27
    Ultratude  
       2014-07-18 03:27:17 +08:00 via iPad
    @grindsgears 不过我不是专业的,求带。
    grindsgears
        28
    grindsgears  
       2014-07-18 16:17:56 +08:00
    @Ultratude 估计你的co-location 和我说的不是一个级别的,我说的是Spread Networks,McKay Brothers.甚至是Tradeworx那种microwave线路...
    grindsgears
        29
    grindsgears  
       2014-07-18 16:19:09 +08:00
    @Ultratude 我说的不是只是线路,还有硬件架设等等, 估计只要要那个资本才可以开始做真正的HFT。
    lu18887
        30
    lu18887  
    OP
       2014-07-18 16:24:00 +08:00
    @grindsgears 一不小心就带出了如此专业的观点……
    Ultratude
        31
    Ultratude  
       2014-07-19 00:46:01 +08:00
    @grindsgears 嗯,微波在 UHFT 下的确很有用。我们最近在试着用 NLP 来读 SEC & FDA 还有少部分 SNS 的信息,信息传递的速度也就很重要了。

    你是金融出身?难得在这里看到。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3296 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 100ms UTC 11:13 PVG 19:13 LAX 03:13 JFK 06:13
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86