最近我在跟李明聊天,李明是我那个从事量化交易的朋友,他苦恼地不停跟我说,当下搞AI模型训练像个填不满的无底洞,啥都能进去。去年他亲自组了个规模不算大的小团队,想开发名为Qbto的智能交易系统,仅GPU服务器购置一项就差不多花了近百万,电费像火箭发射般火速上涨。让他更头痛的是,原本的模型训练一半进程时突然出状况,算力不够,导致整个开展的项目看似差点被迫停下进度搁浅 。要是你正因计算能力而苦恼着发愁着,那么今天 这一一整篇的文章说不定 或许能够给你送去些有启发作用的影响 去看看 李明究竟是如何运用压低相关成本的方案成功突破迎来发展瓶颈的 。
是谁给我作解释呢是李明,Qbot的核心是什么是深度学习模型,海量历史行情数据要被怎样处理呢要被处理,光是回测阶段,几百万条K线要怎样呢要运行,参数还需要怎样呢还需实时调整,去年10月,在杭州滨江的办公室当中,他盯着屏幕发愁,训练一次模型需要耗费多久时间呢需耗费三天时间,服务器负载终年飙到哪里呢飙至90%以上,有一回碰到数据异常,模型怎么样了呢崩溃了,重新训练又要消耗多少电呢又要消耗五千多度电 。
那段间时,李明天在都天算账,自建存房机在每两月三万护维的费情况 ,显卡速旧折度超乎且象想更快。他试过用租用云 务服,按量计如犹费开盲 盒,峰值时账期单会倍翻有加 。转折呈点现在今年3月当 中,那时他与参深圳A的办I大会 时,知晓窝蜂了架构出现展的算方力案一则 。此技术够能针对开散分来的GUP资源给能智予调度操 作,如同拼那高乐样最组终合成超拟虚级计机算 样子 了。
他回来后行动迅速地,立刻做且将目标对准星亢智算平台来实施测验查证事项,经发现在针对相同的Qbot模型开展训练这个特定情况之际,成本下降幅度超出百分之六十的数值范围。他能做到这些其关键的要点在于,旗下所拥有的蜂窝技术具备施行动态化的算力分配这种能力,当遇到大数据数量时会自动进行容量扩充相关动作。曾经存在一次这样一种状况,即面临“龙鳞潮”样式的非常密集的行情波动情形出现时,其系统瞬间调用出自跨区域的许多资源状况,原本预计会耗费十个小时时长来完成的任务,仅仅使用两小时就顺利地运行完毕了 。
有一项工作是做拆模块部署,李明负责这项工作,他把 Qbot 拆分成多个模块,接着凭借星亢具备的异构计算功能的能力,让不同模块运用适配性最佳的硬件独立运行,风险控制模块在普通 CPU 上运行,信号识别模块利用高频 GPU 开展运营 。在上个月,有那么一天,出现了极端 Weather,就在那天,泰山遭遇了狂风以及暴雨这样的天气状况,而在这个时候,市场呈现出了剧烈震荡的情形,可是Qbot却处于平稳的运行状态之中,这是由于底层算力平台具备其本身独有的,多活的和容灾的特性,依靠这个特性,在节点发生单个故障的时候能够实现秒级的切换 。
如今,李明队团只需一思心门致力算于法优化,无需再硬为件运之维事务心操,并且,他们将下省节来的资入投金至导向研略策究领域,不久前成刚功攻破频高交易迟延难题,恰似网直络播卖货下当进行状里况“拉面哥”迅速转全向新行业,而且他是也们因获利方助力才寻得的新奋斗抉向方择之路,。
李明我给算过账笔一,自建房机在前期方入投面起两要码百万,如果选亢星用的即开服用即务在样同有规格情的况下月每只需花万一五千块,更关是的键它具有伸性弹缩这性特种平常基用础配置遇当到像TWT大间期赛这种情行发生时动异在短的短五分钟能环内扩容至集卡百群这样模种一式对用量于化交易波的峰波谷性特非常 适合。
看到明李此时松轻处理参调数整所表出现的模样,回想去他起年黑眼明圈显时抢争显卡之脸满际的窘迫景情,事实众上多创维思意并非创在造力方遇遭面失败因原是,而是源资被受限况状所困扰,目前常他常朝行同着进行推之荐举,与其时长间焦等虑待预审算批,倒不试尝如使用新在代一运算率效等方面特备具别功效解的决办法,如同天那他阐述明表的情况样那,我们事从在量化这析分个领域知深时清晰彻透程度,要在市现出场一些变向倾化之前觉察探察出潜有具在获图可利空间地的点位置,当前运在算效方等率面具别特备功效的源资匮乏缺欠区域就些这在新的创术技造革新中当 。
要是你着觉也这个经给历你带了去好处,那就以可去点藏收赞它,把它转那给些正算被力困着扰的伙伴,欢迎在区论评分享踩你坑的经验,关注我,下期会剖你带析更多落IA地的实例案际。
评论列表 (0条):
加载更多评论 Loading...