火狐体育NBA直播欢迎您!恒温恒湿产品及设备生产厂家
全国咨询热线: 13689511755

天云大数据技术架构师叶明:OLTP on Hadoop

天云大数据技术架构师叶明:OLTP on Hadoop

作者:火狐体育NBA直播1970-01-01 08:00:00

  数据猿报道,2017年6月29日,由数据猿主办,互联网普惠金融研究院联合主办,中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟、中国大数据技术与应用联盟、上海金融信息行业协会协办的「数据猿·超声波」之金融科技­商业经济价值探索高峰论坛在上海隆重举办。

  本次峰会主要聚焦产业方、服务提供方、投资方、业界专家学者等一起从风控、区块链、量化金融、个性化保险、大数据技术服务、客户关系管理,六大方面共同探索“大数据在金融领域的商业经济价值”,推进金融科技领域的发展与创新。

  在峰会的主论坛上,不但发布了由数据猿联合HCR慧辰资讯、DataPipeline联合编撰的《数据驱动金融升级,商业经济价值落地探寻调研报告》,还为多家企业及个人颁发了“2017金融科技·大数据优秀案例”之技术创新奖、应用创新奖、最佳实践奖以及数据猿专栏优秀征文奖在内的多个【金猿奖】奖项。

  很荣幸有机会跟大家介绍一下我们公司的产品,BDRT是高性能的数据查询引擎,今天因为时间有限,我们会从客户的真实需求,从BDRT本身的性能包括结合BDRT相关的应用案例三个方面给大家做一个整体的介绍。

  在介绍BDRT具体的特性之前,首先看一下快速查询有哪些业务需求?哪些应用场景会应用到快速查询?

  首先看一下银行的核心,各位明白在银行里面核心是最忙的,当之无愧的劳动模范,每天应对成千上万的查询请求,有柜员、监管、网银的查询,还有同步查询、异步查询、多条件查询。

  我们说现在是大数据时代,其最大的特点是大数据影响到几乎全社会所有的行业,特别是银行。在这样的时代下,数据量和业务量都以空前的速度增长,这是什么概念呢?以前是GB,后面是TB,现在已经是PB了,这个数据的生产和产出是非常惊人的。所以说银行的核心系统承担的压力非常大,将近有50%的压力来自于全行的各种各样的查询交易请求。

  事实上核心不光是为了面对这些查询,主要的还是要做一些更重要的业务处理。到目前来讲,可以说所有的银行系统仍然是采用IOE的架构,垂直技术架构,既然我们刚刚谈到数据增长那么快,那么市场就要升级。但是垂直技术的升级会带来一个问题,就是升级改造的成本非常高昂,而且因为本身受限制,就算是不断的升级,也很难迅速满足现在业务的发展。现在国家也提倡采用一些自主可控的技术,满足在核心方面快速查询的需求。

  快速业务查询的需求依旧很强烈的,那么如何能够很好的满足这些业务需求呢?要达到什么样的业务目标呢?

  首先是能够支持海量的数据存储,支持横向扩展,扩容成本低,实现海量存储,以及全量数据处理;

  第二个,支持实时高并发的查询,需要从海量的历史、实时数据中快速获取有用信息

  BDRT到底是啥东西?一句话总结就是:大规模高并发支持灵活查询的实时查询引擎。

  在整个的大数据的框架平台中,我们的BDRT到底是站在哪个位置?大家一提到传统的大数据的框架,首先想到的就是一个数据仓库的替代方案,能够使用廉价的方式做大量的横向扩展,可以把在线离线全部贯穿里面。而一想到数据仓库就觉得是OLAP,如果是实时的系统就根本不会想到数据仓库。其实不光是结合了大数据本身的一些劣势数据库的高并发的性能,最重要的是结合了传统数据库的事务SQL的支持,所以BDRT是站在大数据平台当中的OATP。

  一个是核心减负还有风险预测,当然BDRT最吸引人的是实时查询,灵活查询等等,数据同样支持全量的查询。