自动柜员机大数据平台服务实践 限售股

资讯行情  2021-03-26 14:30:44

原标题:快手大数据平台服务实践

本文主要介绍快速数据服务中心。第一部分是背景介绍,包括数据开发的痛点,第二部分是大数据服务平台介绍,包括平台架构和关键细节,第三部分是经验总结和未来思考。

背景

快手是数据驱动的公司,数据起着非常重要的作用。数据的产生和处理主要依靠数据开发工程师,他们的工作涉及到很多方面:数据开发工程师首先根据业务需求开发出高质量的数据,通常是结构化数据(data table);其次,开发稳定可靠的数据服务,通过API交付给业务方。数据开发工程师有两个痛点:1)开发数据服务的门槛高;2)数据业务的重复发展。

痛点1:开发数据服务的门槛很高

除了开发数据表,数据开发工程师通常需要考虑以下问题:

如何交付数据:业务通常期望使用数据接口而不是数据表,这样更灵活、解耦、高效。因此,数据开发工程师需要建立相应的数据服务。 如何开发服务:数据服务的形式很多,通常需要开发工程师具备微服务知识、服务发现注册、高并发性等。 权限和可用性问题:开发数据服务后,需要考虑权限问题,以确保数据资源能够安全访问;另外还要考虑可用性,通过各种手段保证数据访问的稳定性。 运维问题:数据服务本身就涉及到各种运维问题,比如扩容、迁移、离线、接口变更、服务告警等。 以上问题都需要数据开发工程师来解决。这要求数据开发不仅要开发数据表,还要将数据表打包成一个独立、灵活、高度可用和安全的数据服务。这要求数据开发工程师具备开发高可用性和高性能数据服务(包括java开发、微服务等)的能力。)除了基本的业务需求捕获、数据建模、SQL开发等。

痛点2:数据服务的重复开发

多条业务线(如支付业务、直播业务、账户业务等。)有数据需求,各业务线都在做:1)数据同步到在线数据库和缓存;2)微服务的开发,其中数据同步和微服务通常在不同的业务线下有很多共同点。烟囱重复开发就是重复开发数据服务,造成人力资源浪费,开发效率低。从数据开发到数据服务的最终交付需要很长时间。

基于以上痛点,我们开始构建统一的数据服务平台。从而开启解决问题的新模式。

大数据服务平台

数据平台本身的定位是一站式自助数据服务平台。用户通过平台创建数据服务接口、运维服务和呼叫服务。平台坚持“配置即服务”的理念:数据开发工程师不再需要手写的数据服务,只需在平台上配置即可,平台可以自动产生和部署数据服务,从而提高效率。

系统结构

大数据服务业务架构如下所示。原始数据存储在数据湖数据湖中,经过数据开发,形成按主题领域组织的数据资产。此时数据资产通常在数据仓库中,访问速度较慢,需要将数据加速到更高速的存储介质,最终通过多场景服务接口为业务服务。

在技术架构上,有两种类型的数据接口:RPC和HTTP。RPC接口不需要重复建立链接,在传输数据时可以高效序列化。它适用于高吞吐量场景下的微服务,实现负载均衡、流量控制、降级、呼叫链跟踪等功能。相对来说,HTTP接口效率较低,但是使用起来非常简单。

关键技术一:配置就是开发

平台用户分为两类角色:一类是数据服务生产者,一类是数据服务调用者。数据服务生产者只需要配置,这样“配置就是开发”。配置包括:1)数据源;2)数据加速在哪里;3)界面形式和访问方式;4)配置独立的测试环境,访问隔离的测试数据。配置完成后,数据服务平台将根据配置列表完成接口的自动生成和部署。生产部署后,调用者在平台上申请服务权限调用。通过自动化生产,配置的目的是开发,从而大大提高效率。

关键技术2:多模式服务形式

数据服务有多种服务形式,包括:

KV API:简单的检查可以支持百万QPS和毫秒级延迟。这种API是通过模板自动创建的,支持单查询、批量查询等接口。返回的结果是Protobuf (PB)结构,使得结果自动ORM,对主调方更友好。典型场景包括:根据IP查询地理位置信息、根据用户Id查询用户标签人像信息等。 SQL API:复杂灵活的查询,底层基于OLAP/OLTP存储引擎。通过Fluent API接口,用户可以自由组合匹配一个或几个嵌套查询条件,查询几个简单字段或聚合字段,可以全文或分页检索数据。典型的场景包括:用户圈选择(结合几个用户标签筛选出一组用户)。 Union API: fusion API,可以自由组合多个原子API,包括串行和并行方法。调用者不再需要调用多个原子API,而是调用融合API,通过服务器代理访问多个子查询,可以大大减少访问延迟。

关键技术3:高效的数据加速

上述数据资产通常存在于低速存储引擎中,无法支持在线服务的高访问流量。因此,有必要系统地加速数据。目前有两种加速方式:1)全数据加速;2)多级缓存(部分数据加速)。

全数据加速

从多个数据源(如卡夫卡、MySQL、在线访问日志等)摄取原始数据。),处理建模后获取数据资产。数据资产被同步到其他更高速的存储引擎,如redis、hbase、druid等。,通过独立的数据同步服务。数据同步支持一次性或周期性(小时、天、周等)。)将数据从Hive同步到其他存储。数据同步本身基于分布式调度系统,内核基于datax进行数据同步。大数据服务平台一天同步的数据量达到1200亿条,数据大小达到20TB。

多级缓存

大数据服务平台会使用Redis、Hbase、Druid、Clickhouse等方式存储所有数据,但有些存储如Hbase可能速度较慢,需要额外的hotspot Cache来缓存热数据的数据。热点缓存是多级缓存。对于每个API接口,用户可以自由组合多级缓存,灵活设置缓存策略。另外,对于大数据量的API,也可以配置数据压缩,通过各种压缩方法(如ZSTD、finder、GZIP等)可以显著减少数据量。)(有些API甚至可以减少90%的数据存储量)

关键技术4:高可用性保证

服务可用性是微服务领域的核心,服务的高可用性通常需要通过各种手段的结合来保证。自动快速数据服务平台可以通过多种方式实现高可用性,包括:

灵活的服务框架 资源隔离 全链接监控 灵活的服务框架

数据服务部署在容器云环境中。集装箱云是由Aauto Speeter开发的灵活且可扩展的集装箱服务。部署在其中的远程过程控制服务将注册到KESS(Aauto Speeter自行开发的服务注册和发现中心),供主叫方呼叫,如果有异常值,它将被自动删除。服务调用是基于RPC的,对整个环节进行监控,包括服务可用性、延迟、QPS、容器CPU、容器内存等。

资源隔离

资源隔离是确保可用性的常用手段之一,它减少了意外故障的影响。无论是微服务还是存储,我们都是按照业务+优先级(高、中、低)的粒度隔离部署,独立保障,做到业务互不影响,业务内不同级别互不影响。同一业务线可能有多个不同的数据服务,通过混合部署可以提高资源利用率。

全链接监控

很难避免服务中的问题或失败。一旦出现问题,及早发现和干预是非常重要的。服务平台构建全链路监控,包括:

数据同步:监控数据资产同步到高速存储的过程,包括数据质量检测(过滤脏数据)、同步超时或故障检测等。 服务稳定性:建立独立的岗哨服务,监控各API的运行指标(如延迟、可用性),客观评估健康状况 业务正确性:数据服务需要保证用户访问的数据内容与数据资产表内容一致,因此哨兵服务会从数据一致性层面进行探查,以保证各个API的数据一致性

总结与展望

大数据服务平台从2017年发展至今,已经支持了多种类型的应用场景,包括直播、短视频、电子商务、商业化等在线服务,制作人中间站等准在线服务,以及操作系统等部分内部数据系统。目前平台在线服务总QPS达1000W,平均延迟以毫秒计;对于准在线业务和内部数据系统,基于CH、Druid等数据引擎,支持多种灵活查询。数据服务平台支持多模式API,很好地满足了多样化的需求。此外,数据服务平台还支持服务权限、API市场等丰富功能,进一步赋予业务权能。

大数据服务平台未来的发展方向主要包括:

贴近业务需求:数据服务平台本身服务于业务,通过使业务能够实现,为企业带来价值。业务本身也在不断发展,未来的需求会更多。所以数据服务平台本身会不断抽象沉淀公共数据服务能力。 深度培育数据资产:数据资产是数据服务的基础。没有完善的数据资产建设,就难以构建结构化、统一的数据服务。数据资产的内容很多,包括资产注册和审计、资产图、资产标签、资产管理、资产开放和服务。

大数据服务平台的能力建设将走向统一的一站式服务系统。主要包括三个方面:

支持丰富的数据源,包括大而宽的表、文本文件和机器学习模型(也是数据资产),以构建完美的数据服务。 支持多样化的数据检索方式:除了同步快速的数据检索外,还支持异步查询数据检索、结果推送、任务调度等多样化的方式,以满足各种业务场景的需求。 构建统一的API网关:集成权限控制、限流降级和流量管理,不仅平台创建的服务可以在API网关中注册,用户自己开发的API也可以在API网关中注册,从而享受现有的基本网关能力,为服务提供数据服务能力。 关于作者:倪顺,本硕,毕业于北京大学,在Hulu工作,从事视频领域大数据的研发,包括视频回放质量的数据建设和数据驱动回放体验的推广。目前在Aauto faster工作,从事中国和台湾的数据领域,主要负责大数据服务基础平台的建设。回搜狐多看

负责编辑:


以上就是自动柜员机大数据平台服务实践限售股的全部内容了,喜欢我们网站的可以继续关注股票市盈率其他的资讯!
版权声明:
1、本网站发布的资源《自动柜员机大数据平台服务实践 限售股》为股票市盈率原创或整理,版权归原作者所有,转载请注明出处!
2、本网站作文/文章《自动柜员机大数据平台服务实践 限售股》仅代表作者本人的观点,与本网站立场无关,作者文责自负。
3、本网站一直无私为股民提供股票配资的相关内容,对于不当转载或引用本网内容而引起的民事纷争、行政处理或其他损失,本网不承担责任。

相关推荐

文同闻道图二神金瀚据外媒报道,近日,美国散户为全国各地的投资者松了一口气,因为这些人利用社交平台互相连接,成功让一只原本只值3美...
全球股市最新行情总结福清证券哪家公司股票开户手续费最低?广州有正规的资金配置平台吗?现在玩期货的人越来越多,活跃的金融市场主要集...
新疆天业股份赤峰资金配置平台,哪些资金配置公司是常客?中标后的新股上市日期,经证券交易所批准后,应当在指定的证券纸上公布。一般是...
自然期货报价的和平股票杠杆平台是什么?一个投资平台不仅能给投资者带来更多的便利,还能让人相信这个平台,相信它的体系,相信它的价值...
2020年可转债上市,哪种融资平台更有利于交河股票融资?目前市场上最流行的投资方式是配股。所以网上的股票融资平台越来越多,但并不...
中国历史金价30年走势图;西昌网上证券市场哪个平台更有优势?当波动发生时,你必须抓住筹码,等待修正。首先,不要随便卖。永远记住,...
看了股市的基础知识,不再迷茫。新手在进入股市之前,需要学习很多股票的基础知识,比如股市术语、炒股方法、选股技巧等。要学的东西太多...
600698股票肇东港股账户,证券公司的账户费用在哪里?做过网上资金划拨的投资者应该知道,网上资金划拨公司提供的账户仅限于投资者...
货币市场基金排名股票缺口理论岛屿反转缺口形状岛屿反转缺口顾名思义,从图形上看,股价明显分为两部分,中间被两个缺口隔开,使得图中岛...
001420上证综指:在股市长线交易的原则下,我们的轮渡资金配置网还是有很多喜欢采取中长期操作策略的资金配置投机者。大部分都是每...
场外配置风险股价通常会在下跌一段时间后逐渐企稳。稳定的态度是多种多样的,但基本上是一些比较简单基本的k线或者其他指标的组合。今天...
股神带头,大哥777_新浪博客哪家基金配置平台更适合固原配股?选择资本配置公司有哪些技巧?目前从时间上来说,中国股市的发展已经十...
哪家证券公司开户佣金最低?在股票市场上,一个成功的投资者不仅需要强大的选股能力,还需要积极、良好的心态。因为股市在变,如果因为情...
原标题:欺骗120多人参与“万达复利”网络营销平台某骨干被判5年有期徒刑1月11日,徐莉反MLM小组获悉,白银市白银区人民法院正...
原标题:总市值超过400亿美元或在香港上市两次【CNMO新闻】1月8日晚,视频平台李必立今天股价上涨近6%,总市值超过400亿美...

友情链接