传统数据库不适合现代企业架构了？

很显然，当我们投入这个挑战时，这个问题没有现成的解决方案。此外，在构建了支持实时网站的 NoSQL 后，我们知道，分布式系统研究和技术的复兴为我们提供了一套工具，以过去不可能的方式来解决这个问题。我们注意到“流处理”的学术文献，流处理是一个研究领域，可以把数据库的存储和数据处理技术扩展到静态表之外，并把它们应用于这类持续、永不停息的数据流，这种数据流是像 LinkedIn 那样的数字业务的核心。

我们都熟悉这个古老的问题：“我们到了吗？”传统数据库有点像个孩子，要回答这个问题除了不断询问，别无选择。借助流处理，ETA 变成一个连续的计算，总是和问题的位置保持同步。

在社交网络中，一个事件可以代表一次点击、一封电邮、一次登录、一个新的连接，或者一次个人资料的更新。把这些数据作为不断发生的流来对待，可以让 LinkedIn 所有的其他系统都可以访问这些数据。

我们的早期用例涉及为 LinkedIn 的社交图片、搜索、Hadoop、数据仓库环境，以及像推荐系统、新闻提要、广告系统的面向用户的应用程序及其他产品功能提供填充数据。随着时间的流逝，Kafka 的使用扩展到安全系统、低级应用程序监控、电邮、新闻提要以及数以百计的其他应用程序。这些都发生在这样一个大规模要求的背景下：每天都有数以万亿计的消息流经 Kafka，并且数以千计的工程师围绕着它工作。

在我们开源 Kafka 后，它在 LinkedIn 外开始了广泛的传播，在 Netflix、Uber、Pinterest、Twitter、Airbnb 等公司出现了类似的架构。

随着我于 2014 年离开 LinkedIn，创办了 Confluent 后，Kafka 和事件流已经开始引起硅谷科技公司以外的广泛关注，并从简单数据管道转变为直接为实时应用程序提供支持。

如今，全球最大的银行中有一些把 Kafka 和 Confluent 用于欺诈检测、支付系统、风险系统和微服务架构。Kafka 是 Euronext 下一代证券交易平台的核心，用于处理欧洲市场数十亿笔交易。

在零售行业，Walmart、Target 和 Nordstrom 等公司已经采用了 Kafka。项目包括实时库存管理，另外还有电子商务和实体设施的整合。零售业传统上建立于每日缓慢的批处理的基础之上，但是，来自电子商务的竞争已经推动了一体化和实时化。

包括 Tesla 和 Audi 在内的多家汽车公司已经为其下一代联网的汽车构建了物联网平台，把汽车数据建模为实时事件流。他们并不是唯一这么做的。火车、船舶、仓储和重型机械也都开始在事件流中捕获数据了。

从硅谷开始的现象现在成了主流，成千上万的组织都在使用 Kafka，其中包括 60% 的财富 100 强公司。

事件流作为中枢神经系统  

这些公司中的大多数最初采用 Kafka 是为了一个特定用例启用单个可扩展的实时应用程序或数据管道。这种最初的用法往往可以在公司内部迅速传播到其他应用程序。

这种迅速传播的原因是，事件流都是有多个读者的：一个事件流可以有任意数量的“订阅者”，可以对它进行处理、做出反应或回复。

以零售业为例，零售商可能首先捕获单个用例在商店中发生的销售流，比如，加快仓库管理。每个事件可能表示和一次销售有关的数据：售出的商品、售出商品的商店等等。但是，尽管使用可能从单个应用程序开始，相同的销售流对于定价、报告、折扣系统以及数十个其他用例至关重要的。实际上，在全球零售业务中，有数百个甚至数千个软件系统管理着业务的核心流程，包括库存管理、仓库操作、发货、价格变动、分析及采购。有多少个核心流程受产品销售这个简单事件的影响？答案是很多或大多数，因为销售商品是零售行业中最基本的活动之一。

这是采用的良性循环。第一个应用程序带来其关键数据流。新的应用程序加入平台以访问这些数据流，并带来它们自己的数据流。数据流带来应用程序，而应用程序又带来更多的数据流。

其核心思想是，事件流可以作为已发生事件的记录加以处理，并且，任何系统或应用程序都可以实时利用它来对数据流做出反应、响应或进行处理。

这有着非常重要的意义。在公司内部，通常是一团乱麻似的相互连接的系统，每个应用程序都临时与另外一个连接。这是非常昂贵耗时的方法。事件流提供了一种替代方法：可以有一个中央平台，支持实时处理、查询和计算。每个应用程序都可以发布与其业务部分相关的流，并以完全解耦的方式依赖其他流。

为了驱动内部连接，事件流平台充当新兴软件定义的公司的中枢神经系统。我们可以把单独的、以 UI 为中心、离线的应用程序看作一种软件世界的单细胞生物。通过很多这类单细胞动物的简单堆叠不可能形成一个综合的数字公司，就像一条狗不能从一堆没有差异的阿米巴变形虫中创造出来一样。一个多细胞动物有神经系统，协调所有单个细胞成为一个整体，可以对其在任何组成部分中所经历的任何事情做出反应、计划和即时行动。数字公司需要相当于这种神经系统的软件，以连接其所有的系统、应用程序和流程。

这让我们相信，这个新兴的事件流平台将会是现代企业中最具战略意义的单一数据平台。

事件流平台：数据库和数据流必须结合在一起  

（编辑：广州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!