用Apache Kafka和5G校园网建设智能工厂

第四次工业革命（工业4.0）是传统工业制造业的智能化。Apache-Kafka的事件流在可靠、可伸缩和灵活的实时大数据处理方面起着关键作用。本文探讨了Apache-Kafka与电信基础设施的关系，电信基础设施利用专用5G校园网实现工业物联网（IIoT）和边缘计算。

一、事件流与Kafka在离线的边缘

Apache Kafka当下极为流行

不仅在制造业、石油天然气和汽车业等明显的垂直行业。在其他行业，诸如零售、医疗保健、政府、金融服务和能源，利用Apache Kafka运行物联网设备、传感器、智能机器、机器人和互联数据也非常普遍。

本文聚焦于断开连接的边缘，边缘站点需要良好、稳定的网络通信，但不一定需要到远程数据中心或云的稳定和低延迟连接。即使与internet的连接中断，断开连接的边缘也可以连续运行。下面的示例使用了智能工厂，但在许多其他场景中也可以部署了相同的用例，包括餐馆、零售店和医院。

本文不探讨V2X（vehicle to everything）等用例和5GAA的C-V2X（Cellular/5G）等标准的互联优势。V2X以及所有关于移动服务和智能城市的用例将在另一篇文章中探讨。两个主题是非常不同的，例如，因为没有稳定的互联网连接，您（必须）结合使用MQTT和Kafka等标准。这里也存在大量非常相关的用例。

二、5G改变工业物联网、汽车和智能城市的游戏规则

1，公共5G电信基础设施：Verizon、AT&T、T-Mobile等电信运营商。最终消费者可以获得更高的下载速度和更低的延迟。该基础设施将车辆（如汽车）和设备（如移动电话）集成到5G网络（V2N）中。

2，私有5G校园网：这是许多企业最感兴趣的。企业可以使用从5G频谱中获取的5G切片建立具有保证服务质量（QoS）的专用5G网络。企业与电信运营商、电信硬件供应商合作，以及云运营商合作（例如，AWS Wavelength）。该基础设施的使用与公共5G类似，但部署在工厂或医院中。关键是有保证的SLAs、增加的安全性和成本之间的权衡。

3，设备之间的直接连接：通过单播或组播（multicast）将两个或多个车辆（V2V）或车辆与基础设施（V2I）之间的通信互连。由于使用5G侧链通信（5G sidelink）的5G技术，因此不需要网络跳到蜂窝塔（cell tower）。这就产生了新的用例，特别是在关键安全环境（例如，自动驾驶）中，蓝牙、Wi-Fi和类似的网络通信不能很好地工作的情况下。

三、5G用于广域、局域网和个人区域通信

混合5G架构中的事件流

工业4.0需要实时处理大量数据。这非常适合Apache Kafka。Apache Kafka不用于“硬实时”，而仅用于软实时。如果嵌入式系统、PLC和机器人需要零延迟，那就是Assembler或MisraC，而不是Java和Kafka。Kafka非常适合任何端到端延迟为10+ms的用例。这几乎等于所有的IT用例，但不是OT用例。

下面展示了一个高级混合5G架构。它将云计算与安装在智能工厂中的5G校园网中的边缘处理相结合：

注释：

1，大多数企业应用程序，例如基于Kafka的实时定位系统（RTLS），都运行在数据中心或公共云中。他们使用公共5G网络或任何其他稳定的互联网连接。

2，每个智能工厂都有一个专用的5G校园网。5G切片提供有保证的QoS。5G网络有多种部署方案。它们在成本、带宽、延迟、成本和SLA方面都有各自的优缺点。此例中，电信提供商和AWS Wavelength的组合用于启用具有稳定5G处理和计算能力的边缘基础设施，以便在AWS EC2实例中在工厂生产线附近部署Apache Kafka和其他应用程序。

3，边缘站点和中央数据中心或云之间的集成是通过Kafka本地实时技术实现的，如Mirror Maker 2或Confluent的集群链接。这使基础结构和高吞吐量分离，保证了排序、实时复制和开箱即用的错误处理成为可能。这些是关键特征：每个智能工厂都运行着与云端断开连接的任务关键型工作负载。

四、Apache Kafka在智能工厂的边缘与5G校园网

下图显示了智能工厂内的事件流基础设施：

注释：

1，边缘生产线上的所有任务关键型工作负载都可以在没有互联网连接的情况下运行。这包括生产线上的处理和分析，如现场工厂经理的预测性维护或实时仪表盘。基础设施全天候运行，即使该位置处于离线状态且未连接到公共互联网。这不仅仅是数据中心或云的中断！通常，工业物联网（IIoT）中的应用程序故意断开连接，以提供更安全的环境。

2，一些应用程序运行在远程数据中心或云中。他们不断地实时接收来自智能工厂的相关数据。断开连接后，他们滞后了。一旦再次连接，它们就会接收所有滞后的数据并返回实时更新。

3，在本例中，Mojix是Kafka本地的供应链管理服务，部署在云中。显然，如果这些供应链流程对生产线至关重要，那么架构将包括直接、稳定地连接到云（例如，AWS direct Connect或Azure ExpressRoute）或部署在智能工厂中。Kafka允许一个灵活的混合体系结构，应用程序可以生活在从技术和业务角度来看最有意义的地方。

4，供应链是复杂的。它不仅仅包括智能工厂的生产线和MES/ERP/APS系统。与数据中心的企业IT系统集成以及与供应商和合作伙伴的集成是成功的关键。Apache Kafka事件流在许多后现代供应链体系结构中扮演着重要角色。

五、5G是工业4.0中许多边缘和混合Kafka用例的未来

Apache Kafka在以可靠、可扩展和灵活的方式实时处理大量数据方面起着关键作用。这与工业4.0用例的跨行业相关。公共和私人5G网络支持下一代工业物联网、边缘计算和跨垂直领域的实时用例。

在2021年初，尽管已经有企业与电信运营商合作，用5G和事件流构建用例。但我们仍处于5G基础设施的早期阶段。