来源如何设计灵活的信息架构以适应变化：IoT Now

　　作者：Vladimir

　　物联网智库 编译整理

　　转载请注明来源和出处

　　------ 【导读】------

　　面对海量数据，一个好如何设计灵活的信息架构以适应变化的解决方案应该具备以下四项特点：灵活的架构、实时批量处理、快速的数据访问和低延迟、节省带宽以降低成本。

　　有知名市场研究人员预测，到2020年，联网设备将超过200亿。随着海量联网设备产生了大量的数据，情况正在发生改变，社交网络数据所占的比例将越来越小。

　　因此，企业需要确保未来的数据管道足够强大，只有这样才能应对预测中的数据量。

　　但是，只要强大的数据管道就够了吗？显然不是，毕竟未来的数据体量大的惊人，所以还需要拥有足够的灵活性以应对不断变化的业务需求。基于此，我们列出了一些重要的考虑事项...

　　灵活的架构

　　“设备就绪”架构的主要目标是提供一个全新的架构，借助该架构能够将传统企业系统与设备绑定，并且在这个架构中，数据将被定位为一流“公民”。

　　——Hazelcast的产品经理VladimirSchreiner

　　使用这种架构，来自设备的数据以连续的事件流的形式进行传输，确保授权和过滤，并将处理好的数据提供给企业系统。

　　实时批量处理

　　事件流管道的主要挑战之一是处理规模数据时的处理速度，因此，所采用的解决方案必须能够持续处理大量的数据，同时确保在完成端到端传输时能够实现低延迟。

　　在某些物联网系统中，对于数据流的延迟比较敏感，随着时间的流逝，这些数据原有的价值有可能受到影响，所以必须保证这些数据能够及时进行处理。然而，遇到需要立即处理的警报，数据分析师无法在数小时甚至数分钟内做出反应，遇到问题也无法及时做出报告。

　　为了实现近乎实时的操作，流数据必须在传输的过程中同时完成一部分处理bwin·必赢。从流摄入的角度来看，这基本相当于：

为确保足够的安全性，对设备和事件进行授权以及过滤

设备状态更新

消息格式转换/标准化

　　预处理事件被引导用于下游处理，这也就意味着流处理单元必须执行动态分析和异常检测，这也等同于：

搜索复杂事件以检测异常并触发警报

计算统计数据

根据机器训练的模型匹配流数据

　　为了实现这一切，一个强大的解决方案必不可少，流处理引擎必须能够应对大负载的情况，即使处于流峰值状态下（集群必须具备一定的弹性才能够适应当前负载），并保证低延迟。

　　快速的数据访问和低延迟

　　虽然处理单元的速度非常重要，但是其最终目的是实现端到端之间低延迟传输，即从设备发出信号到对此事件作出合理的相应。因此，如果没有合适的设计，数据在在管道中进行传输以及在存储时就会遇到瓶颈。

　　因此，当存储和处理冲突时，数据模型必须仔细设计并具有以下功能：

处理新的数据集，如设备注册或数据富集存储

用于发布和更新结果的操作存储

用于在数据流水线单元之间传递数据的消息传递工具

　　为了实现这一切，内存数据网格（IMDG）是一个很好的契合，因为它本身性能优越，能通过形成存储集群来解决存储问题。此外，当价值有所改变时，它可以通过传输反应性访问模式来通知分析人员。因此，在处理期间，它可以用作大数据集的高速缓存，同时为经常使用的数据形成内存数据湖。

　　节省带宽以降低成本

　　通过边缘处理，即在靠近数据源的地方进行处理以减少现场和数据中心之间的数据流。数据流可以在发送到数据中心之前进行聚合和过滤，从而降低传输成本。尤其是在每秒千兆字节的数据流的情况下，让流量尽量减少将是重中之重。换言之，流处理技术必须是轻量级的。

　　案例：Hazelcast Jet解决方案

　　该方案易于部署，是内存中流式传输和快速批处理引擎，也是IoT数据管道的构建块。它用于处理需要低延迟且数据量大的情况下。此外，其灵活性足以进行边缘处理，服务器端流处理以及随后的数据暂停批处理，它与可扩展的内存存储层 -Hazelcast IMDG集成在一起。其适用于需要近距离实时体验的应用，例如IoT架构（房屋恒温器，照明系统），店内电子商务系统和社交媒体平台中的传感器更新。

　　往期热文（点击文章标题即可直接阅读）：

《物女心经|云计算讲不下去了，物联网漏洞泛滥了，新的救世主出现了》

《物女心经|物联网的这块雷区，如何设计灵活的信息架构以适应变化你们不踩我来踩》

《物女心经|IAI这片处女地隐藏着中国制造业转型投资的最大机会》

《物女心经 | 新三板创新层竟然“窝藏”了这么多物联网公司》

《物女心经|GE、西门子、KUKA、罗克韦尔，已打响2017工业物联网生态战的第一枪》