CDS首云Kafka 消息队列，大数据世界中间件

　　Kafka作为消息队列，现今它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。是现今主流的互联网企业对其网站及数据管理中最常规的部分，包括被查看的内容以及信息、搜索情况等内容。这些数据通常的处理方式是将企业数据输入系统，然后将这些数据进行统计分析，对于各类企业运营数据的统计方法种类繁多。

　　近年来，活动和运营数据处理已经成为网站软件产品特性中一个至关重要的组成部分，我们需要将其系统的，高效的、安全的进行统计，这就需要一套稍微更加复杂的基础设施对其提供支持;

　　CDS首云Kafka 消息队列是基于原生Apache Kafka构建的完全托管业务，可帮助企业轻松构建并运行使用Apache Kafka的应用程序来处理流数据。 Apache Kafka 是一个开源平台，用于构建实时流数据管道和应用程序。借助首云Kafka 消息队列，您可以使用原生 Apache Kafka API 填充数据湖、将所做的更改流式传入和传出数据库，以及为机器学习和分析应用程序提供支持。

　　为什么选择首云Kafka 消息队列？

　　l 开箱即用：首云Kafka消息队列完全兼容开源社区(0.10.0.0及以上版本)，集成Kafka Manager控制台，对集群、节点等进行高级管理操作，基于现有的开源Apache Kafka生态的代码，无缝迁移。

　　l 安全与加密：首云Kafka 消息队列完全使用客户自定义的虚拟数据中心进行网络配置与隔离，轻松通过公网IP和带宽设置连接到首云的Kafka 消息队列，支持基于TLS的证书身份验证和传输过程中的数据加密，保证企业数据安全。

　　l 高扩展性：首云Kafka 消息队列支持集群水平扩容，真正意义的实现无缝升级配置，不需要改变代码，根据业务规模进行弹性伸缩，对上层业务毫无影响，同时支持单盘100GB-4T的容量，适应企业变动的存储需求。

　　l 全托管服务：首云Kafka 消息队列支持按业务需求进行横向调整集群的节点规模，且期间业务不中断;

　　支持对分区进行扩展，且业务不中断，只需在首云控制台单击几下，即刻创建完全托管Apache Kafka集群。

　　l KafkaManager集成：首云Kafka 消息队列集成开源Kafka Mamager服务，保证企业在使用过程中轻松管理和监控Apache Kafka集群，提供对Topic、Partitions的可视化管理。

　　l 监控与警报：首云Kafka 消息队列提供核心链路运行时巡检，集群健康扫描，实例、消息堆积等多维度监控与告警设置。

　　应用场景——电商平台

　　电商平台每天都会产生大量的日志(一般为流式数据，例如搜索引擎、查询等功能)，相较于日志为中心的系统，比如Scribe或者Flume来说，Kafka 消息队列在提供同样高效的性能时，可以实现更强的数据持久化及更低的端到端的响应时间;将多台主机或应用的日志数据抽象成一个个日志或事件的消息流，异步发送到Kafka 消息队列，大幅度降低响应时间，同时可批量提交消息和压缩消息控制企业云主机的性能开支;企业可通过使用Hadoop和Strom、Spark等实时在线分析系统对日志进行统计分析。

　　首云Kafka消息队列通过构建应用系统和分析系统的桥梁，将应用系统之间关联解耦，支持实时在线分析和离线分析系统，为电商企业的用户行为进行统计分析，减少电商平台运营成本，实现可视化集群完全托管。