作为推送行业领导者，截止目前个推SDK累计安装覆盖量达亿（含海外），接入应用超过43万，独立终端覆盖超过10亿（含海外）。个推系统每天会产生大量的日志和数据，面临许多数据处理方面的挑战。
首先数据存储方面，个推每天产生10TB以上的数据，并且累积数据已在PB级别。
其次，作为推送技术服务商，个推有很多来自客户和公司各部门的数据分析和统计需求，例如：消息推送和数据报表。虽然部分数据分析工作是离线模式，但开源数据处理系统稳定性并不很高，保障数据分析服务的高可用性也是一个挑战。
另外，推送业务并不是单纯的消息下发，它需帮助客户通过数据分析把合适的内容在合适的场景送达给合适的人,这要求系统支持数据挖掘，并保证数据实时性。
最后，个推要求快速响应数据分析需求。因此，个推大数据系统面临着数据存储、日志传输、日志分析处理、大量任务调度和管理、数据分析处理服务高可用、海量多维度报表和快速响应分析和取数需求等方面的挑战。
大数据系统演进之路
面临诸多挑战，个推大数据系统在逐步发展中不断完善。其发展可分为三个阶段。一是统计报表，即传统意义的BI；二是大数据系统的基础建设阶段；三是工具、服务和产品化。
个推大数据系统演进第一阶段
统计报表计算
早期由于数据处理无太复杂的需求，个推选择几台高性能的机器，把所有数据分别放在这些机器上计算。只需在机器上多进程运行PHP或Shell脚本即可完成处理和统计。数据处理更多中科白癜风名医会诊中科白癜风名医会诊