电话

020-89669333

中国联IM电竞 app通智网创新中心自主研发海量网络数据加工软件

标签: IM电竞官网 IM电竞在线入口 IM电竞 2024-07-05 

  中国联通智网创新中心是中国联通自主研发网络创新产品、赋能网络运营转型、催化网络能力增值的研发机构,中心坚持以创新为核心价值观,以客户为中心、以产品为主线、以价值为导向,打造数智化、集约化智慧网络中台,强网络能力之基;建设集约化、数字化网络智慧运营平台,固网络运营之本;构建专业化、规模化网络创新研发体系,守网络研发之正;打造差异化、价值化网络创新产品,创网络产品之新。

  党的二十大报告中明确提出“坚决打赢关键核心技术攻坚战”要求,为我们做好网络创新研发工作指明了方向。智网创新中心贯彻落实党的二十大精神,深入推进集团公司“1+5+9”战略规划体系,以党建为引领,围绕中心主责主业,识别核心技术“卡脖子”点,寻求自主研发能力的突破,通过党建与研发生产的深度融合,打赢关键核心技术攻坚战,不断提升中心的核心竞争力和可持续发展能力,既是党的二十大精神学习的落脚点之一,也是党的二十大精神学习的最佳实践之一,更是落实公司新定位、新战略的职责所在。

  以网络数据处理技术应用为例,通过智能分析和挖掘用户使用业务感知、设备信息、网络质量等海量数据,提炼价值信息和规律性模式,不仅有助提升运营商的服务质量、商业决策、安全防护效果,也可以为政务、金融、新零售等多个行业提供高价值大数据产品,为行业数字化转型赋能。

中国联IM电竞app通智网创新中心自主研发海量网络数据加工软件

  但网络数据的加工处理技术长时间掌握在第三方厂商手中,第三方厂商只关注既得利益、忽视技术创新,致使中心需要投入大量成本、维持技术相对落后的数据加工处理软件,成为制约中心提升核心竞争力的“卡脖子”点之一。

  面对这一困局,中心党委聚焦核心竞争力提升,结合自身资源禀赋,克服人员不足困难,组建党员为主的先锋团队,瞄准海量网络数据加工平台、网络数据加工软件两大关键领域,开展自主研发,努力实现高水平科技自立自强。

  在网络数据加工平台领域,先锋团队基于全开源大数据生态体系打造统一大数据基础底座,具备独立自主、开源开放、存算分离、批流一体的优势。通过将领先的大数据技术和丰富的最佳实践相结合,提供了多项核心功能,实现了对网络全域数据的集中采集、存储、加工、分析,面向全国一点提供网络数据服务,构筑起联通网络创新与数字化运营转型的坚实基座,并进一步激发大数据在更多行业应用的巨大潜力。

  在网络数据加工软件领域,先锋团队基于全开源、存算分离的自研数据处理基座,构建海量网络数据高时效批流一体加工,完成完全自主可控的海量数据加工软件研发,并实现7大技术创新。

  1、打造分层IM电竞,IM电竞在线化、模块化、工程化加工程序:沉淀公共代码,以及不同加工任务共用的代码逻辑,避免重复造轮子,有效提升开发效率和代码质量;

  2、创新小文件优化策略:文件数量减少80%以上,大大降低NameNode压力,提升HDFS性能,增大数据保存周期;

  3、创新维表关联方法:采用优化后的“预加载维表关联”方法,维表对象内存占用降低90%,算子对外部数据库的查询连接数减少90%;

  4、创新源数据接入方法:基于消息通知机制数据源接入方法,减少数据源接入时延(时延下降50%),降低文件系统压力,增强系统鲁棒性;

  5、实时数据质量控制:保留现有技术方案灵活性和扩展性,减少数据IM电竞,IM电竞在线质量控制链中流转总字段数,简化数据质量问题记录收集操作;

  6、自主掌控指标算法:自主完成一整套DPI数据仓库1300多个指标算法设计研发,完善公共数据资产;

  7、任务实时自动调度:构建加工活动依赖关系,实时自动调度,大大提升业务和任务的执行效率,离线小时。

  通过上述技术创新,相比第三方厂商,处理同样数据,时延更低的情况下,节省服务器资源30%。其间攻克BlockMissing、Application is Still in NEW、Yarn Scheduler调度Container分布不均衡、集群各机器CPU和磁盘实际使用率不均衡、亿级QPS数据实时入库、Flink Checkpoint不稳定等10余项技术难关,并获得行业认可:

  为抗震救灾、防汛抢险、司法矫正、反欺诈等场景,供给高质量、低时延的位置数据能力,支撑国家部委及政府工作,履行央企责任。

  对内面向公司数字化转型需求,向全国提供全量用户实时信息、实时触发服务能力,以及流式数据统计和8000种以上的数据资产服务,广泛应用于建设、优化、客服、营销等各类运营场景。

  未来,中国联通智网创新中心将坚持自主创新,持续瞄准大数据、云计算、物联网等技术前沿,研发网络创新产品、赋能网络运营转型、催化网络能力增值,打造全球领先的技术研发与服务平台,面向全联通、面向全行业提供互联网及信息服务,提升产业供给能力和行业赋能效应,助力数字经济高质量发展。(刘IM电竞,IM电竞在线子瑞)

推荐新闻