在11月4日的2021腾讯数字生态大会的Techo Day技术峰会上,腾讯云副总裁、腾讯数据平台部副总经理刘煜宏透露,截至目前,腾讯大数据的日实时计算量已经超过200万亿,在线模型训练维度达到1万亿,大数据平台算力1000万核,日离线分析任务数1500万,量级位居国内第一。腾讯大数据和AI继续在国内保持领先优势。

刘煜宏表示:“企业数字化正在全面加速,企业对云服务的需求也在不断增加,腾讯云在大数据和AI领域既要寻求技术突破,又要能把这些技术突破转为产品和服务,让技术真正落地为行业服务,才能让技术产生价值。”

腾讯云副总裁、腾讯数据平台部副总经理刘煜宏

构建企业数据连接器,助力企业更高效挖掘数据价值

随着全球经济数字化转型的加快,企业对大数据的需求也日益强烈,复杂场景、规模成本和数据安全等问题都对大数据业务发展提出了新挑战。比如用户的超大规模数据需要更高的调度性能;元数据、小文件数的膨胀也会带来资源碎片过多存储效率下降、平台规模庞大运维定位复杂等问题。

针对这些痛点,腾讯大数据在技术上实现多个突破,比如借助“自适应计算+数据编排”能力可以屏蔽复杂底层,简化使用,用最优执行引擎解耦计算与存储;“Caelus离在线混部+平台大脑”可以让资源得到充分利用,节省运营成本,通过资源削峰填谷,让平台运行更加智能化;“PowerFL安全联合计算”的3072bit高强度数据加密,则可以在保护隐私的同时实现数据协作。

在技术实现突破的同时,腾讯云也基于自身在大数据的基础产品能力、数据中台能力、数据应用能力,构建连通业务与数据资产的企业数据连接器,帮助教育、金融、政务等多个行业更深入、更高效地挖掘数据价值。

以国内某教育平台来说,在大数据使用时有明显痛点,首先是扩容响应滞后,尤其短期有大量计算资源需求时;其次是资源利用率低,不同时段资源用量存在波峰波谷,在离线计算资源无法灵活调度;并且自建大数据成本高,不仅会为开发、运维带来高成本,技术难度也大。基于此,腾讯云大数据通过云原生混合算力调度,让离在线技术助力该平台成本节约及效能提升。最终,在云原生存算分离技术、云原生混合算力调度技术、云原生分析加速技术的加持下,在线资源利用率提升了100%,固定算力降低了5000核,10分钟计算资源拉起能力也提升至了20000核。

在另一个银行案例中,数据孤岛严重、存储成本高、数据不标准且质量低成为了客户痛点,腾讯云以TBDS为基础的金融数据湖解决方案,帮助客户消除数据孤岛,做好数据治理,让该客户超50家分支机构建设了规模超1000节点的统一的大数据平台,清洗治理的数据量超20PB,提升了数据质量和价值。

刘煜宏表示,腾讯云大数据源于开源,也积极回馈开源。腾讯大数据从2014年就开始开源,目前主导或捐赠了6个项目,为社区贡献超过800万行代码,培养了近100位或PMC或Committer成员。今天,腾讯大数据正式开源Caelus和FireStorm两大项目,把腾讯大数据在在离线混部、计算加速等技术突破的成果与所有开发者分享。

用AI技术为产业赋能,构建开放、可持续的生态

腾讯云大数据通过深耕应用拓展了产业创新的边界,腾讯云AI则正在通过技术突破助力全领域智能,让数字技术与现实世界深度融合。据刘煜宏介绍,腾讯云AI技术如今已经实现了由腾讯优图、AI Lab、WeChat AI、腾讯多媒体实验室、腾讯云小微为技术支撑底座,腾讯云TI平台、腾讯云小微对话式AI平台为开发平台,结合各行业的需求和行业经验,沉淀了工业AI中台、媒体AI中台、政务AI中台等解决方案,为泛政府、泛互联网、工业、企业AI、金融、传媒、出行、家居等不同领域提供行业应用。

目前,腾讯在计算机视觉领域有超过100项原子能力、超过6500个全球专利,发表在全球顶会论文800余篇,专利及论文数量位居中国互联网公司第一,并多次刷新世界纪录。

在语音AI领域也在不断突破。比如腾讯语音智能,业务首创基于DNN全链路方案,可以对于回声消除,声音定位,语音分离,去混响及波束增强进行一体化处理技术。实车测试,在同时存在车外噪声,车内广播及后排干扰人声的复杂条件下,大幅提升语音去回声,降噪,分离整体性能,识别准确率由10%~50%提升至90%以上。云小微数智人则可以实现多模态人机交互,多维度为客户赋能,助力行业客户打造有智能、有形象、可交互的数字分身。

今年8月,腾讯云和生态伙伴慧眼科技联合打造的腾慧飞瞳AI质检仪正式发布。该产品针对目前3C结构件外观检测准确性差、效率低等难题,创造性的采用一站式智能化解决方案,突破制造业外观检测自动化的瓶颈问题,大幅提升检测效率,解放质检人力、优化成本。借助前沿的AI能力,3C零部件制造商富驰高科原来利用人工进行的质检工作,现在借助腾慧飞瞳AI质检仪仅需几秒就能完成对目标零件360度无死角的采图、分析、分类的工作,速度提升10倍,并且在10多台设备持续满载生产的情况下,项目可以每年为富驰节省人力成本数千万元,检测的质量也得到明显提高。

另一个AI技术加持的案例是腾讯云智媒体AI中台,它从“媒体+AI”应用的实际需求出发,依托腾讯内部诸多优秀团队的AI技术与最佳实践,为媒体全业务流程打造应用服务。腾讯云智媒体AI中台覆盖多模态内容结构化、智能转码、超分、老片修复、视频质检等多维度应用,此外,可在平台层提供智能推理、智能训练、算法调度、可视化编排等能力,支持第三方算法、数据、应用接入,方便业务侧的快速创新。使用后,可以让媒体业务系统开发效率提升70%,场景贴合度提升50%,人员操作人效提升60%。

未来,腾讯云将继续打造开放包容大数据和AI生态,携手更多行业合作伙伴,共同建设繁荣的云端应用生态,推动企业数字化、智能化进程。