火山引擎ByteHouse助力中国地震台网中心,快速构建一站式实时数仓
近日,中国地震台网中心与火山引擎达成合作,双方将围绕ByteHouse实时数仓展开合作。
中国地震台网中心为中国地震局直属事业单位,是我国防震减灾工作的重要业务枢纽、核心技术平台和基础信息国际交流的重要窗口;从事地震监测、预报预警、应急响应和信息化工作,是统一指导省地震台、中心站业务的国家地震台。
中国地震台网中心地球物理台网部负责人邹锐主任表示,此前中心一直使用开源数据引擎ClickHouse,但随着数据量不断扩大,在数据的实时写入去重,数据的更新、删除以及集群运维方面存在严重不足,因此亟需找到新的解决方案。
如何在保持高性能查询的情况下完成数据的实时写入去重数据更新以及删除,一直是ClickHouse用户比较头疼的问题。以中国地震台网中心为例,中心日常在处理海量数据时,由于开源Clickhouse的去重延迟导致数据的准确性降低,同时随着元数据的不断增长,导致集群的重启时间过长,进而影响业务的时效性。
字节跳动在2017年就开始大规模启用ClickHouse,并拥有着国内规模最大的ClickHouse集群。在深度使用的过程中,字节跳动积累了大量经验,并对ClickHouse做了深度优化与自研改造的工作,最终在2021年8月正式发布ByteHouse,并通过火山引擎对外服务。
架构上,火山引擎ByteHouse采用自研的高可用引擎HaEngine,数据实时更新、删除的HaUnique引擎,以及高可用实时写入的HaKafka引擎,同时在集群的运维和多表关联的场景都做了相应的增强。
在上述提到的实时数仓场景下,ByteHouse使用全自研的优化,在复杂查询的场景下具备更高的查询效能,丰富的表引擎不仅能帮助地震台网中心实现数据的快速写入去重、更新、删除与分析,还能支持高效方便的运维方式,实现高性能更灵活的实时查询。
作为一款云原生数据仓库,火山引擎ByteHouse也可以私有化部署,为像中国地震台网中心等面临海量数据实时分析场景的政企用户们,带来极速的分析体验,助力企业数字化转型。(作者:马梓)
相关文章
- 点赞!君润人力灵活用工新举措获《经济日报》专题报道
- 餐饮市场实现2023“开门红” 送餐机器人春节不打烊
- 《基于深度学习的目标检测综述》论文获发表
- 什么样的设备标定方案,能使汽车氛围灯颜色测的更准?
- 北京知识产权法院宣判:今日水印相机App胜诉,打卡相机App开发人员被判侵权
- 重磅!华云数据获得商务部、工信部联合授予的“国字号”荣誉
- 2023高亮度的家用投影仪推荐,当贝X3激光高亮白天效果俱佳
- 新春开学秀 学生专注力up必备用品 飞利浦K4607儿童骨传导耳机
- 三四千的投影仪到底应该怎么选?
- 电视和投影仪哪个更适合家庭用?看懂这篇新手小白也会选
- 2023情人节礼物怎么选?情人节送女友礼物攻略 站在巨人的肩膀上送礼肯定错不了
- 投白墙效果好的投影仪有哪些,当贝D5X身材虽小、性能不凡
- 零零信安:2022数据泄露事件点评,政治和商业数据泄露或将成未来重灾区
- 孤影携手小鲁班开启《蛋仔派对》之旅,爆笑操作上演人生三大错觉
- 情趣智能科技品牌Lovense爱感:采用最稳定蓝牙芯片技术,弥合远方的情人之间的鸿沟
- Lovense爱感Flexer入蜜上市|首创抠动震动双功能情趣科技,重磅亮相