业界最大数据湖0故障迁上阿里云!数据量达500PB

娱乐 2024-12-25 23:29:33 2

11月6日消息,业界今天阿里云宣布,最大障迁小红书技术团队近日完成了一项业界前所未有的数据上阿数据壮举,将业界最大数据湖0故障迁移至阿里云。湖故

作为中国头部互联网公司之一,云量达小红书月活用户已超过3亿,业界其数据湖存储了过去11年的最大障迁所有原始数据,包括结构化、数据上阿数据半结构化和非结构化数据。湖故

业界最大数据湖0故障迁上阿里云!数据量达500PB

随着业务的云量达高速增长,小红书对在线处理数据的业界需求不断增加,同时离线处理所积累的最大障迁历史问题也提高了切换的难度。

2023年11月,数据上阿数据小红书共有1500人参与迁云项目——计划一年内,湖故把小红书的云量达数据湖搬上阿里云,彼时即便是业界体量最大的案例,也远小于小红书的本次迁移。

2024年5月,项目正式进入双跑阶段,作为切换到正式环境前最后的测试,是稳定性最大的保障。

在这一阶段,团队需要解决的问题数不胜数,每周平均新增500多个问题。

在阿里云团队的全力保障下,小红书技术团队顺利完成了割接,没有发生任何一个P2及以上故障。

2024年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。

本文地址:http://yitwr.ahlulin.com/news/31d80199167.html
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

全站热门

Skip:恩比德不冷静被驱逐了 肯定不是因为文班已经有7个盖帽了

HR赫莲娜上架鸿蒙元服务 引领国际品牌拥抱原生鸿蒙新时尚

伤愈后上演曼联首秀!约罗:百感交集,但终于还是来了

时光倒流?皇马抵达意大利参加欧冠,球迷高呼“C罗,C罗”

时隔一年再遭大伤!Shams:热火后卫德鲁

2025目前最好的家用4k投影仪:当贝X5S Pro高端投影新体验

好签!迈阿密国际世俱杯对手:帕尔梅拉斯、波尔图、开罗国民

中大型mpv大种草 想同时拥有舒适与安全就选上汽大通MAXUS大家9

友情链接