网络十大赌场网站   网络十大赌场网站   世界网络十大赌场网站
当前位置:网络十大赌场网站 > 世界网络十大赌场网站 > 详情
世界网络十大赌场网站列表

腾讯存储技术背后的十五年去事

时间:2020-11-12 13:25来源:http://www.tokyo-singverein.com 作者:网络十大赌场网站 点击:

作者:王德清

出品:雷锋网产业组

序言:数据 " 横走 " 的今天,用来存储数据的编制至关主要。而一个大型存储编制,从酝酿到诞生再到成熟,并不是一件浅易的事情。

腾讯行为国内领先的外交巨头公司,不光在 2006 年自研了 TFS 等存储编制赞成了其内部 90% 的数据存储营业,在面向 To B 营业,腾讯在 2018 年又自立研发了面向云场景的「YottaStore」存储编制,存储编制要换代,数据迁移是不走避免的,对腾讯这般体量的公司来说,必要莫大的勇气。

契机之下,雷锋网与腾讯存储团队 6 位老兵睁开了一次深度对话,还原腾讯存储编制变革背后的那些故事。

这总共要从 2006 年最先说首。

彼时,互联网走业正处在外交化浪潮中,腾讯还并非是现现在这般周围的外交巨头,固然手握 QQ 如许的爆款产品,但在 SNS 刚刚崛首的时代,谁都无法保证能够乐到末了。

也就是这一年,QQ 空间行为一款定位于 " 展现自吾和与他人互动的平台 ",被腾讯推了出来,一路先数据外现出乎预料的好,用户迅速添长,活跃度很高,甚至收好也超出预期,但竞争也随之最先了。

就在 QQ 空间发布没过众久,靠炒房赚得第一桶金的庞东升决定回到互联网不息冒险,他以 100 万元人民币收购了张剑福创办的幼我数据库公司 10770。在稍稍弄清新 SNS 是怎么一回过后,庞升东决定将 10770 改造成互动外交型的 51.com。

在庞升东的心中,51 的伪想敌只有一个,就是腾讯的 QQ 空间。

只要腾讯出什么新花样,51 在一个月内必定跟上。更可怕的是,在 2006 年的大无数月份,51 的用户添长数一向在 QQ 空间之上,这让腾讯专门主要。

"QQ 空间 " 保卫战势不容缓,而这场保卫战第一战,拼的是 " 技术 "。

上线即 " 王者 "

2006 年,刚接手 QQ 空间的负责人听到的都是投诉的声音:「QQ 空间无法掀开」;「照片下载速度很慢」……而经过测试,掀开一个空间,必要 5 秒钟。

而要解决这些题目,最先要解决的就是存储这个底层技术。

"2006 年,吾博士卒业来到腾讯的时候,腾讯还异国联相符的存储产品或者技术平台,基本上都是各个营业本身去做一个存储的编制。" 腾讯云副总裁、云架构平台部总经理谢明对雷锋网说到。

QQ 空间登录页

据腾讯 2006 年吐露的数据表现,QQ 空间上线 3 个季度,注册用户数就突破了 5000 万,月活跃用户数约 2300 万,日访问人数也已经超过 1300 万。

当时候,QQ 空间的存储编制仅能赞成所有用户每天共上传 1000 万张图片,隐微,面对用户赓续不息的添长,仰仗此前不息购买存储服务器的手段来进走扩容,其速度是无法跟上用户内容的添长速度。

这些赓续添长的 UGC 数据无疑将会给腾讯存储带来重大挑衅,而倘若无法突破这个挑衅,QQ 空间第一战的效果也就难说了。

而这个挑衅被一支刚刚成立的团队接下了。

一支被腾讯主要创办人之一、前 CTO 张志东称之为 " 黄埔军校 " 的团队。这支团队成立的第一个义务就是解决 QQ 空间发展所带来的存储题目,其第一任主帅就是现任腾讯公司高级实走副总裁卢山。

而摆在这个刚刚成立团队眼前的难题,并不亚于愚公家门前王屋、太走两座大山。

技术人员都是有梦想的,他们期待用技术来解决总共,亦或是他们能够参考的只有 2003-2004 年 Google 发布的关于三大件(BigTable、GFS、MapReduce)几篇比较著名的论文。

"GFS 算是最早期的企业级存储转向互联网大周围廉价分布式存储比较早期实践。当时候吾们决定去做一个存储编制,吾们当时取名叫 TFS。" 谢明回忆道。

借鉴 Google 的几篇论文,在团队成立的第二年,TFS 存储编制就上线行使,并周详接管 QQ 空间的相册营业。

再回到产品册遇到用户投诉,空间团队请求技术人员制作一张全国地图,凡是掀开速度高于 5 秒的被绘成红色,3 秒到 5 秒之间为黄色,矮于 3 秒的被绘成绿色,地图制作出来后,挂在墙上,行家望到的是 " 故国江山一片红 ",其中,尤以西北、西南和东北地区的颜色最深。

只有一个基础的 TFS 存储编制隐微是不足的。

" 从技术角度来说,图片都是百 K 旁边的幼批据,相比大尺寸的数据来说,这栽存储由于索引浓密度更高,带来的技术挑衅要大许众,一是要解决索引和数据尺寸融合的空间题目,二是要解决大周围下的成本题目。"

于是存储部分按照营业场景的演变,先后推出了正当各栽分别图片存储场景的存储编制,如声援实时回收的 CTFS 编制、声援高频迅速访问的 HTFS 编制、声援 EC 编码的 BTFS 编制、基于 HDD 的键值对 TDB 存储平台等。

就如许,技术团队一块一块地啃,在地图上,绿色和黄色一点一点地增补。花了差不众一年的时间,到 2007 年岁暮,一张绿色的中国地图终于出现在行家的眼前。此次速度优化上的闯关,为 QQ 空间日后流量的倍级添长挑供了至关主要的保证。

另一座 " 大山 "

但在 2009 年,另一座大山挡住了 " 去路 ",带宽不足了。

" 当时所有的数据中间都是在深圳。当时的主干网带宽跟现在实际上不及同日而语,是很幼的,QQ 相册高峰时占用 40-50G,而 1G 的流量对公司的网络就已经是很大的义务了。QQ 空间用户添长带来大量的数据让吾们基本上把整个华南地区的主干网消化完了。"

摆在谢明他们眼前的也就只有一条路了:启动相册一通点等项现在,将海量营业数据从深圳向西安、杭州、广州、上海等地分布,访问带宽同时调度到天津、南京、东莞等成本更矮的一通机房。

" 吾记得搬第一个设备是 100T,现在望来 100T 不大,但那是腾讯历史上最大的一次数据搬迁了。"

当时,异国数据中间专线网络可供腾讯行使,因此,谢明与团队其他成员在子夜经过用公网出口把数据一点一点地 " 搬到 " 了西安等地。

而在做数据分布搬迁的过程中,自身也在同步迭代演进。TFS 从 3 份存储演进为同时声援 1/2/3 份数据的众副本存储;CTFS 从 2 份存储演进为同时声援 2/3 份数据存储。TSSD 平台也从仅声援单机独享的 Uin-Value 定制存储演进为声援众租户的通用 Key-Value 存储。

就如许 QQ 空间在 TFS 存储编制的赞成下,乐到了末了。(51.com 被 QQ 空间击败,转型做了游玩代理,之后逐渐衰退。)

2009 年腾讯存储团队相符影照片

也就从 2009 年之后,QQ 空间的收好大幅增补,成为排在网络游玩之后的第二大收好贡献部分,黄钻收好在 2010 年达到峰值,也因此 QQ 空间获得 2009 年度的腾讯相符作文化奖。

此后 QQ 空间的相册日上传照片数不再受限(用户体验到的受限是腾讯产品部分策略),其照片累计存储量也众达数万亿张。

TFS 存储编制也逐渐最先为 QQ、微信、邮箱、微云、流媒体添速等挑供存储服务,现在已经赞成首腾讯 90% 的数据存储营业。

微信带来的 " 冲击 "

倘若现在回忆 2014、2015 年的互联网公司的竞争,能够许众人都会想到当时春晚的红包大战。

可让谢明他们万万没想到的是,给 TFS 存储编制带来下一个压力的节点竟然会是移动互联网时代的微信好友圈。

"PC 互联网时代的竞争其实异国那么强烈,还在吃人口盈余,创业公司也并异国那么众,行家觉得日子都照样很好过的。"

从腾讯发布的财报表现,截止 2014 岁暮,微信月活跃用户达到 5 亿,就是这些迅速添长的用户让存储团队感受到了史无前例的冲击。

这里要说一下存储编制在微信中的主要作用,微名誉户在给好友发送图片、视频等文件,甚至发红包的时候,最先这些文件要存储在腾讯公司的存储服务器中,而好友在望这些图片和视频文件的时候,实际上他们是读取了吾们存储在腾讯服务器的上的内容。发好友圈亦是如此。

2014 年,随着 4G 网络的广泛,微信得以推广,QQ 也能够用手机登录,因此,在春节,微信和手机 QQ 成为了人们送祈福的主要平台。

" 比如在除夕,行家都会到好友圈去送祈福、发照片、晒年夜饭等……在 2014 年的除夕,让吾们感受到了压力。" 腾讯云架构平台部技术运营与质量中间总监高向冉如是说。

用户在除夕的 0:00-0:30 分之间都在用微信去给亲友发送春节祈福,这对腾讯的存储服务器的读写能力带来了很大的挑衅。

微信掀开页面

必要科普的是,为了限制存储的成本,存储服务的磁盘容量其实是不息变大的,但读写能力并异国随着磁盘容量的变大而升迁,实际上单 GB 的读写能力是成倍消极的。

这背后其实,就是在遇到高并发(用户在联相符时间点发新闻 / 好友圈)情况下,当时的腾讯存储服务器的读写能力是无法已足几亿用户高并发行为的,用户的直不悦目感受就是你的新闻对方无法及时望到,你也能够无法及时收到好友发给你的微信 / 好友圈。

因此,存储团队说相符微信产品团队最先在各个层面制定了有关的软性策略,保证用户能够及时的将新闻发出去并能被望到,而新闻的存储落盘在 30 分钟内完善。

而在落盘的过程中,必要存储团队经过技术将磁盘的读写能力盛开到极致。

" 压力其实是挺大的,由于你中间一旦有什么题目,风险照样很高的。"

而在之后,如许情况也并不光是在春节的时候发生,不论是哪家公司筹谋的运动,行家都会来微信好友圈来 " 晒 "。

" 许众时候,友商运动策划做的是否完善,吾们能够‘检验’的,而检验的按照就是某暂时间段节点给腾讯存储带来的压力。由于微信的营业太大了,一个运动产生了爆点,就会额外给吾们存储带来很大的压力,由于用户所有分享在好友圈的图片和内容最后是要存储在吾们数据中间的。"

得好于 2014 年春节期间的经历,腾讯存储团队在春节过后就最先针对这些 " 爆点 " 制定了软性策略。

2015 年春节,微信与央视相符作,为不雅旁观春晚的微名誉户发红包,也让微信的用户量迅速添长,除夕早晨零点的好友圈等存储场景也达到了数十倍的添长。

2016 年腾讯存储团队春节值班零点后留影

" 微信是一个要出海的营业,出海其实给吾们带来了许众挑衅。"

说这句话的是现任腾讯云架构平台部编制研发中间总监郭振宇:" 微信出海是有一些竞争对手,稀奇是在东南亚有 LINE,还有 WhatApp,东南亚的人和本身国妻子进走数据疏导的链路很长。"

隐微,这是不幸于微信抢占海外市场的。

行为公司营业的声援方,吾们在存储上面要协作微信团队做更定制化的服务,由于微信也是腾讯主要战略营业,因此当时吾们团队为微信做了许众存储有关的营业编制。

郭振宇接着说:" 比如怎么样让图片传输更快,吾们在全国竖立了许众接入点,用户数据只必要传到近来的地方,国外只传到国外数据中间,腹地也只需传到腹地数据中间。"

而这总共,其实对于存储团队来说,都不再是什么难题。

来自外部的 " 挑衅 "

云计算的发展,让许众厂商都瞄向了 To B 的营业,腾讯云亦是如此,但这又何其容易?

集团层要制定大的战略,事业部要具有 To B 的思想,技术上也必要具有 To B 的认识。

但腾讯的存储部分却在此走了一次 " 曲路 "。

腾讯云副总裁、云架构平台部总经理谢明

" 说到腾讯云,其实在 2012 年腾讯盛开平台就已经最先做云了,但是盛开平台跟现在的腾讯云并纷歧样,盛开平台时候,吾们和相符作友人对接时吾们是资源方,由于你要用 QQ、QQ 空间的资源。但是到后来腾讯云做 To B 服务的时候,这时候要靠本身的实力去表明吾们是专科的。" 谢明如是说。

此时,声援腾讯本身营业的 TFS 存储编制等,已经成熟且安详。在腾讯望来,将 TFS 存储编制进走一次产品包装后也能服务好外部第三方营业。

谷歌其实就是这么做的,现在,Google 的云存储产品 GCS 竖立在 ColossusV2 的根基上。ColossusV2 是典型的元数据 Federation 架构的分布式文件存储编制,说白了 ColossusV2 就是 Google 由 GFS 存储编制改进优化而来的。

" 但 Google 的 GFS 存储编制是诞生于云计算崛首之前。" 现任云架构平台部存储研发中间总监杨奋强接着说:

当时候扁平式的对象存储场景不像今天如许雄厚清亮,因此分布式文件编制管理的单位是文件,过众过幼的文件会导致元数据管理爆炸,因此主要面向几十 M 的大文件,如许一个百字节的元数据能够管理几十 M 的大文件,元数据单字节管理效果也许百 K 级别,冗余的现在录树隐微对对象存储场景是有余而且矮效的。

而此时,又有几个题目摆在了腾讯云存储产品团队和存储技术团队眼前:

云计算迅猛发展,走业竞争的日好强烈,客户可选择面较大,对功能、性能、质量、价格等方面的需求不息添强;

从自身近况来说,数据量的不息添大,随之带来软硬件成本、运维成本、优化成本的日趋添大;

走业下游的基础设施,如大型数据中间、新机型、新硬件、各栽存储介质、网络环境的不息发展演进。

在这个现象下,2017 年,腾讯存储部分决定要做一个新的存储编制,一个更正当云计算的 Blob 存储编制。

着眼于异日

" 最先吾们想的名字是 BlobStorage。"

杨奋强乐着对雷锋网说:"Blob 的有趣是一大块不息的二进制数据,像一个视频文件就是一个 Blob 数据,Storage 的有趣是存储空间。"

隐微,这十足是行家印象中程序员的 " 平常操作 ",但异国获得谢明的赞许。

最后存储编制的名字被确定为「YottaStore」。

" 吾们是做存储的,每天打交道的词汇比如说 GB、TB、PB、EB、ZB,而在 ZB 上面是 YB,也就是 YottaByte,现在全世界所有的数据添首来也不超过一个 Yotta。" 杨奋强接着说。

" 另外这个单词又朗朗上口,中文译名‘有他’,给人坦然郑重坦然的感觉,吾们在内部的分享课程,就是‘存储有他,能力无限’。"

而这个名字,也代外了腾讯存储部分的野心,这个存储编制的理论峰值是 YB。

" 吾们现在一个集群能够存储 1ZB 的数据,倘若是 1000 个如许的集群,那吾们就能够存储一个 YB 的数据。" 杨奋强很自夸的说。

回到重做一个存储编制的题目上,为何腾讯会做出如许一个决定?

" 吾们以前将内部营业上云的时候,TFS 编制赞成吾们内部营业的海量数据都是没题目的,声援外部营业自然也异国题目,但吾们要把现在光放到十年以后。" 谢明如是说。

但原形上,重新自研一个存储编制不是一件容易的事情。

再以谷歌为例,为什么谷歌不做一个正当于 GCS 的云上的 Blob 存储编制?其实 Google 也深谙 ColossusV2 的题目,在几年前,谷歌就组建了一个二三十人团队去做这件事,但最后却不了了之。

由于营业驱动着技术的变革,腾讯选择了 Google 异国成功的那条道路,YottaStore 在 2018 年最先了研发,并于 2019 年正式上线。

"YottaStore,吾一向说它是一个云数据存储编制,这跟现在业界绝大无数公司的做法是十足分别的,它的上风也是很清晰的。"

杨奋强介绍说:"YottaStore 的极限是一个集群能够管理超上千万台服务器,而要管理这上千万台的机器,吾们原数据管理只必要用 600G 旁边的空间,用一台机器就能存下所有的索引组织,管理上千万台的存储节点服务器,这在业界是绝无仅有的。"

此外,杨奋强外示,YottaStore 一个集群能够同时声援各栽分别的冗余模式、肆意的 EC 编码,同时,集群能够自适宜各栽各样分别的机型;对于存储节点的升级,不论集群周围众大,YottaStore 都能够在 20 分钟内完善一个集群的升级。

更令腾讯存储团队傲岸的是,YottaStore 最先上线大周围赞成营业的前三个月一向维持百分之百的可用性,而现在编制仍实现单人值周零故障运走。

"YottaStore 存储编制上线之后,一逆清淡编制上线后的主要忙碌的状态。就在编制上线的第二天,吾们研发团队怀着无比轻盈的情感去吃了一顿人均 500 众的自立餐,来犒劳本身。"

杨奋强乐着对雷锋网说道。

用户最为直不悦目感受的就是,基于 YottaStore 存储的腾讯云 COS 存储的最矮价格为 1 分钱 /GB/ 月,而其数据持久性达到了 99.999999999%(11 个 9)以上。

YottaStore 上线后即获得了腾讯公司级的营业突破奖。

而现在,基于 YottaStore 存储编制的腾讯云对象存储 COS 平台,正在为快手、OPPO、幼红书、海康、猎豹、58 同城等几十众万个企业客户挑供了郑重的存储服务,团体数据量高达 EB 级别。

腾讯内部的 " 黄埔军校 "

从各栽渠道的新闻来望,关于腾讯这支存储团队的报道少之又少,但其实在内部,这支团队被称之为腾讯的 " 黄埔军校 "。

现任腾讯云架构平台部研发中间总监朱建平也曾是这其中的一员。

" 存储部分走出了许众人去负责许众其它倾向的技术研发。比如做 FPGA 异构添速的,做医疗 AI,做视频编解码,同时还从这个团队内里不息孵化出创新营业。"

朱建平接着说:" 吾们内部说存储部分是行家的摇篮,分布式存储平台,编制设计也好,照样运营等各个维度,面临的题目比较众,存储部分稀奇能锻炼人,因此以前清淡都是最好的卒业生放进来,然后这儿能力成熟了以后,徐徐又分流到其他战场去。"

据雷锋网晓畅,现在腾讯 AI、服务器、运管、研效、搜索、CDN、视频编码等许众周围的带头人都是从存储团队出来的。

而也正是如许的一个团队,在为腾讯稳定筑建着技术的根基。

Powered by 网络十大赌场网站 @2018 html地图

Copyright 365站群 © 2013-2021 版权所有