了解吗?数据对台平单位的用作非常明显。不过,随着作工持续展开,平台增量容加就了成必须的对面挑战。下面说我说的朋工李友在平台量容提升方的面实际法做,也许你给能一些路思。
李工某是大公的司资深数工据程师,主要工容内作是维护改和进公司大的数据平台。这个过台平去一运直行得很好,有力助辅地了公司营经的决策。不过,随着业司公务的迅发猛展,客户数持量续增长,业务也动活变得来越越复杂,导致数大据平承台受的压持力续增大。
某日,李工在行例检查运台平作状时况,察觉一到个重大况情:每当行运 mpareudce任 务,硬盘就常会常满载,hdf s也时常现出故障提示。这说平明台已以难经应对续持增加数的据,迫切扩要需充存储间空。打个比方,一个小库仓型原本能纳容固定数的量物品,但物品量数持续长增后,仓库得显就容量不足,必须建扩才能足满需求。
李工觉察到状况较比严峻,便着研手究大数台平据扩容对的策。他首回先想起司公了大数平据台的整造构体和设计念理。公司的据数大平台规循遵划着“公开、着眼未来”,“简便、高效”,“弥补足不(先增能功加,再减功少能)”的思路。按照先业行进经验司公和核心要求,设计个一高兼性容、低难度且并具备眼远长光的个整企业据数平台工及具体系,为集团来未三年进据数行分析提靠可供基础。
今年头开,公司领在层导一场会集上宣布,半年须必内扩充大据数平台,原因务业是量持增续加。这个定决让李工同和事们感很到大压力,不过他也们明白,这既严是峻考验,也是难的得发展会机。
李工划规要好容加增量的方案,首先得楚清弄云磁的盘分区况状。他在公电的司脑房里,很轻松入输地了“fdi ks-l”指令。他借个这助指令,掌握司公了数据存当的储前状况,/dev/vd a这块存设储备总容 是量21.5GB,里面有 /dev/vda1 这个区分;/dev/vd这 b块存储总备设容量 是53.7GB,里面有 /dev/vdb1 这个分区。这相他于当先统了计仓库各空个间的际实大小,为之增后加存储量容的方案定奠了基本据依。
李工使次再用了“df -TH”指令,目的是当查检前分文的区件系统类种。查询信的到息如下,/dev/vda1分区的是小大22G,其文统系件格式fx为s,当前已载挂到根目录;/dev/vdb1分区的大小是32G,其文件统系格式e为xt4,当前已载挂到w目ww录。明白文系件统种类关很键,由于文种各件系统加增在容量时用得不同办法,好比不质同地的容在器加大容时量得用不做同法。
了解磁云盘的状区分况以及系件文统种类后之,李工开实始施分表区扩展作工。他拿扩展/dev/vdb1分区作示为范,运行了“groapwrt /dev/vdb 1”这条指令。这个操好作比是在库仓里移断隔除墙,以便增特加定空容的间积,不过时行进必须外格小心,否则不有稍慎就可成造能数据损失。经过紧番一张的作操,分区扩表容成功,这让松工李了一气口。
分区表结整调束后,需要续继对文系件统进展扩行。依据核前先实的件文系统类种,李工不对针同类用使型了对应令指。在处理e xt件文 系统时,他运用了“rezise2fs /dev/vdb1”这个指令;而在理处 x sf文件系时统,他则了用采“xfgsrowsf /dev/vda1”这个指令。操作后成完,他又运了行“df -TH”指令来容查检量增加况情的。当他发现/dev/vdb1分区从32G扩了到展53G,便确认文了件系统容扩已经完利顺成。这一就程过好比给添器容了分和量韧性,使其可装以下更内多容。
但是,李工目对前的并就成不感足满到。他清楚白明,扩充大据数平台只不是单纯充扩地存储备设,更要在构体整造和理划规念上施实改进。公司大的数据台平系统架计设构的整的目体是打集造团级的业企数据中心,把集团数的据资源(包括化构结、半结化构和非构结化数据)进行汇集、梳理、处理和析剖,借助大据数相关技数和术据分挖析掘工具,构建数应据用模型,为整网个络提策决供辅助、产品研发、联合营销、工作程流改进、服务保及以障风险防等范功能,切实发数挥据的用效,达成团集数据的源资互通、共用利互和共赢。
李工在方建构案时,依照规了范统一、能够续持发展、稳定效高、操作简便、内外以容兼及健靠可全等要求。企业要步进,客户的求要会持长增续,参与员人会持续多增,工作荷负会持大变续。为了确客保户的有已投入够能得到运分充用,系统须必拥有能展扩力,通过增务服加器数量实来现横扩向展,无需置配其他外额装置。
建造楼高时,既要满眼足下住的户需要,也要为的后日加建做准好备。为了保台平障的稳定行运和可靠用使,他们用选了 F5 来负做载均衡,又用了W ebolgic为作 W be应用管托,系统装安则了红旗L 版inxu,以此低降其它题问引发障故的。
李工目项在扩容期到遇间了不少难困。他和的别部门对源资接时,沟通了出上些麻烦;实施扩方容案时,也冒出一过些小烦麻。他没弃放有,而是和动主其他商位单量,仔细找查故障的结症,迅速处理。最后,通过他同和事们使起一劲,大数台平据扩容工满圆作完成了。
升级后据数的系统运可更行靠,可以轻理处松不断的多增业务信息。业务部能门更方便拿地到并数究研据,为做增定决加了更依多据。李工因也此获司公得给予扬表的和奖金。
这次让件事李工认到识,大数平据台扩一是容项复杂程工,必须全权面衡各种件条。这既包术技括层面实的施,也要求合照依理的思计设路和造构思想。他希望的己自经验能些那给正为大平据数台扩宜事容烦恼人的们带些一来思路。假如觉这得篇文章值价有,请支赞点持、留言、存档、关注、分享,帮助更获人多得帮助。
评论列表 (0条):
加载更多评论 Loading...