阿里高级技术专家宋意:平凡人在阿里十年的成长之旅( 二 )


开发团队负责着集团所有的运维工具,除外还有 、、aone 等,有段时间这些工具经常发生故障,甚至在双十一双十二的关键时刻掉链子,后来从业务团队转来一位资深同学负责团队,并发起了运维工具的 OD 分离项目,我做为主要负责人承担所有工具的 PE 职责,也是这时候我开始带团队,最终推动 10 多个产品上百个应用完成 OD 分离标准化改造,解决了工具的稳定性问题 。由于每个工具负责了运维的其中一个环节,所有工具承载的业务加起来构成了集团的工具运维体系,这段经历使我对运维业务有了更全面和深层次的理解 。
工具 PE 的事情稳定后我又接到了一个事情,负责整个集团开发测试环境的资源管理,测试环境当时有好几万台服务器,但没有人知道哪些机器在用以及谁在用,而且每年还有数千台的物理机新增预算,成本浪费非常严重 。我接手后首先建设了一个资源生命周期管理系统,使所有新资源的申请全部经过系统,并且对已有资源发起盘点和认领,所有资源设置有效期,到期后可以续租或释放,系统还会定期巡检资源的使用情况,再配合宕机回收、闲置降配等运营策略,最终将测试资源盘点的清清楚楚,不仅年度预算 0 新增,还将回收的几千台物理机在双十一时支援了生产环境 。再后来继续尝试通过混部提升测试资源使用率,调研多个方案后选择了跟团队合作,但上线后经常出现任务把测试机资源占满,影响业务的日常测试引发投诉,受限于当时技术限制最终没能继续推进下去 。
从参与一个跨团队项目到负责一个跨团队项目,再到做一个产品解决业务问题,这是我成长最快的两年 。
2.3
天基
关键词:、Argus、云监控
2016 年初我转岗到了产品技术团队做 ,SA 是一个非常重要的基础产品,核心功能是命令通道,几乎所有操作服务器的场景都强依赖它,但过去 SA 一直做的不太好,有很长一段时间只有半个人在兼职支持 。我当时的想法也比较简单,就是想改变这样的局面 。产品得不到重视的原因我觉得是命令功能过于单一,业务价值需要结合场景才能体现出来 。所以做的第一件事是 ,推动 SA 从后台往前台走,第一个功能是插件平台,提供将一个面向全网的发布能力,发布的对象可以是各种运维脚本或者 agent,并且新扩容服务器也会自动安装 。这样做的目的是希望将 SA 的最大优势全网覆盖能力开放出来,使上层系统可以将更多执行逻辑下放到机器,而不是都转换为命令频繁调用 SA 。
插件平台的主要用户群体是各个业务运维系统,但是一线开发和运维人员也经常需要登录服务器执行命令,为了能覆盖到这部分用户又推出了第二个功能 WEB 终端,人执行命令的场景又可以分为单机的交互操作和多机的批量操作,所以 WEB 终端又分为交互终端和批量终端两个子功能,WEB 终端在保证安全的前提下解决了人操作服务器的效率问题 。
插件平台统一全网类变更入口后,我们也看到全网类 Agent 越来越多,每台服务器都有 N 个运维类 Agent,进一步梳理后发现监控类 Agent 是最多的,因此又发起监控 Agent 融合的项目,统一后的新 Agent 叫 Argus,完成集团内的 agent 融合后继续走向公有云,目前公共云外部客户和阿里内部使用的监控 Agent 都是同一套代码 。
在 Argus 完成集团内多套监控系统的 Agent 统一后,进一步分析会发现所有监控系统的采集实现都有类似性,Argus 对接的上游是配置下游是通道,将配置、采集、通道三部分组合起来就是标准的数据采集,因此又与团队合作,复用已有的配置和通道能力建设了一个覆盖全网的通用数据采集平台 。随着在监控领域做的越来越深入,后来干脆专注于监控场景,将 SA 的事情全部交接了出去,目前我的主要职责是为业务上云提供一站式监控方案,包括云资源监控、主机监控、业务监控、链路监控等 。