行为分析系统的表可以打成一个大的宽表形式 , join的形式相对少一点 。系统的数据量比较大 , 因为产品要支持头条所有APP的用户行为分析 , 包含头条全量和抖音全量数据 , 用户的上报日志分析 , 面临不少技术挑战 。在使用做一些简单的POC测试工作后 , 综合来看的性能、功能和产品质量来说效果不错 , 因为开发的公司使用的场景实际上跟头条用户分析是比较类似的 , 因此有一定的借鉴意义 。
目前头条集群的规模大概有几千个节点 , 最大的集群规模可能有1200个节点 , 这是一个单集群的最大集群节点数 。数据总量大概是几十PB , 日增数据100TB , 落地到的日增数据总量大概是它的3倍 , 原始数据也就 300T 左右 , 大多数查询的响应时间是在几秒钟 。从交互式的用户体验来说 , 一般希望把所有的响应控制在 30 秒之内返回 , 基本上能够满足大部分要求 。覆盖的用户场景包括产品分析师做精细化运营 , 开发人员定位问题 , 也有少量的广告类客户 。
2. 快速入门
2.4.1安 装
安装官方文档:#quick-start
RPM方式安装:
离线下载安装:
容器安装:
操作步骤 说明
1 安装yum-utils工具包
yum install yum-utils -y
2 添加的yum源
yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_64
3 安装的服务端和客户端
yum install -y clickhouse-server clickhouse-client
如果安装时出现: :V4 RSA/SHA1 , key
ID : NOKEY错误导致无法安装 , 需要在安装命令中添加—来解决 。
yum install -y clickhouse-server clickhouse-client --nogpgcheck
4 关于安装的说明
默认的配置文件路径是:/etc/-/
默认的日志文件路径是:/var/log/-/
的配置 , 在/etc/-/.xml及user.xml , 前者是 的系统配置 , 包括日志 , 服务部署ip , zk等配置 。后者是当前节点服务的配置 , 包括用户名密码 , 内存大小限制等 。
文章插图
服务配置:.xml
用户配置:users.xml
5 启动服务
前端服务启动:- start
后台服务启动: start -
6 查看的版本信息
- -m --host--port 9999 --user root --
();
2.4.2命令行 -
安装包中提供了-工具 , 这个客户端在运行shell环境中 , 使用TCP 方式连接-服务 。要运行该客户端工具可以选择使用交互式与非交互式(批量)两种模式:
使用非交互式查询时需要指定–query参数;
在交互模式下则需要注意是否使用—参数来开启多行模式 。-提供了很多参数可供使用 , 常用的参数如下表:
参数 介绍
–host,-h 服务端的 host 名称, 默认是 ‘’ 。您可以选择使用 host 名称或者 IPv4 或
IPv6 地址 。
–port 连接服务端的端口 , 默认值9000
–user,-u 访问的用户名 , 默认
– 访问用户的密码 , 默认空字符串
–query,-q 非交互模式下的查询语句
–,-d 连接的数据库 , 默认是
–,-m 使用多行模式 , 在多行模式下 , 回车键仅表示换行 。默认不使用多行模式 。
- 凸集之分离与支撑超平面
- 关于开通微信商户平台后,设置api开发密钥,以及与小程序进行绑定的详细流程!
- 用GitHub Copilot在Vs Code里快速写代码,最详细使用教程
- 统计二进制1个数的代码解读
- 1 Word控件Spire.Doc 【超链接】教程:如何在C#/VB
- 美国1月份PPI数据涨幅超过预期 黄金市场承压下行
- linux中给R分配内存,Linux内存超分配Overcommit深入理解
- 埃安自研版图扩至夸克电驱,动力研发团队已超1000人
- 【迁移学习】迁移学习的干货学习资料 | 干货分享 | 技术解读
- 超速扣几分