@@ -60,11 +60,15 @@ dataDir /mnt/data6 2 0
6060
6161## 对象存储
6262
63- 本节介绍在 TDengine Enterprise 如何使用 S3 对象存储,本功能基于通用 S3 SDK 实现,对各个 S3 平台的访问参数进行了兼容适配,可以访问如 Amazon S3、Azure Blob、华为 OBS、腾讯云 COS、阿里云 OSS、minio等对象存储服务。通过适当的参数配置,可以把大部分较冷的时序数据存储到 S3 服务中 。
63+ 本节介绍在 TDengine Enterprise 版本中如何使用对象存储功能,如 Amazon S3、Azure Blob Storage 、华为 OBS、腾讯云 COS、阿里云 OSS、MinIO 等对象存储服务 。
6464
6565** 注意** 在配合多级存储使用时,每一级存储介质上保存的数据都有可能被按规则备份到远程对象存储中并删除本地数据文件。
6666
67- ### 配置方式
67+ ### S3 对象存储
68+
69+ 本功能基于通用 S3 SDK 实现,对各个 S3 平台的访问参数进行了兼容适配,通过适当的参数配置,可以把大部分较冷的时序数据存储到 S3 服务中。
70+
71+ #### 配置方式
6872
6973在配置文件 /etc/taos/taos.cfg 中,添加用于 S3 访问的参数:
7074
@@ -78,7 +82,7 @@ dataDir /mnt/data6 2 0
7882| s3MigrateIntervalSec | 本地数据文件自动上传 S3 的触发周期,单位为秒。最小值:600;最大值:100000。默认值 3600 |
7983| s3MigrateEnabled | 是否自动进行 S3 迁移,默认值为 0,表示关闭自动 S3 迁移,可配置为 1。 |
8084
81- ### 检查配置参数可用性
85+ #### 检查配置参数可用性
8286
8387在 taos.cfg 中完成对 S3 的配置后,通过 taosd 命令的 checks3 参数可以检查所配置的 S3 服务是否可用:
8488
@@ -88,7 +92,7 @@ taosd --checks3
8892
8993如果配置的 S3 服务无法访问,此命令会在运行过程中输出相应的错误信息。
9094
91- ### 创建使用 S3 的 DB
95+ #### 创建使用 S3 的 DB
9296
9397完成配置后,即可启动 TDengine 集群,创建使用 S3 的数据库,比如:
9498
@@ -112,11 +116,11 @@ s3migrate database <db_name>;
112116| 2 | s3_chunkpages | 131072 | 131072 | 1048576 | 上传对象的大小阈值,与 tsdb_pagesize 参数一样,不可修改,单位为 TSDB 页 |
113117| 3 | s3_compact | 1 | 0 | 1 | TSDB 文件组首次上传 S3 时,是否自动进行 compact 操作 |
114118
115- ### 对象存储读写次数估算
119+ #### 对象存储读写次数估算
116120
117121对象存储服务的使用成本与存储的数据量及请求次数相关,下面分别介绍数据的上传及下载过程。
118122
119- #### 数据上传
123+ ##### 数据上传
120124
121125当 TSDB 时序数据超过 ` s3_keeplocal ` 参数指定的时间,相关的数据文件会被切分成多个文件块,每个文件块的默认大小是 512M 字节 (` s3_chunkpages * tsdb_pagesize ` )。除了最后一个文件块保留在本地文件系统外,其余的文件块会被上传到对象存储服务。
122126
@@ -128,7 +132,7 @@ s3migrate database <db_name>;
128132
129133其它类型的文件如 head, stt, sma 等,保留在本地文件系统,以加速预计算相关查询。
130134
131- #### 数据下载
135+ ##### 数据下载
132136
133137在查询操作中,如果需要访问对象存储中的数据,TSDB 不会下载整个数据文件,而是计算所需数据在文件中的位置,只下载相应的数据到 TSDB 页缓存中,然后将数据返回给查询执行引擎。后续查询首先检查页缓存,查看数据是否已被缓存。如果数据已缓存,则直接使用缓存中的数据,而无需重复从对象存储下载,从而有效降低从对象存储下载数据的次数。
134138
@@ -140,15 +144,15 @@ s3migrate database <db_name>;
140144
141145页缓存是内存缓存,节点重启后,再次查询需要重新下载数据。缓存采用 LRU (Least Recently Used) 策略,当缓存空间不足时,最近最少使用的数据将被淘汰。缓存的大小可以通过 ` s3PageCacheSize ` 参数进行调整,通常来说,缓存越大,下载次数越少。
142146
143- ## Azure Blob 存储
144- 本节介绍在 TDengine Enterprise 如何使用微软 Azure Blob 对象存储。本功能是上一小节‘对象存储’功能的扩展,需额外依赖 Flexify 服务提供的 S3 网关。通过适当的参数配置 ,可以把大部分较冷的时序数据存储到 Azure Blob 服务中。
147+ ### Azure Blob 存储
148+ 本节介绍在 TDengine Enterprise 版本中如何使用微软 Azure Blob 存储。本功能可以通过两个方式使用:利用 Flexify 服务提供的 S3 网关功能和不依赖 Flexify 服务。通过配置参数 ,可以把大部分较冷的时序数据存储到 Azure Blob 服务中。
145149
146- ### Flexify 服务
150+ #### Flexify 服务
147151Flexify 是 Azure Marketplace 中的一款应用程序,允许兼容 S3 的应用程序通过标准 S3 API 在 Azure Blob Storage 中存储数据。可使用多个 Flexify 服务对同一个 Blob 存储建立多个 S3 网关。
148152
149153部署方式请参考 [ Flexify] ( https://azuremarketplace.microsoft.com/en-us/marketplace/apps/flexify.azure-s3-api?tab=Overview ) 应用页面说明。
150154
151- ### 配置方式
155+ ##### 配置方式
152156
153157在配置文件 /etc/taos/taos.cfg 中,添加用于 S3 访问的参数:
154158
@@ -164,7 +168,7 @@ s3BucketName td-test
164168- 在某一 S3 服务上操作失败后会切换至其他服务,全部服务都失败后将返回最后产生的错误码
165169- 最大支持的 S3 服务配置数为 10
166170
167- ### 不依赖 Flexify 服务
171+ #### 不依赖 Flexify 服务
168172
169173用户界面同 S3,不同的地方在于下面三个参数的配置:
170174
0 commit comments