Skip to content

Commit f49ec99

Browse files
Merge pull request #29428 from taosdata/docs/TS-5792
fix(docs/s3): make OBS explicitly
2 parents fcca5e7 + 1688eae commit f49ec99

1 file changed

Lines changed: 16 additions & 12 deletions

File tree

docs/zh/08-operation/12-multi.md

Lines changed: 16 additions & 12 deletions
Original file line numberDiff line numberDiff line change
@@ -60,11 +60,15 @@ dataDir /mnt/data6 2 0
6060

6161
## 对象存储
6262

63-
本节介绍在 TDengine Enterprise 如何使用 S3 对象存储,本功能基于通用 S3 SDK 实现,对各个 S3 平台的访问参数进行了兼容适配,可以访问如 Amazon S3、Azure Blob、华为 OBS、腾讯云 COS、阿里云 OSS、minio等对象存储服务。通过适当的参数配置,可以把大部分较冷的时序数据存储到 S3 服务中
63+
本节介绍在 TDengine Enterprise 版本中如何使用对象存储功能,如 Amazon S3、Azure Blob Storage、华为 OBS、腾讯云 COS、阿里云 OSS、MinIO 等对象存储服务
6464

6565
**注意** 在配合多级存储使用时,每一级存储介质上保存的数据都有可能被按规则备份到远程对象存储中并删除本地数据文件。
6666

67-
### 配置方式
67+
### S3 对象存储
68+
69+
本功能基于通用 S3 SDK 实现,对各个 S3 平台的访问参数进行了兼容适配,通过适当的参数配置,可以把大部分较冷的时序数据存储到 S3 服务中。
70+
71+
#### 配置方式
6872

6973
在配置文件 /etc/taos/taos.cfg 中,添加用于 S3 访问的参数:
7074

@@ -78,7 +82,7 @@ dataDir /mnt/data6 2 0
7882
| s3MigrateIntervalSec | 本地数据文件自动上传 S3 的触发周期,单位为秒。最小值:600;最大值:100000。默认值 3600 |
7983
| s3MigrateEnabled | 是否自动进行 S3 迁移,默认值为 0,表示关闭自动 S3 迁移,可配置为 1。 |
8084

81-
### 检查配置参数可用性
85+
#### 检查配置参数可用性
8286

8387
在 taos.cfg 中完成对 S3 的配置后,通过 taosd 命令的 checks3 参数可以检查所配置的 S3 服务是否可用:
8488

@@ -88,7 +92,7 @@ taosd --checks3
8892

8993
如果配置的 S3 服务无法访问,此命令会在运行过程中输出相应的错误信息。
9094

91-
### 创建使用 S3 的 DB
95+
#### 创建使用 S3 的 DB
9296

9397
完成配置后,即可启动 TDengine 集群,创建使用 S3 的数据库,比如:
9498

@@ -112,11 +116,11 @@ s3migrate database <db_name>;
112116
| 2 | s3_chunkpages | 131072 | 131072 | 1048576 | 上传对象的大小阈值,与 tsdb_pagesize 参数一样,不可修改,单位为 TSDB 页 |
113117
| 3 | s3_compact | 1 | 0 | 1 | TSDB 文件组首次上传 S3 时,是否自动进行 compact 操作 |
114118

115-
### 对象存储读写次数估算
119+
#### 对象存储读写次数估算
116120

117121
对象存储服务的使用成本与存储的数据量及请求次数相关,下面分别介绍数据的上传及下载过程。
118122

119-
#### 数据上传
123+
##### 数据上传
120124

121125
当 TSDB 时序数据超过 `s3_keeplocal` 参数指定的时间,相关的数据文件会被切分成多个文件块,每个文件块的默认大小是 512M 字节 (`s3_chunkpages * tsdb_pagesize`)。除了最后一个文件块保留在本地文件系统外,其余的文件块会被上传到对象存储服务。
122126

@@ -128,7 +132,7 @@ s3migrate database <db_name>;
128132

129133
其它类型的文件如 head, stt, sma 等,保留在本地文件系统,以加速预计算相关查询。
130134

131-
#### 数据下载
135+
##### 数据下载
132136

133137
在查询操作中,如果需要访问对象存储中的数据,TSDB 不会下载整个数据文件,而是计算所需数据在文件中的位置,只下载相应的数据到 TSDB 页缓存中,然后将数据返回给查询执行引擎。后续查询首先检查页缓存,查看数据是否已被缓存。如果数据已缓存,则直接使用缓存中的数据,而无需重复从对象存储下载,从而有效降低从对象存储下载数据的次数。
134138

@@ -140,15 +144,15 @@ s3migrate database <db_name>;
140144

141145
页缓存是内存缓存,节点重启后,再次查询需要重新下载数据。缓存采用 LRU (Least Recently Used) 策略,当缓存空间不足时,最近最少使用的数据将被淘汰。缓存的大小可以通过 `s3PageCacheSize` 参数进行调整,通常来说,缓存越大,下载次数越少。
142146

143-
## Azure Blob 存储
144-
本节介绍在 TDengine Enterprise 如何使用微软 Azure Blob 对象存储。本功能是上一小节‘对象存储’功能的扩展,需额外依赖 Flexify 服务提供的 S3 网关。通过适当的参数配置,可以把大部分较冷的时序数据存储到 Azure Blob 服务中。
147+
### Azure Blob 存储
148+
本节介绍在 TDengine Enterprise 版本中如何使用微软 Azure Blob 存储。本功能可以通过两个方式使用:利用 Flexify 服务提供的 S3 网关功能和不依赖 Flexify 服务。通过配置参数,可以把大部分较冷的时序数据存储到 Azure Blob 服务中。
145149

146-
### Flexify 服务
150+
#### Flexify 服务
147151
Flexify 是 Azure Marketplace 中的一款应用程序,允许兼容 S3 的应用程序通过标准 S3 API 在 Azure Blob Storage 中存储数据。可使用多个 Flexify 服务对同一个 Blob 存储建立多个 S3 网关。
148152

149153
部署方式请参考 [Flexify](https://azuremarketplace.microsoft.com/en-us/marketplace/apps/flexify.azure-s3-api?tab=Overview) 应用页面说明。
150154

151-
### 配置方式
155+
##### 配置方式
152156

153157
在配置文件 /etc/taos/taos.cfg 中,添加用于 S3 访问的参数:
154158

@@ -164,7 +168,7 @@ s3BucketName td-test
164168
- 在某一 S3 服务上操作失败后会切换至其他服务,全部服务都失败后将返回最后产生的错误码
165169
- 最大支持的 S3 服务配置数为 10
166170

167-
### 不依赖 Flexify 服务
171+
#### 不依赖 Flexify 服务
168172

169173
用户界面同 S3,不同的地方在于下面三个参数的配置:
170174

0 commit comments

Comments
 (0)