实时同步数据遇到错误，同步模式为全量+增量

[hanxiang01]

1.mongoshake版本:mongo-shake-v2.8.3 (直接下载的最新发行包，免去编译的环节)
2.mongodb源版本:MongoDB server version: 5.0.15
目的端版本:MongoDB server version: 4.2.7
3.配置文件和日志文件 请见附件
collector.conf.docx
collector.log.docx

请帮忙检查，非常感谢。

[zhangst]

问题已收到，u1数组的oplog格式还不支持，会在下个版本中支持

[hanxiang01]

1.请问u1数组的oplog格式是指什么
2.下个版本大概什么时候发布
谢谢

[zhangst]

1.请问u1数组的oplog格式是指什么 2.下个版本大概什么时候发布 谢谢

1. 是指对数据修改而生成的oplog格式
2. 这个月应该可以发布

[hanxiang01]

1.是说对源端表数据的修改都不会同步到目标数据库吗，还是指部分类型的修改不会同步？因为我们之前用旧版本mongoshake，是能够正确同步修改的数据，也不会报错。目前是升级到最新版本mongoshake，才报的错误。所以很疑惑

感谢解答

[zhangst]

collector.linux.zip
collector.windows.zipm
collector.darwin.zip
麻烦试下新版本，关注下数组操作是否正确复制，以及是否还有报错

[hanxiang01]

好的 谢谢 我试试看

[hanxiang01]

你好，试了好几次，总是跑到40多分钟，collector.linux进程就直接挂掉了。日志也没有报错误。
日志：
collector.log-20230419.docx

[zhangst]

日志的内容比较少，试下shake程序前台运行，看下能否输出堆栈信息。、

[hanxiang01]

重新运行了一下，有收到一个不同的错误，请帮忙分析一下，谢谢
日志：
collector.log-20230420.docx

[zhangst]

造成中断的语句是一个创建新表的语句，但是在配置文件中DDL同步是关闭的
filter.ddl_enable = false
可以把DDL同步打开再试下。
重点关注下数组相关的修改是否有问题

[hanxiang01]

好的，我试一试。谢谢

[hanxiang01]

1.我尝试了重跑，发现数据修改正确的，也没有再报错了。请问你上面说的"重点关注下数组相关的修改是否有问题"，这个数组是指什么？如何验证？
2.因为之前重跑，是没有建索引。我现在尝试设置如下参数，再全量加增量的模式跑一次，看会不会报错，或者有什么单独建索引的方式吗
full_sync.create_index = foreground

谢谢。

[zhangst]

full_sync.create_index = foreground
这个可以同步索引的，不用单独创建。

重点关注下数组相关的修改是否有问题
这个是指对数组的修改，比如类似如下的：

1. 先插入，再修改数据
   db.arr5.insert({"name":"a", "info":"zst", "arrname":[{"nm":"a","count":3},{"nm":"b", "count":4}], "nestobj":{"n1":{"n":1, "m":2}, "m1":{"n":1, "m":2}}})
   db.arr5.update({"name":"a"}, {"$set":{"extra":"c", "arrname.0.nm":"c", "arrname.0.count":5, "arrname.0.extra":"ps", "arrname.1.count":6, "nestobj.n1.1":2}, "$unset":{"info":"zst", "nestobj.m1.n":1}})

2. 另一种修改数据
   db.arr6.update({"name":"a"},{"$set":{"arrname.0":{"nm":"c","count":10}}})

[hanxiang01]

1.之前运行的时候，设置了full_sync.create_index = none，所以索引没有同步过来，现在想要把索引同步过来，是需要重新全量+增量模式 再来一次吗
2.好的，明白了，我去验证试试。

感谢。