[Question]: dataset中索引超出范围

[markAKB]

Question

data/chunk-000/episode_000000.parquet 中的action长度为368帧。但是实际的rgb或depth图片只有对应数量的一半184帧
hm3d_zed在这个一个文件夹中的所有文件会出现这种情况，其他的所有文件如3dfront_zed等是正常的。

这导致在进行数据加载时，在这段代码报一个索引超出范围的错误：

请问如何解决呢？

[markAKB]

对应的parquet文件路径为InternRobotics/v0.1-full/vln_n1/traj_data/hm3d_zed/00004-VqCaAuuoeWk/trajectory_37/data/chunk-000/episode_000000.parquet
图片路径为InternRobotics/v0.1-full/vln_n1/traj_data/hm3d_zed/00004-VqCaAuuoeWk/trajectory_37/videos/chunk-000/observation.images.rgb

[alaia0a]

你好 感谢详细的问题定位！该问题是由于初版数据为了一一对应episode_index和分段指令（sub_instruction和sum_instruction），将action存储了对应倍数，已弃用。将尽快全面检查其他数据是否存在该情况后更新该数据，再次感谢反馈！

[markAKB]

你好 感谢详细的问题定位！该问题是由于初版数据为了一一对应episode_index和分段指令（sub_instruction和sum_instruction），将action存储了对应倍数，已弃用。将尽快全面检查其他数据是否存在该情况后更新该数据，再次感谢反馈！

可以和清洗损坏图片一起更新吗？#101

维护项目辛苦了，非常优秀的工作。

[markAKB]

请问在构建数据时，有没有对于数据的内容校验的脚本或者代码？比如如何校验深度，点云，轨迹等信息是否正确，谢谢。

[alaia0a]

你好 会和清洗后的数据一起更新，提供一个数据重建的脚本（后续也会更新到hf），希望会有帮助

n1_visualisation.py

[markAKB]

你好 会和清洗后的数据一起更新，提供一个数据重建的脚本（后续也会更新到hf），希望会有帮助

n1_visualisation.py

多谢了！

[markAKB]

您好，请问关于数据检查和上传有什么进展吗？感谢

[alaia0a]

您好久等了！数据目前已检查和上传完毕到v0.1-full branch。由于hf上传频率限制，main分支将在明后两天内完成更新，完成时会来同步！再次感谢问题的指出、讨论和等待！

[markAKB]

您好久等了！数据目前已检查和上传完毕到v0.1-full branch。由于hf上传频率限制，main分支将在明后两天内完成更新，完成时会来同步！再次感谢问题的指出、讨论和等待！

非常感谢。请问这次更新主要更新了哪些内容呢？我看除了hm3d_zed这个文件夹有更新外，其他文件夹也有更新。

[alaia0a]

你好！本次更新主要包含两方面内容：

• 数据存储逻辑优化：已将所有数据集统一调整为 “action” 与 “image” 对应索引的存储形式，彻底弃用了此前的倍数关系存储方案；

• 数据文件修复与完善：针对部分缺失、损坏的文件进行了全面检查和修复，涉及的文件夹包括 hm3d_d435i、hm3d_zed、hssd_d435i、hssd_zed 以及 3dfront_zed。

此外，main分支也已同步完成上述内容的更新。

[markAKB]

你好！本次更新主要包含两方面内容：

• 数据存储逻辑优化：已将所有数据集统一调整为 “action” 与 “image” 对应索引的存储形式，彻底弃用了此前的倍数关系存储方案；
• 数据文件修复与完善：针对部分缺失、损坏的文件进行了全面检查和修复，涉及的文件夹包括 hm3d_d435i、hm3d_zed、hssd_d435i、hssd_zed 以及 3dfront_zed。

此外，main分支也已同步完成上述内容的更新。

感谢耐心解答和更新。非常优秀的工作！

[markAKB]

#146

如描述，更新的数据中有一些可能存在问题，可以帮忙看下吗？

[Tai-Wang]

Close this issue due to duplication.