Readme.md

bdataset

a big dataset for network training

install

pip install git+https://github.com/aidings/bdataset.git

example

1. 单个超大文件读取

2. 多个超大文件读取

3. 注入读取（分批注入一部分数据到内存中）

todo

1. 支持多进程写入index