Support variable input batch and SortaGrad for deep speech2. about models HOT 5 CLOSED

1. 对所有样本做shuffle，组batch，padding到batch内的最大width.
   对train-clean-100统计，width的分布图：

2. 对所有样本按照duration排序，组batch，padding到batch内的最大width.
   对train-clean-100统计，width的分布图：

由上面图对比，如果shuffle，每个batch的width都相对较大，为了计算效率，还是需要排序。

在ds2里采用的方法：
1). 每个epoc随机跳过k个样本，k属于(0, batch_size-1)
2). 1)之后组batch，batch间shuffle.

from models.

两种方式mean batch width: 1643.77 vs 1268.81

from models.

Great！ 能计算一下两种方式下分别的mean batch width吗？

from models.

有没有实测加速比呢？ 上述两种方式以及原来未采用variable_sized batch，三种的大致比较。

from models.

@xinghai-sun 基于train-clean-100，实测一个epoc的速度，分别如下，所以现在batch shuffle的速度还是快一些。

• 3752 sec/epoc: 所有样本的width都pad到2000
• 3286 sec/epoc: 方式1
• 2861 sec/epoc: 方式2

from models.