Dataset类是TensorFlow非常流行的存储数据的格式。常用来作为输入输出。data模块主要的用途就是通过这种方法创建Dataset。
Dataset使用过程中的一些心得：
经常将自变量X数据以及target数据以元组的形式包裹，如db_train=tf.data.Dataset.from_tensor_slices((x_train,y_train))，创建Dataset。模型的fit()方法可以自动的解包。
Dataset能够包括比较灵活的类型，比如db_train=tf.data.Dataset.from_tensor_slices(({"features":features_train,"biomass_start":biomass_start_trarin},y_train))。因为数据最外部依然是最外部包裹，所以model的fit()依然可以自动的对x以及target解包。但由于dataset保存component是以原始数据的形式保存的。所以，fit()里的inputs一般是这个样子：
{'features': <tf.Tensor 'my_rnn/Cast_1:0' shape=(None, 5, 4) dtype=float32>, 'biomass_start': <tf.Tensor 'my_rnn/Cast:0' shape=(None, 1) dtype=float32>}
对于字典内部部分，需要手动的自己解包。这样的好处是，给我们自定义模型的结构提供的很大的遍历，输入一部分导入A网络，一部分导入不同的B网络。
Dataset作为模型的输入，需要设定batch()。而不在模型内设定batch。更加方便。然而Dataset作为迭代器，迭代完成后再次迭代数据，生成数据的前后数据是不一样的。需要注意。
batch的drop_remainder=True参数比较重要，只有设定为True，input接下来的层还能正确的识别shape
Dataset的常用属性
Dataset.element_spec
这个属性可以检测每一个元素中的component的类型。返回的是一个tf.TypeSpec对象。这个对象的结构跟元素的结构是一致的。
dataset1 = tf.data.Dataset.from_tensor_slices(tf.random.uniform([4, 10]))
dataset1.element_spec
#TensorSpec(shape=(10,), dtype=tf.float32, name=None)
dataset2 = tf.data.Dataset.from_tensor_slices(
(tf.random.uniform([4]),
tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))
dataset2.element_spec
# 标量和向量
# (TensorSpec(shape=(), dtype=tf.float32, name=None),
#TensorSpec(shape=(100,), dtype=tf.int32, name=None))
dataset = tf.data.Dataset.from_tensor_slices(([1, 2], [3, 4], [5, 6]))
dataset.element_spec
#(TensorSpec(shape=(), dtype=tf.int32, name=None),
# TensorSpec(shape=(), dtype=tf.int32, name=None),
# TensorSpec(shape=(), dtype=tf.int32, name=None))
# 注意这里是字典类型
dataset = tf.data.Dataset.from_tensor_slices({"a": [1, 2], "b": [3, 4]})
dataset.element_spec
#{'a': TensorSpec(shape=(), dtype=tf.int32, name=None),
# 'b': TensorSpec(shape=(), dtype=tf.int32, name=None)}Dataset的常用方法
apply方法
对dataset进行转换。
dataset = tf.data.Dataset.range(100) def dataset_fn(ds): return ds.filter(lambda x: x < 5) dataset = dataset.apply(dataset_fn) list(dataset.as_numpy_iterator())
as_numpy_iterator
dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3]) for element in dataset.as_numpy_iterator(): print(element)
这个在dataset比较常用。就是将dataset变成迭代器，将所有元素都变成numy对象输出
shuffle
shuffle(
buffer_size, seed=None, reshuffle_each_iteration=None, name=None
)
参数：
- buffer_size：缓冲区大小
- seed：随机种子
- reshuffle_each_iteration：bool. 如果为真，表示每次迭代时数据集完成后都应该是进行伪随机重新洗牌的。控制每个epoch的洗牌顺序是否不同。
这个方法用来随机打乱数据集的元素顺序。数据集用buffer_size元素填充一个缓冲区，然后从这个缓冲区随机取样元素，用新元素替换选中的元素。例如，如果您的数据集包含10,000个元素，但是buffer_size被设置为1,000，那么shuffle将首先从缓冲区中的前1,000个元素中选择一个随机元素。一旦一个元素被选中，它在缓冲区中的空间就会被下一个(比如第1001个)元素替换，从而保持这个1,000元素缓冲区。为了实现完美的洗牌，需要一个大于或等于数据集完整大小的缓冲区。
dataset = tf.data.Dataset.range(3) # 每个每个epoch重新洗牌 dataset = dataset.shuffle(3, reshuffle_each_iteration=True) list(dataset.as_numpy_iterator()) # [1, 0, 2] list(dataset.as_numpy_iterator()) # [1, 2, 0] dataset = tf.data.Dataset.range(3) # 每个每个epoch不重新洗牌 dataset = dataset.shuffle(3, reshuffle_each_iteration=False) list(dataset.as_numpy_iterator()) # [1, 0, 2] list(dataset.as_numpy_iterator()) # [1, 0, 2]
batch
batch(
batch_size,
drop_remainder=False,
num_parallel_calls=None,
deterministic=None,
name=None
)
参数:
- batch_size: 批处理大小
- drop_remainder：是否删除最后一个短batch。==这个比较重要，只有设定为Ture，model才能正确的判断其输入的shape。==这也比较合理，指定为Falsel，因为谁也不知道后面是不是有一个比较短的batch，只有第一维是None，才能提高程序的稳定性。
- num_parallel_calls：并行计算的数量。不指定会顺序执行。如果有 tf.data.AUTOTUNE，会自动动态的制定这个值。
- deterministic：bool. 指定了num_parallel_calls，才有效。如果设置为False，则允许转换产生无序元素，以牺牲确定性来换取性能。如果不指定，tf.data.Options.deterministic控制这个行为（默认为True）
- name: 标识符
这个方法经常使用，将dataset进行批处理化。因为数据集比较大的时候，一下子完全进行训练占用大量的内存。所以用分批处理。输出的元素增加了一个额外的维度，就是batch维，shape是batch的size.
batch支持一个drop_remainder=True关键字，为真意味着，最后一个batch的size如果小于我们指定值，就会被舍弃。
之所以要删掉最后一个短的batch，是因为如果我们的项目依赖这个batch的size，那最后一个batch不等长，可能会出错。
import tensorflow as tf from tensorflow.python.data import Dataset dataset = tf.data.Dataset.range(8) dataset = dataset.batch(3) print(list(dataset.as_numpy_iterator())) # 通过这个看到这个elem也已经是分批了 for elem in dataset: print(elem) # tf.Tensor([0 1 2], shape=(3,), dtype=int64) # tf.Tensor([3 4 5], shape=(3,), dtype=int64) # tf.Tensor([6 7], shape=(2,), dtype=int64) for elem in dataset.as_numpy_iterator(): print(elem) # [0 1 2] # [3 4 5] # [6 7] dataset = tf.data.Dataset.range(8) # drop_remainder舍掉最后一个长度不够的batch dataset = dataset.batch(3, drop_remainder=True) list(dataset.as_numpy_iterator())
一般情况下，shuffle跟batch是连续使用的，实现随机读取并批量处理数据：dataset.shuffle(buffer_size).batch(batchsize)
不能对已经batch的dataset进行连续的batch操作，其batchsize不会改变，而是生成了新的异常数据
unbatch
unbatch(
name=None
)
这里是将Batchdataset这样的dataset分割为一个个元素，元素的格式跟定义时的格式是一样的。而且，这里固定的是对第1个维度进行split操作，且生成shape[0]个元素。
reduce方法
reduce(
initial_state, reduce_func, name=None
)
将输入数据集简化为一个元素。 reduce_func作用于dataset中每一个元素，输出其dataset的聚合信息。
参数initial_state代表进行reduce之前的初始状态。reduce_func要接收old_state, input_element两个参数，然后生成新的状态newstate。old_state和new_state的结构要一致。
dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) print(dataset.reduce(0, lambda state, value: state + value).numpy()) # 22
dataset不支持tf.split属性，也不能直接把dataset给切分为训练集和测试集。
