transform：实践指南

真正理解transform，要从它处理的任务开始：TensorFlow 数据预处理框架，可构建并复用训练与推理一致的输入管道。团队若要把它用于部署与运行环境，应先处理权限、依赖和环境差异会放大维护成本，否则试用结果很容易失真。我建议在非生产环境复现一次安装与运行，重点记录依赖锁定、权限边界、日志、回滚和资源消耗，再与现有方案比较。我会把它列入愿意维护环境并重视故障恢复的工程团队的候选清单，而不是仅凭项目介绍直接纳入生产。

TensorFlow 变换

TensorFlow Transform 是一个用于使用 TensorFlow 预处理数据的库。 tf.Transform 对于需要全通的数据很有用，例如：

• 通过平均值和标准差对输入值进行标准化。
• 通过生成所有输入值的词汇表将字符串转换为整数。
• 通过根据观察到的结果将浮点数分配给存储桶，将浮点数转换为整数 数据分布。

TensorFlow 内置对单个示例或批量操作的支持 的例子。 tf.Transform 扩展了这些功能以支持全通 超过示例数据。

tf.Transform 的输出导出为 TensorFlow 图 用于训练和 服务。使用相同的图表进行训练和服务可以防止偏差 因为在两个阶段都应用了相同的转换。

有关 tf.Transform 的介绍，请参阅 tf.Transform 部分 TFX 开发峰会关于 TFX 的演讲 （链接）。

安装

tensorflow-transform PyPI 封装 是 推荐安装tf.Transform的方式：

pip install tensorflow-transform

从源代码构建 TFT

要从源代码构建，请按照以下步骤操作： 运行命令创建虚拟环境

python -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
git clone https://github.com/tensorflow/transform.git
cd transform
pip install .

如果您正在 TFT 存储库上进行开发，请替换

pip install .

与

pip install -e .

-e 标志导致 TFT 安装在 开发模式 中。

每晚套餐

TFT 还在 https://pypi-nightly.tensorflow.org 举办夜间套餐 谷歌云。要安装最新的夜间软件包，请使用以下命令 命令：

pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform

这将为 TFT 的主要依赖项安装夜间包，例如 作为 TensorFlow 元数据 (TFMD)、TFX 基本共享库 (TFX-BSL)。

运行测试

要运行 TFT 测试，请从存储库的根目录运行以下命令：

pytest

值得注意的依赖关系

需要 TensorFlow。

Apache Beam 是必需的；这就是高效的方式 支持分布式计算。默认情况下，Apache Beam 在本地运行 模式，但也可以使用分布式模式运行 Google Cloud Dataflow 和其他 Apache 梁 跑步者。

还需要 Apache Arrow。 TFT 使用箭头 在内部表示数据以便利用向量化 numpy 函数。

兼容版本

下表是tf.Transform的软件包版本 彼此兼容。这是由我们的测试框架决定的，但是 其他未经测试的组合也可能有效。

张量流变换	apache-beam[gcp]	皮箭头	张量流	张量流元数据	tfx-bsl
GitHub 主站	2.72.0	14.0.0	每晚 (2.x)	1.21.0	1.21.0
1.21.0	2.72.0	14.0.0	2.21	1.21.0	1.21.0
1.17.0	2.65.0	10.0.1	2.17	1.17.1	1.17.1
1.16.0	2.60.0	10.0.1	2.16	1.16.1	1.16.1
1.15.0	2.47.0	10.0.0	2.15	1.15.0	1.15.1
1.14.0	2.47.0	10.0.0	2.13	1.14.0	1.14.0
1.13.0	2.41.0	6.0.0	2.12	1.13.1	1.13.0
1.12.0	2.41.0	6.0.0	2.11	1.12.0	1.12.0
1.11.0	2.41.0	6.0.0	1.15.5 / 2.10	1.11.0	1.11.0
1.10.0	2.40.0	6.0.0	1.15.5 / 2.9	1.10.0	1.10.0
1.9.0	2.38.0	5.0.0	1.15.5 / 2.9	1.9.0	1.9.0
1.8.0	2.38.0	5.0.0	1.15.5 / 2.8	1.8.0	1.8.0
1.7.0	2.36.0	5.0.0	1.15.5 / 2.8	1.7.0	1.7.0
1.6.1	2.35.0	5.0.0	1.15.5 / 2.8	1.6.0	1.6.0
1.6.0	2.35.0	5.0.0	1.15.5 / 2.7	1.6.0	1.6.0
1.5.0	2.34.0	5.0.0	1.15.2 / 2.7	1.5.0	1.5.0
1.4.1	2.33.0	4.0.1	1.15.2 / 2.6	1.4.0	1.4.0
1.4.0	2.33.0	4.0.1	1.15.2 / 2.6	1.4.0	1.4.0
1.3.0	2.31.0	2.0.0	1.15.2 / 2.6	1.2.0	1.3.0
1.2.0	2.31.0	2.0.0	1.15.2 / 2.5	1.2.0	1.2.0
1.1.1	2.29.0	2.0.0	1.15.2 / 2.5	1.1.0	1.1.1
1.1.0	2.29.0	2.0.0	1.15.2 / 2.5	1.1.0	1.1.0
1.0.0	2.29.0	2.0.0	1.15 / 2.5	1.0.0	1.0.0
0.30.0	2.28.0	2.0.0	1.15 / 2.4	0.30.0	0.30.0
0.29.0	2.28.0	2.0.0	1.15 / 2.4	0.29.0	0.29.0
0.28.0	2.28.0	2.0.0	1.15 / 2.4	0.28.0	0.28.1
0.27.0	2.27.0	2.0.0	1.15 / 2.4	0.27.0	0.27.0
0.26.0	2.25.0	0.17.0	1.15 / 2.3	0.26.0	0.26.0
0.25.0	2.25.0	0.17.0	1.15 / 2.3	0.25.0	0.25.0
0.24.1	2.24.0	0.17.0	1.15 / 2.3	0.24.0	0.24.1
0.24.0	2.23.0	0.17.0	1.15 / 2.3	0.24.0	0.24.0
0.23.0	2.23.0	0.17.0	1.15 / 2.3	0.23.0	0.23.0
0.22.0	2.20.0	0.16.0	1.15 / 2.2	0.22.0	0.22.0
0.21.2	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.3
0.21.0	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.0
0.15.0	2.16.0	0.14.0	1.15 / 2.0	0.15.0	0.15.0
0.14.0	2.14.0	0.14.0	1.14	0.14.0	n/a
0.13.0	2.11.0	n/a	1.13	0.12.1	n/a
0.12.0	2.10.0	n/a	1.12	0.12.0	n/a
0.11.0	2.8.0	n/a	1.11	0.9.0	n/a
0.9.0	2.6.0	n/a	1.9	0.9.0	n/a
0.8.0	2.5.0	n/a	1.8	n/a	n/a
0.6.0	2.4.0	n/a	1.6	n/a	n/a
0.5.0	2.3.0	n/a	1.5	n/a	n/a
0.4.0	2.2.0	n/a	1.4	n/a	n/a
0.3.1	2.1.1	n/a	1.3	n/a	n/a
0.3.0	2.1.1	n/a	1.3	n/a	n/a
0.1.10	2.0.0	n/a	1.0	n/a	n/a

问题

有关使用 tf.Transform 的任何问题，请直接发送至 堆栈溢出 使用 张量流变换 标签。