Inference

概述

参考：

Inference(推理) 是一种行为，可以让 Model 依据用户输入，预测出输出。

Inference service(推理服务) 可以获取 自然语言处理、计算机视觉、etc. 计算结果的服务。

参考 Transformers model 的推理架构，Model 只是最底层用于计算 Tensor 的数学公式，想要让人类可用，还需要 分词器、etc. 其它 Model 的辅助功能，这些能力组合在一起，形成一个整体的 Inference service 对外提供服务。