Deep learning

概述

参考：

• Wiki, Deep_learning

Deep learning(深度学习) 是Machine learning方法家族的一部分，专注于利用多层神经网络来执行分类 、 回归和表征学习等任务。该领域从生物神经科学中汲取灵感，其核心是将人工神经元堆叠成层，并“训练”它们来处理数据。“深度”一词指的是网络中使用了多层（从三层到几百层甚至几千层不等）。学习可以是监督的、半监督的或无监督的。

深度神经网络、深度信念网络、深度强化学习、递归神经网络、卷积神经网络和 Transformer 等深度学习架构已应用于计算机视觉、语音识别、自然语言处理、机器翻译、生物信息学、药物设计等领域、医学图像分析、气候科学、材料检验和棋盘游戏程序，它们在这些方面产生的结果可与人类专家的表现相媲美，在某些情况下甚至超过人类专家的表现

TODO:

• 生成式模型
• 判别式模型

深度学习框架

TensorFlow # 基于 NumPy 构建，谷歌开发

• 用于操作 Tensor(张量) 的库

PyTorch # 基于 Torch 构建，Facebook 开发

Paddle，百度飞桨

DeepSpeed

参考：

• GitHub 项目，microsoft/DeepSpeed

DeepSpeed Chat 一键式 RLHF 训练，让你的类 ChatGPT 千亿大模型提速省钱 15 倍