Glossary

概述

参考：

• B 站，一口气通关大模型的 100 个关键词

Synmbolism(符号主义)

Connectionism(联结主义)

Model(模型) # 函数

Weight(权重) # 函数里的参数

Large Model(大模型) # 参数量特别大的模型

Training(训练) # 调整模型参数的过程

Pre-training(预训练) # “事先训练”好一个基础模型的方式

Fine-tuning(微调) # 基于预训练的模型“继续训练”，让模型学会具体的任务的方式

Inference(推理) # 参数调整好后，根据函数的输入计算输出结果这个过程

Emergence(涌现) # 量变引起质变，而突然出现的以前没有的能力的现象

Generative Pre-trained Transformer(生成式预训练变换器，简称 GPT)

Generative AI(生成式 AI) #

Token # 不适合翻译成中文，一种抽象的概念，用来表示某种事物，所以类似代币的感觉

Context(上下文)

Prompt(提示词)

Randomness(随机性)

Temperature(温度) # 控制输出的随机性

Top-K # 控制选择范围中最高的

Hallucination(幻觉) # 在语言上说的通，在事实上不通，甚至虚假信息的现象

Retrieval-Augmented Generation(检索增强生成，简称 RAG) # 为解决幻觉问题，而从模型本身的内容之外寻找内容，生成响应的方式。（i.e. 先查资料再回答问题）

Knowledge Base(知识库，简称 KB) # 利用 RAG 为模型提供内容的本地私有内容

Vector Database(向量数据库) # 为了让模型与 KB 中的语义进行匹配，KB 通常以向量的形式存储在向量数据库中。

Embedding([词]嵌入) # 把文字转换成词向量的方式

Vector Search(向量检索) # 对比词向量的相似度，以在 KB 中找到相关问题的答案的方式

Multimoal(多模态) #

Model Compression(模型压缩)

Quantization(量化) # 把模型中的浮点数用更低精度（整数）表示，以减少显存和计算

Distillation(蒸馏) # 用参数量大的模型指导参数量小的模型

Pruning(剪枝) # 删除模型中不重要的神经元，让模型更稀疏以提高速度

Low-Rank Adaptation #

Chain-of-Thought(思维链)

RLHF(人类反馈强化学习)