名词术语
ANI（狭义AI）: 单一任务专家AGI: 人类等级通用智能ASI: 超人类全能智能GPT: Generative Pre-trained Transformer(（生成式预训练变换器）)是OpenAI开发的大型语言模型（LLM）系列Prompt: 对于AI模型的输入文本，用于引导模型生成所需输出的指令或问题。Emergent Abilities: 大语言模型（LLM）在参数规模达到阈值后突然出现的意外新技能,称之为涌现能力(AI模型规模增大时，从量变到质变，突然展现小模型不具备的能力)Parameters: 大语言模型训练学习得到的参数weights(权重)和biases(偏置),参数数量决定了其容量和复杂度Layers: 是指神经网络的结构单元,数据在网络中逐层处理和转换,通常在transformer架构中每一层负责特定的职责RLHF: reinforcement learning through human feedback
llm
大语言模型在海量文本数据上训练的大规模神经网络模型
- 大模型的知识库都存在
cut-off date(截止日期)、 - 大模型每次的输入输出通常是不确定性的,而静态性源于训练数据
- 训练流程
pre-training(base model) >fine-turn(weight & biases calculation > assistant model)
tokens
tokens是大模型处理prompt的基本单位,对输入的文本进行解析拆解以 openai tokenizer 为例:
- 英文:1个token ≈ 4个字符 或 ≈ 0.75个单词
- 中文:1个汉字 ≈ 1-2个tokens
prompting
- System Message: 是指 AI 模型创建者预设的默认或初始提示，用于指导模型行为
- Persona: 是额外附加的上下文,明确领域角色能更好的处理特定任务、情景
- Context: 主要受Transformer自注意力机制影响
token limit决定了上下文的准确度,比如输入输出总和相加超出大模型的限制则会被提醒开启一个新的会话 - Context Length：静态上限，整个交互的总token数（prompt历史+当前输出）。
- Context Window：动态范围，生成每个新token时实际参考的最近token片段（通过注意力机制控制）。
- In-context training: 通过在prompt中的示例让大模型更低成本的产出更准确的结果
- Chain of thought: 让大语言模型在回答复杂问题时逐步展示推理过程
Let's think step by step，而不是直接给出答案 - Few-shot prompting: 在prompt中提供少量示例，帮助模型理解任务要求和预期输出格式
- Zero-shot prompting: 直接给出任务指令而不提供示例，测试模型的推理能力和泛化能力
- Chain-of-thought prompting: 让模型逐步展示推理过程，适用于复杂问题的解答
- Role prompting: 通过指定角色或身份来引导模型生成特定风格或领域的内容
parameters
| 参数 | 作用 | 典型值 | 场景建议 |
|---|---|---|---|
| Temperature | 控制输出随机性 | 0.1-1.0 | 0.2代码生成/事实问答，0.8创意写作/头脑风暴 |
| Top K Sample | 只从概率最高固定K个token中采样 | 40-50 | 中等长度对话，诗歌韵律控制，K=20代码补全 |
| Top P Sample | 累积概率≥P的最小token集合采样 | 0.9 | 通用对话，长文本生成，故事续写（OpenAI标准） |
| Min P Sample | 动态阈值：min_p × 最高概率token下限 | 0.05-0.1 | 高质量创意生成，技术文档，混合质量需求 |
| Max Tokens | 最大输出长度 | 2048 | 摘要提炼（512），详细分析（4096），代码生成（8192） |
| Presence Penalty | 惩罚已出现token | 0-2 | 避免主题重复，0.6列表生成，1.2长文防循环 |
| Frequency Penalty | 按出现频率惩罚重复词 | 0-2 | 防词汇重复，1.0文章写作，1.5聊天防啰嗦 |
thinking-methods
| 思维方式 | 核心机制 | 典型Prompt | 最佳场景 |
|---|---|---|---|
| CoT (思维链) | 线性逐步推理 | "一步步思考，解释每步" | 数学题、逻辑推理 |
| ToT (思维树) | 树状多分支搜索+评估 | "生成3条思路，评估得分，选最佳继续" | 游戏解谜、规划优化 |
| ReAct (推理行动) | 思考→行动→观察循环 | "Thought: [推理] Action: [工具调用] Observation: [结果]" | 工具交互、知识检索 |
| GoT (思维图) | 图状节点连接重组 | "将思路A、B连接生成C，寻找最短路径" | 复杂关联、多跳推理 |
| Self-Consistency | 多路径采样+多数投票 | "生成5个答案，选出现最多的" | 减少幻觉、多选判断 |
| Least-to-Most | 渐进分解（小→大问题） | "先解决子问题，再合成最终解" | 长链推理、分解任务 |
tricks
- 尽可能压缩提示词
- 通过示例引导模型理解任务要求
- 使用系统消息设定对话背景和角色
- 逐步引导模型推理复杂问题
- 结合外部工具增强模型能力（如搜索引擎、数据库）
- 监控和调整参数以优化输出质量