ADK.wang AI & 软件技术百科

大语言模型开发生命周期 229 ・ Mamba：Mamba 是一种新型 AI 架构，采用选择性状态空间模型（SSM），能高效处 理超长序列。

小恩是五年级的学生，患有注意力缺失多动症（ADHD），他把家庭作业本忘在学校了。

决策树中常见的剪枝算法有：错误率降低剪枝（REP）算法、悲观错误剪枝（PEP）算法、代价复杂度剪枝（CCP）算法、最小误差剪枝（MEP）算法。

为了解决上面几个问题，GPT-3 的训练使用了情境学习（In-context Learning），它是元 学习（Meta-learning）的一种，元学习的核心思想在于通过少量的数据寻找一个合适的 初始化范围，使得模型能够在有限的数据集上快速拟合，并获得不...

当你想到大型语言模型（LLMs），多模态可能不是首先想到的。

本节深入探讨动态注意力的实现原理及其在不同场景中的适应性，分 析长序列任务中长距离注意力（ Long-Range Attention ）机制与稀疏注 意力（ Sparse Attention ）机制的性能提升，同时介绍多样化位置编码 方法在模型理解长短期依...

为了进一步提升 LLM生成内容的可控性，Embabel引入了“意图完整性链（ Intent Integrity Chain）”的设计机制。

微软、谷歌等公司的战略主要围绕大型语言模型（LLM）和AIGC开展，并将它们提供给开发人员以各种方式使用。

图 8-1 RAG 的工作流程 当用户提出查询（ Query）时，检索器会利用混合搜索技术召回相关的文本片段，混合 搜索兼顾了关键词匹配的精准性和语义上的扩展性。

将初始语言模型的微调任务建模为强化学习问题，因此需要定义策略（Policy）、动作空间（Action Space）、观察空间（Observation Space）和打分函数（Scoring Function）等基本要素。

人工标注通过打分模型（Reward Model）将这类信息反馈到LLM的数据里。

确认反应还支持回复后移除——Agent 发出回复后，之前添加的确认反应会被自动移除： ## 14.3.3 打字指示器（Typing Indicators） 许多通道支持"对方正在输入"的提示。

首先，本章介绍了ChatGPT及其相关插件和扩展技术（GPTs）、这些工具如何与现有的AI技术相结合，以及它们如何帮助用户更有效地处理复杂的任务和挑战。

事实上，DeepSeek-R1的训练成本虽然大幅降低，但依然遵循AI发展的扩展法则（Scaling Law），即模型性能与算力需求正相关。

扩张注意力(Dilated Attention)［图8-6(b)中的矩阵］类似滑动窗口，但窗口中存在一些间隙。

扩散变换器：潜在扩散+变换器 Sora的核心——扩散变换器（Diffusion Transformer）是将扩散模型与Transformer架构相结合，通过逐步去除视频噪声，生成足有1分钟的清晰视频。

关系评估模块通过动态归纳模块已经获取了训练集中每个类别的类向量表征，并通过语义编码模块获取了批数据集合（Batch Set）中每个查询文本（Query）的向量。

相比于正统的批量梯度算法（BGD）网络参数调参策略：全部样例计算一次误差、调整一次参数，SGD的网络参数调参策略是：一样例、一误差、一调参。

图9-12所示为批量梯度递减（BGD）与随机梯度递减（SGD）的权值调整路线对比。

这个过程涉及的技术有词嵌入（Word Embeddings）和句子嵌入（Sentence Embeddings），以捕捉文本的语义信息。

在接收到用户请求时，系统会将符合条件的技能内容注入到系统提示词（System Prompt）中。

ASCII折叠分词过滤器 （ASCII folding token filter）将不是普通ASCII字符的Unicode字符转化为ASCII中等同的字符，前提是这种等同存在。

拉式采集（PULL） “拉”的方式是指系统先在目标服务器端安装特定的代理（agent），一般代理在收集到指定的日志后，经过一定处理，将相关信息保存在本地并等待服务器端的轮询消费，后端通过定时轮询主动去agent端拉取日志。

同时，AI Agent与具身机器人技术的发展，使得人机协同从最初的AI助手，到担任Copilot协同作用，再到以拟人智能体（Agent Simulation）的形式完成大部分工作。