第二支羽毛

加速大模型推理：深入探究MQA、GQA、MLA（DeepSeek）、KV缓存技术

加速大模型推理：深入探究MQA、GQA、MLA（DeepSeek）、KV缓存技术回顾：多头注意力机制为什么LLM推理是串行的 KV缓存的挑战 2019年——多查询注意力机制（Multi Query Attention） 2023年5月——分组查询注意力机制（Grouped Query Atten

LLM架构

OpenAI o3-mini与DeepSeek-R1在各类基准测试中的大比拼 OpenAI终于发布了o3-mini，还为ChatGPT的所有用户免费提供了一些使用额度。但大家心里始终有个大大的疑问：OpenAI的o3-mini会比DeepSeek-R1更胜一筹吗？虽说OpenAI官方团队并没有发布

LLM架构

📖阅读时长：20分钟 🕙发布时间：2025-02-02 近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容 LLM架构专栏知乎LLM专栏知乎

LLM架构

LLM架构

微调特定于域的搜索的文本嵌入：附Python代码详解 📖阅读时长：20分钟 🕙发布时间：2025-02-02 近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容 LLM架构专栏

使用 DeepSeek-R1 等推理模型将 RAG 转换为 RAT，以实现更智能的 AI 传统的检索增强生成（RAG）系统在生成具备上下文感知的答案方面表现出色。然而，它们往往存在以下不足：精确性不足：单次推理可能会忽略复杂查询中的细微差别。理解不够深入：若没有迭代过程，输出结果可能无法全面解决

RAG LLM架构

DeepSeek R1：了解GRPO和多阶段训练近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容 LLM架构专栏

LLM架构

多LLM文本摘要：创新方法与卓越成果论文 https://arxiv.org/abs/2412.15487 Multi-LLM Text Summarization 2412.15487 多LLM摘要框架在每一轮对话中有两个至关重要的步骤：生成和评估。根据使用的是多LLM去中心化摘要还是中心化摘要

LLM架构基础模型

“如果模型可以识别图像而无需针对该特定任务进行训练怎么办？”欢迎来到视觉语言模型的世界。更多专栏文章点击查看： LLM 架构专栏

LLM架构

利用大模型解决表格数据处理难题近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容 LLM架构专栏知乎LLM专栏

LLM架构

相似性搜索为何重要？人工智能和机器学习的兴起，催生了大量高维数据表示形式，即嵌入（embeddings），它们捕捉数据点之间的复杂关系，助力强大的分析与理解。然而，在大型数据集中查找相似嵌入是一项计算密集型任务。相似性搜索在检索增强生成（Retrieval-Augmented Generation

LLM架构