第二支羽毛

对Transformer中位置编码的可视化理解

了解位置编码背后的数学原理和直觉 Transformer是一种深度学习架构，它利用注意力机制来学习数据元素之间的关系。它由一个编码器和一个解码器组成，与传统的循环神经网络（RNN）或卷积神经网络（CNN）不同，它可以并行处理输入序列，而不依赖于顺序处理。Transformer模型的一个重要组成部分是

LLM架构

从Softmax到Flash Attention的关键优化

2017年，《Attention is All You Need》一文发表，向世界展示了Transformer模型可以依靠注意力（Attention）层取得优异的性能。八年后，我们见证了这些模型借助注意力的力量通过了图灵测试以及其他更多成就。尽管注意力非常强大，但它也有一定的代价。随着输入变长，计算

LLM架构

从线性到非线性：感知器如何诞生深度学习

从线性到非线性：感知器如何诞生深度学习更多专栏文章点击查看： LLM 架构专栏

LLM架构理论基础

LangGraph 多智能体群：使用 LangGraph 创建群风格多智能体系统的 Python 库

LangGraph 多智能体群是一个 Python 库，旨在将多个 AI 智能体编排成一个有凝聚力的 “群”。它建立在 LangGraph 之上，LangGraph 是一个用于构建健壮、有状态智能体工作流的框架，以实现一种特殊形式的多智能体架构。在一个群中，具有不同专业的智能体根据任务的需要动态地将

LLM架构

利用Transformer、DPR、FAISS和BART对检索增强生成（RAG）进行深入技术探索

利用Transformer、DPR、FAISS和BART对检索增强生成（RAG）进行深入技术探索 |文末点击阅读原文查看网页版| 更多专栏文章点击查看： LLM 架构专栏

RAG

强化学习详解第八部分 RLAIF 如何实现人工智能反馈的规模化飞跃

超越人类极限的规模对齐在我们之前的文章中，我们探讨了人类反馈强化学习（RLHF）是如何通过使用人类评估来教导模型我们的偏好，从而彻底改变了人工智能对齐的方式。但 RLHF 存在一个令人困扰的局限性，你可能已经猜到了：“人类”。别误会我的意思 —— 人类反馈是无价的。但它也很昂贵、缓慢，并且在

强化学习

强化学习详解第七部分 RLHF：解码 AI 与人类偏好对齐的奥秘

|文末点击阅读原文查看网页版| 更多专栏文章点击查看： LLM 架构专栏

强化学习

清华大学| 强化学习是否激励LLM中超越基本模型的推理能力？

|文末点击阅读原文查看网页版| 更多专栏文章点击查看： LLM 架构专栏

强化学习

置顶
深度解析创新RAG：PIKE-RAG与DeepRAG，RAG技术的创新变革

置顶
2W8000字读懂GPT全家桶：从GPT-1到O1的技术演进与突破

对Transformer中位置编码的可视化理解

从Softmax到Flash Attention的关键优化

从线性到非线性：感知器如何诞生深度学习

LangGraph 多智能体群：使用 LangGraph 创建群风格多智能体系统的 Python 库

利用Transformer、DPR、FAISS和BART对检索增强生成（RAG）进行深入技术探索

强化学习详解第八部分 RLAIF 如何实现人工智能反馈的规模化飞跃

强化学习详解第七部分 RLHF：解码 AI 与人类偏好对齐的奥秘

清华大学| 强化学习是否激励LLM中超越基本模型的推理能力？

置顶 深度解析创新RAG：PIKE-RAG与DeepRAG，RAG技术的创新变革

置顶 2W8000字读懂GPT全家桶：从GPT-1到O1的技术演进与突破

置顶
深度解析创新RAG：PIKE-RAG与DeepRAG，RAG技术的创新变革

置顶
2W8000字读懂GPT全家桶：从GPT-1到O1的技术演进与突破