RAG 技术深析：增强 LLM 能力的关键 Databricks 团队推出的 RAG 技术简明指南，报告非常全面精准的总结了 RAG 的原理、实施步骤、优势及应用，并与其他 LLM 定制方法进行了全面对比，推荐给朋友们下载阅读。 RAG 的关键组成: - LLM 和提示工程 - 向量搜索和嵌入模型 - 向量数据库 RAG 的核心步骤: - 数据准备 ·- 解析输入文档 ·- 将文档分割成 smaller chunks ·- 使用嵌入模型将文本块转换为向量 ·- 在向量数据库中存储和索引嵌入向量 ·- 记录元数据 - 检索 ·- 将用户查询转换为向量 ·- 在向量数据库中搜索相似记录 ·- 选择最相关的结果 - 增强 ·- 将检索到的相关文本与用户原始提示组合 ·- 构建包含上下文和使用说明的新提示 - 生成 ·- 将增强后的提示发送给 LLM ·- LLM 生成响应 ·- 对输出进行后处理 (如有必要) RAG 实施的关键考虑: - 文档分块大小 ·- 太小可能缺乏足够上下文 ·- 太大可能导致 LLM 无法提取相关细节 ·- 需要根据源文档、LLM 和应用目标进行调整 - 检索结果数量 ·- 检索太少可能遗漏相关信息 ·- 检索太多可能稀释相关信息 ·- 需要平衡相关性和信息量 - 上下文窗口大小 ·- 需要确保所有检索文本和用户提示适合 LLM 的上下文窗口 ·- 考虑 "lost in the middle" 现象，LLM 可能更关注长文本的开头和结尾 - 提示工程和后处理 ·- 设计有效的提示模板以指导 LLM 如何使用上下文 ·- 考虑对 LLM 输出进行后处理以确保格式一致性或添加额外信息 - 评估方法 ·- 单独评估检索和生成步骤 ·- 考虑使用其他 LLM 来评判响应质量 ·- 评估响应与提供上下文的 "忠实度" - 对话历史管理 ·- 决定是否实现多轮对话功能 ·- 如果实现，需要考虑如何有效管理对话历史和上下文长度 RAG 的优势: - 可以纳入专有数据和最新信息 - 提高 LLM 响应的准确性 - 实现细粒度的数据访问控制 RAG 与其他 LLM 定制方法的比较: - 提示工程: 最简单但表达能力有限 - 微调: 可以改变模型行为但更新信息不便 - 预训练: 最高成本但控制力最强 - RAG: 在成本、复杂性和表达能力间取得平衡 完整报告下载地址： t.co/6fipOC8Ug5

Fern Docs: 开发者友好的 API 文档 前几天看到文档产品 Mintlify 18M$ A轮融资信息很受震撼，当我们以为这个场景已经稳定在 ReadMe、GitBook 等成熟产品时，又有一轮新的文档革命正在发生。 个人感觉，最近两年 AI 团队发展迅速，团队大多数深度学习背景，提供开发者服务时，往往需要提供多种开发语言的接入(Python\Go\TS\JS...)，对 AI 初创团队来讲这是很大的精力分散，所以他们会选择能更快实现 SDK 和文档的产品，来更快的给开发者提供服务，来消费自己的 GPU 和 API 资源，这是很实际的有稳定收入的发展路径。 Fern @buildwithfern 就是看到了这样的机会，它现在是 Cohere、Webflow、Pinecone、Hume、OctorAI 等 AI 团队的 API 文档提供方，和 Mintlify 的客户 Anthropic、Perplexity、Cursor、Freepik 等可以说瓜分了大部分 AI 江山，这也是某种意义上的 AI 卖铲子行业 😃 话说回来，看看 Fern 的特点： Docs-as-code（文档即代码）： - 允许像管理代码一样管理文档 - 支持 Markdown 和 MDX 格式 - 可以使用 GitHub、VS Code 等熟悉的工具和工作流 基于 OpenAPI： - 可以上传 OpenAPI 规范（原 Swagger） - 自动生成 API 参考文档 API Playground： - 用户可以在文档中直接尝试 API - 支持用户登录以自动填充 API 凭证 - 加快用户上手和测试 API 的速度 SDK 代码片段： - 展示如何使用 SDK 调用 API - 代码片段会随 SDK 的更新而自动更新 专业设计： - 强调文档代表着工程质量 - 可以匹配品牌标识，包括颜色、logo、字体 - 支持明暗模式 组件库： - 提供 UI 组件以美化文档 - 允许使用自定义的 React 组件 t.co/3CuzqaqeGU

jina-embeddings-v3 @JinaAI_ jina-embeddings-v3 是一个 570 百万参数的文本嵌入模型，支持多语言和长文本 (最多 8192 token )输入，模型在多语言数据和长文本检索任务上达到了最先进的性能。 关键创新: a) 任务特定的低秩适应 (LoRA) 适配器: - 为不同任务 (如检索、聚类、分类等) 训练了特定的 LoRA 适配器 - 相比使用指令提示，这种方法提供了更好的任务特定性能 b) 故障感知的合成数据增强: - 通过分析常见的检索失败案例，生成了针对性的合成训练数据 - 这提高了模型在边缘情况下的鲁棒性 c) 集成了多项先进技术: - 使用 Matryoshka 表示学习实现可变维度嵌入 - 采用 RoPE 位置编码支持长文本输入 - 使用 FlashAttention 2 提高计算效率 训练方法: - 采用三阶段训练: 预训练、嵌入任务微调和任务特定适配器训练 - 使用了大规模多语言语料库和多样化的任务特定数据集。 性能评估: - 在 MTEB 基准测试中，jina-embeddings-v3 在英语任务上超过了 OpenAI 和 Cohere 的最新专有嵌入模型 - 在多语言任务上，它的性能优于 multilingual-e5-large-instruct - 在长文本检索任务上表现出色 与 LLM 嵌入的比较: - 相比基于大语言模型 (如 e5-mistral-7b-instruct ) 的嵌入，jina-embeddings-v3 在参数量和嵌入维度上大幅降低，但性能仅略微下降 - 这使得它在实际应用中更加实用和高效 论文地址： t.co/RZe0XcvAvV

Anthropic - Courses 9 月份 Github 趋势榜榜首，目前已更新 5 门课程！ 00 - Anthropic API 基础 讲解使用 Claude SDK 的基本要素：获取 API 密钥、使用模型参数、编写多模态提示、流式响应等。 01 - 提示词工程互动教程 课程分为初级、中级和高级三个阶段，通过 9 个章节和练习进行。每章都包含示例和互动区域，实践所学。 - 基础提示结构 - 清晰直接的指令 - 角色分配技巧 - 数据与指令分离 - 输出格式化和 Claude 语音 - 思考步骤分解 - 示例使用方法 - 避免幻觉输出 - 复杂提示构建（行业用例） 02 - 真实世界提示 面向有经验的开发者，包含 5 个课程，教授如何将关键提示技术应用到复杂的真实世界场景中。 - 提示技术回顾 - 医疗提示案例分析 - 提示工程过程 - 通话总结提示案例分析 - 客户支持机器人提示案例分析 03 - 提示评估 讲解如何在 Anthropic API 工作流中成功实施评估，9 个课程，循序渐进。分为人工评分、代码评分、分类评估、模型评分等评估类型，使用 Anthropic's Workbench 和 Promptfoo。 - 评估基础知识 - 人工评分评估（使用 Anthropic's Workbench） - 代码评分评估 - 分类评估 - Promptfoo 工具的使用 - 自定义评分器 - 模型评分评估 - 自定义模型评分评估 04 - 工具使用 讲解如何在 Claude 的工作流中成功实施工具使用，6 个课程，从基础到高级的工具使用技巧。 - 工具使用概述 - 简单工具的初步实践 - 使用工具强制 JSON 输出 - 完整的工具使用工作流程 - 工具选择策略 - 构建多工具聊天机器人 课程项目地址： t.co/PHrqKauQIC

AI对软件开发团队的影响 @CIOonline @GrantGross AI 编码助手重塑软件开发团队结构，可能导致初级开发人员和 QA 职位减少，而团队将更加精简，主要由高级开发人员和 AI 专家组成。 团队结构变化 - 开发团队可能缩小，集中于高级开发人员和 AI 专家 - 初级开发者、实习生和部分产品经理岗位可能减少 - 未来团队可能由产品经理/业务分析师、UX 设计师和软件架构师组成 开发人员角色转变 - 开发人员从"作者"变为"编辑"，主要审查和调整 AI 生成的代码 - 重点转向理解业务需求和跨职能团队合作 - 对批判性思维能力的要求提高 AI 工具的广泛应用 - 97% 的开发者报告在工作中使用 AI 编码工具 - GitHub Copilot 用户在 2024 年 1 月底达到 130 万，较上一季度增长 30% 潜在挑战 - 培养下一代软件架构师可能面临困难，因为初级开发岗位减少 - 可能需要额外的教练来提高现有团队的 AI 使用效率 - 对 AI 生成代码的过度依赖可能带来风险 不同观点 - 有人认为 AI 编码助手的好处可能被夸大 - 一些专家认为低代码/无代码工具可能比 AI 对开发工作影响更大 - 对 AI 工具的依赖可能导致未来成本大幅上升的担忧 长期影响 - AI 可能提高开发效率，使更少开发人员完成更多工作 - 传统开发团队可能被扰乱，更多员工能够使用 AI 和低代码/无代码工具编写应用程序 - 对开发人员技能的要求可能发生变化，重点转向系统设计和 AI 监督 原文链接： t.co/7p920pWcwp

What is RAG ? @elastic 文章全面介绍了 RAG 技术，包括其定义、工作原理、优势、挑战以及未来发展趋势，将 RAG 与其他 AI 语言模型技术进行了对比，并讨论了 RAG 在 Elasticsearch 中的应用。 RAG 定义和工作原理: RAG (retrieval augmented generation) 是一种结合检索模型和生成模型 (如 LLM) 的技术，它通过从外部数据源检索相关信息来增强文本生成过程,从而提高生成内容的准确性和相关性。 RAG的优势: - 可以访问最新、最相关的信息 - 成本效益高，无需频繁重新训练模型 - 能够提供可验证的来源 - 可以生成更个性化和准确的回答 - 减少 AI "幻觉"问题 - 适用于广泛的自然语言处理任务 - 有助于减少偏见 RAG vs 微调: - 文章比较了 RAG 和模型微调这两种提升 AI 语言模型性能的方法。 - RAG 通过结合外部知识来增强模型能力，而微调则是在特定数据集上进一步训练预训练模型。 RAG 的挑战与局限性: - 依赖外部知识的准确性 - 检索过程可能耗时且计算密集 - 整合检索和生成组件存在技术挑战 - 可能涉及隐私和合规问题 - 在创造性内容生成方面可能受限 RAG 的未来趋势: 文章预测了 RAG 的几个发展方向，包括更强的个性化能力、可定制行为、更高的可扩展性、与其他 AI 技术的混合应用,以及实时低延迟部署等。 RAG 在 Elasticsearch 中的应用: 文章介绍了如何使用 Elasticsearch 构建支持 RAG 的搜索功能，以改善生成式 AI 应用的性能。 原文地址： t.co/I14erRW3NG

GPT Pilot @PythagoraAI GPT Pilot 是一个 AI 驱动的开发工具，用于构建完整的应用，而不仅仅是生成代码片段，以 VSCode @code 扩展形式存在，目标是成为一个真正的 AI 开发者伙伴，能够编写完整功能、调试、讨论问题等。 工作原理： - GPT Pilot 使用多个 AI Agents (如产品所有者、规格撰写者、架构师、技术主管等) 模拟真实开发流程。 - 逐步构建应用，允许在开发过程中进行调试和修复。 - 开发者可以监督实现过程，并在需要时介入。 主要特点： - 能够生成大约 95% 的应用代码。 - 支持大规模应用开发。 - 使用上下文过滤机制，避免在每次 LLM 对话中存储整个代码库。 差异化： - 与类似工具 (如 Smol developer 和 GPT engineer) 不同，GPT Pilot 强调与开发者协作。 - 逐步构建应用，而不是一次性生成整个代码库。 关于 PythagoraAI： YC W24 成员团队，创始人 @ZvonimirSabljic 项目地址： t.co/02CFDT5k9T

并行计算的革命 @khushi__411 —— CPU vs GPU 架构对比及应用 文章强调了理解并行计算架构的重要性，以及如何根据数据规模和任务特性选择合适的计算平台。 - CPU 和 GPU 的架构差异: ·- CPU 针对低延迟设计，适合顺序执行 ·- GPU 针对高吞吐量设计，适合并行计算 - CUDA 的引入，支持 CPU-GPU 协同执行 - 并行编程的关键考虑因素，如识别可并行化的代码、数据传输等 - CUDA 和 CPU 向量化编程的代码示例对比 ·- 性能对比: 小规模数据时CPU 更快 ·- 大规模数据时 GPU 显著优于 CPU 文章地址： t.co/1HzAOCA5X2

Cookbooks - RAG @cohere 再次推荐 Cohere 的 RAG Cookbooks，涵盖 RAG 的不同阶段和角度，Cookbook 中理论结合代码实践的过程也很有参考价值，看看课程信息 (文档+开源代码) 👇👇👇 00 - Basic RAG RAG 的作用、基础过程讲解和代码实践，这里也重点强调了信息出处引用的重要性，对于信息置信度有重要作用。 t.co/V7Pt7u2Vng 01 - End-to-end RAG using Elasticsearch and Cohere 学习如何使用 Cohere 和 Elastic 进行语义搜索和检索增强生成，结合 Elastic 的 RAG 也是一种很重要的场景。 t.co/PcltcGsLJt 02 - Chunking Strategies 探索 RAG 系统的分块策略，分块对于 R(retrieval) 的质量起到关键作用，分块规则、大小、重叠部分等都是需要关注的点。 t.co/FCdQBF8UWP 03 - Migrating Monolithic Prompts to Command-R with RAG Command-R 简化了向 RAG 的提示迁移，减少幻觉并提高简洁性和基础性；从问答机器人或搜索场景向 RAG 的迁移过程也很典型，看看哪些是需要调整的，哪些是可以复用的。 t.co/CAn2pTUynV 04 - RAG With Chat Embed and Rerank via Pinecone 使用 Cohere 的 Chat 端点，结合 Embed 和 Rerank 构建基于 RAG 的聊天机器人，使用 @pinecone 作为向量数据库。 t.co/C3PhLda2UT 05 - Creating a QA Bot From Technical Documentation 使用 Cohere Embed 和 LlamaIndex @llama_index 创建基于技术文档回答用户问题的聊天机器人。 https://t.co/kZAWFS7hK4 06 - Deep Dive Into RAG Evaluation 学习如何评估 RAG 模型，RAG 中评估过程非常重要，根据评估结果可以调整 Retrieval 和 Embed 等多个过程的策略和阈值等，对 RAG 最终结果有直接影响。 https://t.co/13OQ617p7w Cohere Cookbooks: https://t.co/UP7baL2g7E

LLM 结构化输出 @LeewayHertz @pydantic ——定义、技术、应用与优势全解析 结构化输出是 LLMs 生成符合预定格式 (JSON、XML 等) 的内容的能力，这种能力对金融、医疗、法律等需要精确格式的领域尤其重要，它使 AI 生成的内容更易于解释、集成到现有系统中。 传统 LLM 输出与结构化输出的对比: - 传统输出是自由格式文本，而结构化输出遵循特定格式。 - 结构化输出更可靠、一致，更易于机器处理和验证。 结构化输出的生成方法: - 使用有限状态机 (FSM) 指导 LLM 按特定格式生成文本。 - FSM 通过过滤无效 token，确保输出符合预定义结构。 生成结构化输出的技术: - 提示词工程: 通过精心设计的提示来引导模型。 - 函数调用: 让模型生成特定的函数调用。 - JSON 模式: 强制模型输出 JSON 格式数据。 - 受约束采样和上下文无关文法 (CFG): 确保输出严格遵循预定义格式。 结构化输出的应用: 数据提取和组织、表单生成、文档摘要、问答系统、知识库管理、报告生成、合规和监管、数据整合、客户支持、内容分类 结构化输出的优势: - 提高准确性和一致性 - 增强可解释性 - 更易于与其他系统集成 - 减少 "幻觉" 和不相关信息 - 简化数据处理和分析 Pydantic 的重要作用： - Pydantic 主要用于数据验证和设置管理，在 LLM 结构化输出中，它扮演着关键角色： ·- 模式定义：使用 Pydantic 可以定义期望的输出结构，包括字段类型、必填字段、可选字段等。 ·- 数据验证：确保 LLM 生成的输出符合预定义的结构和规则。 ·- 数据解析：将 LLM 的原始输出转换为结构化的 Python 对象。 - 在 JSON 模式方法中的应用： ·- 定义输出结构：使用 Pydantic 模型类来定义期望的 JSON 结构。 ·- 验证 LLM 输出：使用定义好的模型来验证和解析 LLM 生成的 JSON 输出，确保其符合预期结构。 此外 Pydantic 在 function call 和数据后处理、数据可靠性等方面也有重要作用。 这里也再推荐 Jason Liu @jxnlco 的一篇文章： Pydantic is Still All You Need: Reflections on a Year of Structured Outputs t.co/IW6qY7VWIO 原文地址： t.co/IbG0bTN0er

生成式 AI 综述 @LeewayHertz ——使用场景、应用、解决方案和实施 文章深入探讨了生成式 AI 的各个方面，包括其定义、工作原理、能力、应用场景以及在不同行业中的影响。生成式 AI 正在重塑各行各业，其影响远超自动化等其他技术，是推动创新的催化剂。未来，生成式 AI 的应用将更加深入。 生成式 AI 定义与工作原理: 生成式 AI 是 AI 的一个子领域，使用机器学习技术生成新的内容。主要通过训练、调优和生成三个阶段工作。 生成式 AI 的能力: - 视觉内容生成: 图像生成、视频创作、3D 形状生成等。 - 音频生成: 音乐创作、文本到语音转换等。 - 文本生成: 文章写作、对话生成、语言翻译等。 - 软件开发: 代码生成、架构设计等。 行业应用: - 娱乐业: 音乐和视频制作、游戏开发等。 - 金融业: 欺诈检测、个性化银行服务、风险管理等。 - 医疗保健: 医学图像分析、个性化治疗方案等。 - 制造业: 预测性维护、供应链优化等。 - 零售业: 个性化购物体验、需求预测等。 - 法律业: 文件分析、合同生成等。 实施步骤: 文章详细介绍了实施生成式 AI 的步骤，包括目标定义、数据收集与预处理、模型选择与训练、验证与测试、部署与集成等。 最佳实践: 文章提出了成功采用生成式 AI 的一些最佳实践，如从内部应用开始、增强透明度、实施强大的安全措施、广泛测试、了解模型局限性等。 t.co/AUXw5e3h9Y

全面讲述：高级 RAG @LeewayHertz 一篇非常全面深入探讨高级 RAG 系统的发展、技术和应用的文章，覆盖 GraphRAG 和多模态 RAG 等方向，强烈推荐给大家阅读（或收听）！ RAG 的重要性: - RAG 通过结合外部知识源来增强 LLM 的性能 - 据 Databricks 统计，60% 的企业 LLM 应用使用 RAG - RAG 可以使 LLM 的响应准确性提高近 43% 高级 RAG 的发展: - 从基础/朴素 RAG 发展到高级 RAG，解决了复杂查询处理、上下文理解等问题 - 多模态 RAG 和知识图谱是重要发展方向 高级 RAG 架构和技术: - 主要组件包括数据准备、用户输入处理、检索系统、信息处理和生成、反馈和持续改进等 - 高级技术包括多阶段检索、查询重写、子查询分解、假设文档嵌入 (HyDE) 等 知识图谱在 RAG 中的应用: - 知识图谱提供结构化的知识表示，增强了上下文理解和推理能力 - GraphRAG 结合了知识图谱和向量数据库,提高了准确性和可解释性 多模态 RAG: - 整合文本、图像、音频、视频等多种数据类型 - 通过统一的嵌入空间和跨模态注意力机制来管理不同模态的信息 应用场景: - 高级 RAG 在市场研究、客户支持、合规风控、产品开发、金融分析等多个领域有广泛应用 - 多模态 RAG 在医疗保健、教育、金融服务等行业有潜在应用 文章地址： t.co/xpNzRow6Dr 播客收听地址： t.co/SYirdcHSVc

😂 最爱放 Magnet 链接的大模型团队 @MistralAI 这次是一个 12B 模型 btw... pixtral-12b-240910 ? why pixtral ? 哪位朋友下载了感谢分享。

一个转折点 昨天看到这个视频很有感触，特别是对我这种性格很内向的人，很多时候会很需要外界给一个触发点，让我可以会出回应，否则就会陷入一个隔离的状态。 其实我们并不是天生冷漠，只是不敢主动表达善意。

从金融到零售 @AI21Labs ——长上下文 AI 模型改变企业决策的 7 种方式 伴随 LLM 上下文的不断增加，越来越多的企业场景开始有了满足的可能，也可以有更多的场景被挖掘出来。 AI21 labs 列举了企业中的 7 个主要长上下文使用场景: - 金融行业: 01 - 分析财报电话会议记录: 可以同时处理 8 年 (32 个季度) 的财报数据 02 - 总结财务文件: 可以同时分析 8 年的 10-K 报告 (约 800 页) - 医疗保健和生命科学: 03 - 生成临床试验材料: 可处理 200 页的临床试验评估手册 04 - 总结临床试验访谈: 可同时分析约 25 个小时的访谈记录 - 零售业: 05 - 产品描述生成器: 可同时处理多个产品信息和生成多个变体 - 客户支持 (跨行业): 06 - 面向客户的聊天机器人: 可处理 15 轮深入的问答交流 07 - 内部客服助手: 可扫描多达 800 页的组织数据 文章地址： t.co/7Y3JEy25fl

对话式 RAG 系统 @AI21Labs 文章介绍了 AI21 对话式 RAG 系统，为那些关注生成式 AI 应用输出的事实性和质量的企业提供解决方案，目标是超越单轮问答，实现多轮对话能力和动态规划策略。 对话式 RAG 架构： · 执行引擎的核心角色: - 整个系统的中枢，负责决策和协调其他组件。 - 它有两个主要判断路径: "不需要组织数据" 和 "需要组织数据"。 - 这种设计允许系统灵活处理不同类型的查询，既能利用 LLM 的通用知识，又能在需要时检索专门的组织数据。 · LLM (Jamba) 的双重功能: - 直接回答不需要组织数据的查询。 - 基于检索引擎提供的信息生成响应。 - 这种设计充分利用了 LLM 的强大能力，同时通过外部知识增强其回答。 · 验证模块的重要性: - 位于 LLM 输出和最终响应之间，这个模块确保了系统输出的质量和可靠性。 - "重新生成 + 修正" 的反馈循环表明系统具有自我纠错能力。 - 这对于企业应用尤其重要，因为它提高了输出的准确性和可信度。 · 查询构建与检索引擎的协同: - 查询构建模块将用户的原始输入转化为适合检索引擎的查询格式。 - 检索引擎不仅返回相关信息，还提供 "顶部检索段"，这是为了帮助 LLM 更好地理解和利用检索到的信息。 原文地址： t.co/FfINFVcQcc

用记忆增强 AI ——MemoRAG 如何处理复杂查询和超长上下文 传统 RAG 系统在处理复杂任务和长上下文时存在局限性，它们主要适用于明确信息需求的简单问答任务，难以处理涉及隐含信息需求或非结构化知识的复杂任务。 MemoRAG 引入了一个记忆模块，能够构建整个数据库的紧凑全局记忆，使得系统能够: - 理解隐含的信息需求 - 在非结构化数据中定位相关信息 - 处理需要多步推理的复杂查询 MemoRAG 采用双系统架构: - 记忆模块: 使用轻量但长程的语言模型形成数据库的全局记忆 - 生成模块: 使用功能强大的语言模型，基于检索到的信息生成最终答案 关键机制: - 全局记忆形成: 将原始输入压缩成更小的记忆标记集，保留关键语义信息 - 线索生成: 基于全局记忆生成任务相关的线索，指导检索过程 - 基于线索的检索: 使用生成的线索从原始数据库中检索精确的证据文本 实验评估: - 在 ULTRADOMAIN 基准测试上的表现: MemoRAG 在各种复杂任务和长上下文场景中显著优于基线模型 - 在标准 RAG 任务上的表现: MemoRAG 在传统问答任务上仍保持竞争力 主要优势: - 处理隐含信息需求的能力增强 - 在非结构化和长文本数据上的表现提升 - 适应性强，能处理多种复杂任务类型 论文地址： t.co/yuRtROH1nn

2024 Intelligent Applications 40 #IA40 @MadronaVentures Madrona 发布的 2024 IA40 最终榜单，最终上榜团队分为四个方向： - 早期 (Early, 融资不超过 3000 万美元) - 中期 (Mid-Stage, 融资 3000 万至 2 亿美元) - 增长期 (Growth-stage, 融资超过 2 亿美元) - 赋能者 (Enablers, 与阶段无关, 为智能应用提供工具和基础设施的公司) 整体 #IA 趋势： - 生成式 AI 公司持续高增长，尤其在企业生产力领域 - 非 AI 原生公司通过增强 AI 功能为客户提供价值 - 公司正在探索 AI 的自主能力以执行任务 - AI 公司继续以快速节奏获得融资和高估值 赋能者 (Enablers) 见解: - 正在改变公司处理和利用非结构化和结构化数据的方式 - 开源模型和基础设施公司推动了价值和速度的提升 - AI 成本持续下降, 效率提高 列举一些榜单中大家做 AI 应用都会用到的产品： - 早期：@MultiOn_AI @CodiumAI - 中期：@elevenlabsio - 增长期：@perplexity_ai @glean @runwayml - 赋能者：@databricks @AnthropicAI @OpenAI @huggingface @MistralAI @LangChainAI @UnstructuredIO @vercel 榜单地址： t.co/BwACEp5TuE

反思调优技术一目了然 Reflection Tuning' in a nutshell 这几天 Reflection-Llama-3.1-70B 推出时的惊艳和被发现的评测偏差、API 伪造等讨论沸沸扬扬，但是不可否认的是 Reflection 是对模型训练有效的方式，大家也都很期待优质的数据 + Reflection 到底能给基础模型带来多少提升！ 作者 @justinxzhao 的文章为我们讲解了反思调优的过程： -- 从教师模型收集推理： 使用 CoT("逐步思考") 或反思提示("") 技术从一个强大的教师模型中收集推理独白。 -- 精炼和过滤： 利用 MoA、其他 LLM 作为评判、规则或启发式方法来精炼和过滤这些推理过程。 -- 训练学生模型： 使用精炼后的高质量合成数据来训练或微调一个较小的 LLM（学生模型） 不论 Reflection-Llama-3.1-70B 最终结论如何，未来的几周内，应该都会出现多个基于 Reflection 调优的模型，至于评估表现上限如何，咱们拭目以待！ LinkedIn 原文： t.co/jWAA3ZGny2

人工智能: 计算智能体的基础 UBC 两位教授 David L. Poole 和 Alan K. Mackworth 关于人工智能基础的著作。 涵盖了人工智能的多个关键领域，从基础概念到高级主题，包括机器学习、推理、规划、不确定性处理等。 它不仅关注技术方面，还探讨了人工智能的社会影响，为读者提供了全面的人工智能基础知识。 -- 主要章节内容 -- 01 - 人工智能与智能体基础介绍 - 人工智能和智能体的概念 - 探讨智能体架构和分层控制 02 - 确定性条件下的推理与规划 - 搜索解决方案的方法 - 约束推理 - 命题逻辑与推理 - 确定性规划 03 - 不确定性条件下的学习与推理 - 监督机器学习 - 神经网络与深度学习 - 不确定性推理 - 不确定性学习 - 因果关系 04 - 不确定性条件下的规划与行动 - 不确定性规划 - 强化学习 - 多智能体系统 05 - 个体与关系的表示 - 个体和关系的概念 - 知识图谱与本体 - 关系学习和概率推理 06 - 人工智能的社会影响与未来展望 - 讨论人工智能的社会影响 - 回顾过去并展望未来 书籍在线阅读地址： t.co/vuEBlAc0iR

Docling:🥚PDF => JSON or MD 🐣 @IBMResearch 开源项目 Docling，将 PDF 文档转换为 JSON 和 Markdown，主要特点 👇 ⚡ 快速稳定将任何 PDF 文档转换为 JSON 或 Markdown 📑 理解详细的页面布局、阅读顺序，并恢复表格结构 📝 从文档中提取元数据，如标题、作者、引用和语言 🔍 可选择性地应用 OCR（用于扫描版 PDF） 通过技术报告，可以看到它的实现原理👇 t.co/71FgH4cjDU - PDF 解析: -- 使用 PDF 后端检索程序化文本标记 (包括字符串内容和页面坐标)。 -- 渲染每页的位图图像以支持下游操作。 - 模型流水线: -- 对文档的每一页独立应用一系列 AI 模型来提取特征和内容，主要包括布局分析和表格结构识别。 -- 布局分析模型: 基于 RT-DETR 架构，在 DocLayNet 数据集上训练。 -- TableFormer: 用于表格结构恢复的视觉-transformer 模型。 -- OCR: 可选支持，默认使用 EasyOCR。 - 结果聚合与后处理: -- 汇总所有页面的结果。 -- 进行后处理，包括: 增强元数据、检测文档语言、推断阅读顺序等。 -- 最终组装成可序列化为 JSON 或 Markdown 的类型化文档对象。 t.co/FNDGmhntRJ

LLM University @cohere Cohere LLM University 是一个专注于企业 AI 技术的在线学习平台，旨在为开发人员和技术专业人士提供全面的资源，专家指导的课程和分步指南，帮助学习者快速上手并在快速发展的 AI 领域保持领先地位。 课程分为 9 个主要模块，涵盖了从基础概念 (如词嵌入和句子相似性) 到高级主题 (如 Transformer 模型、RAG 和工具使用) 的广泛内容，它还包括实际应用，强调实践应用，如构建聊天机器人、部署模型和使用各种平台。 主要模块: 01: 大语言模型 02: 文本表示 03: 文本生成 04: 部署 05: 语义搜索 06: 提示词工程 07: 检索增强生成 08: 工具使用 09: Cohere 在 AWS 上的应用 主要老师都是 Cohere DevRel 和 PM 核心成员： @SerranoAcademy @MeorAmer1 @maximevoisin_ai t.co/gtkKlS3LJd

软件公司的客户体验 AI Agent @parahelp_ai 在企业的客户体验工作中，AI 能够快速针对企业知识库和通识知识，为客服人员提供背景知识和回复信息等，但是，涉及到多个平台的用户信息、行为数据、购买行为、物流信息等，这些平台的信息很难互通后统一提供出来。 Parahelp 在这方面做了深入的思考和产品架构，对 Stripe、Retool 和 Linear 等工具的接入，Intercom 和 Zendesk 等平台的直接执行，与客服团队现有的工具无缝集成，可靠地处理并解决支持工单。 关于 Parahelp： @ycombinator S24 成员团队，主要创始人 Mads Lunau @MadsLunau、Anker @ankerbachryhl； Parahelp 是 Captions @getcaptionsapp 和 Perplexity @perplexity_ai 的客户体验产品提供商。 t.co/PeZIA02TfE

完美提示词(速查表) 推荐一份非常完整和直观的提示词工程速查表，涵盖主要提示词技术：CoT、few-shot、AUTOMAT、CO-STAR、Templates、RAG、output-format 等，以最直观的图表引导形式呈现，适合 AI 行业的朋友们备用查询，时常拿出来看一看。 t.co/omi95dmSFB

提升 GPT-4 性能: HTML => 纯文本 @edublancas 作者发现使用 GPT-4 进行网页抓取的成本很高，认为文档的 HTML 结构对提取结构化数据很重要，去除 HTML 结构会降低准确性但可以降低成本。 于是作者做实验，使用英国水星音乐奖维基页面作为输入数据，设计了 20 个问题 (10 个非结构化，10 个结构化) 来测试 GPT-4 和 GPT-4-mini 在不同 HTML 预处理条件下的性能。 实验设置 a) 无处理: 直接传递原始 HTML b) 清理 HTML: 只保留 标签内容，移除大部分 HTML 属性，替换 class 和 id c) 完全移除 HTML: 只保留文本内容 d) 将 HTML 转换为 Markdown 实验结果 · 非结构化问题 - GPT-4 和 GPT-4-mini 性能相似 - 预处理对准确性影响不大 - 建议: 使用 GPT-4-mini，移除所有 HTML 标签以最大化成本节省 · 结构化问题 - GPT-4 性能明显优于 GPT-4-mini - 预处理对准确性影响很小 - 建议: 根据具体数据样本测试两个模型，权衡准确性提升和成本增加 - 无论选择哪个模型，都可以移除所有 HTML 标签以降低成本 主要发现 - 对于非结构化问题，GPT-4-mini 与 GPT-4 性能相近，但成本更低 - 对于结构化问题，GPT-4 性能明显优于 GPT-4-mini - 预处理 HTML (甚至完全移除 HTML) 对模型性能影响很小 - 移除 HTML 可以显著降低成本 文章地址： t.co/alkO3cybWk 开源项目： t.co/w4yQYKF0Nb

解构生成式 AI 应用基础设施栈 ➕ 基础设施栈的全景图 @SapphireVC Sapphire Ventures 关于生成式 AI 应用基础设施的全面结构，关于现状、挑战、机遇与未来趋势等。 生成式 AI 应用基础设施栈的主要组成部分: - 基础设施 (如 GPU 云托管) - 基础模型 (开源和闭源) - 数据管理与处理 - 模型训练和部署 - 应用开发和编排 - 验证和安全 - 监控和可观察性 - 端到端训练和微调平台 企业在构建生成式 AI 应用时面临的挑战: - 技术复杂性和不确定性 - 缺乏最佳实践和经验 - 人才稀缺 关键趋势和发展: - 提示词工程的持续重要性 - AI Agent 的早期发展 - 安全和合规问题日益突出 - 监控和可观察性工具的演变 t.co/jjKSSSDVVy

Prompt Engineering 之 '奇技淫巧' 🤣 正规 Prompt Engineering 知识学完之后，今天再看一些 '奇技淫巧'，开玩笑🤣，是一些简短但很有效的小提示！ 记得之前看过宝玉老师 @dotey 分享过 '给大模型小费' 和 '如果不能回答这个问题，我会失业' 这个方向的 prompt 技巧，让大模型能够重视和认真回答问题。 今天看到 Reddit 上有一个高质量的系列讨论，由 'Explain it with gradually increasing complexity.' 开始，让大模型能由浅入深、有策略有节奏的输出答案，并利用 'Continue' 引导它不断深入和持续输出。 t.co/pGXO1Ln7lS

Prompt 分享: 思考-反思-输出 这段 prompt 是一个精心设计的指导，让 AI 助手生成高质量、结构化的回答。 - 角色定位: 将 AI 定位为能提供详细、逐步回答的助手。 - 输出结构: 要求使用 、 和 标签，分别对应思考过程、反思过程和最终输出。 - 内容要求: 强调详细的推理过程、链式思考、自我反思和错误检查。 - 表达风格: 指导使用分析性的、略微正式的语气，注重清晰传达思维过程。 - 格式规范: 对标签的使用提出了具体要求,如单独成行等。 t.co/zMRoGXn08F

对话式 AI 的 3 条最佳实践 00 - 了解对话式 AI 和生成式 AI 的区别 - 对话式 AI 专注于实现人机之间的自然对话 - 生成式 AI 用于生成各种内容,如文本、图像等 - 了解这些区别有助于为不同用例选择合适的 AI 技术 01 - 聚焦于解决实际问题，而不是追逐最新技术 - 应该从业务目标和用户需求出发，而不是盲目追求最热门的 AI 技术 - 强调良好的产品开发原则在 AI 项目中仍然很重要 - 将开发团队视为战略合作伙伴，选择合适的 AI 合作伙伴来加速开发 02 - 不要默认选择聊天机器人 - 聊天机器人只是众多 AI 解决方案中的一种 - 文章举例说明了一些最初计划开发聊天机器人，最后演变成其他更适合的 AI 解决方案的案例 - 建议保持开放态度，考虑各种 AI 技术来解决特定问题 文章地址： t.co/IfpOOuwLsF

RAG 系统揭秘：增强 LLM 性能的新方法 @willowtreeapps 文章全面介绍了 RAG 系统的工作原理、优势和挑战。 强调了 RAG 在增强 LLM 性能、提供最新信息和减少 AI 幻觉方面的重要作用，指出了实施 RAG 系统需要考虑的关键因素，如评估、知识质量和成本平衡等。 文章地址： t.co/g6ftIVDpJL