构建 AI 数据分析师的经验教训
摘要
作者基于在Google、Twitter的ML经验及三年创业实践，总结了构建AI数据分析师的核心教训：单纯的Text-to-SQL远不够用，真实问题需要多步骤规划、外部工具和上下文支持；语义层（如Malloy）是产品核心，它编码业务含义、缩小搜索空间并支持编译时校验；检索本质是推荐问题，需混合关键词、嵌入和重排序；生产环境对质量、延迟和可解释性的要求远超基准测试。
内容框架与概述
文章开篇从作者的职业背景切入，讲述了从隐私驱动的归因问题转向AI数据分析师赛道的创业历程。作者发现企业的核心痛点不是缺数据，而是无法发现和使用已有数据，这奠定了产品方向。
中段深入技术架构，首先论证了Text-to-SQL的局限性——真实业务问题往往需要多步工作流：规划分析、发起SQL查询、Python转换、假设验证、可视化解释。随后重点阐述语义层的价值，作者选择Malloy作为语义建模语言，通过定义维度、度量和关系构建知识图谱，既能为LLM提供精准上下文，又支持编译时错误检测。文章还展示了如何通过RAG和函数调用将语义层与LLM集成。
文章后半部分讨论了检索策略、评估体系以及质量与延迟的权衡。作者强调生产环境的挑战远超学术基准，用户期待的是人类级别的分析深度和可辩护的推理过程，而非简单的pass@k指标。
核心概念及解读
语义层（Semantic Layer）：将业务含义（如"收入"的计算方式）编码到统一模型中，而非散落在提示词里。它既是LLM的知识来源，也是代码校验的基础。
Malloy：一种开源语义建模语言，将数据关系建模为源表和连接的图结构，支持定义度量、维度及丰富的元数据注释，并能将语义查询编译为优化的SQL。
多智能体研究系统（Multi-agent Research System）：面对复杂分析问题，系统需具备问题分解、精准检索、代码编写、环境交互和迭代学习的能力，而非单一的SQL生成。
检索即推荐问题：有效检索需混合关键词搜索、向量嵌入和微调重排序器，在精度、召回率和延迟之间寻求平衡。
基准与生产的鸿沟：学术基准关注pass@k，但用户需要的是可深入探索、推理可解释的人类级分析能力。
原文信息
此摘要卡片由 AI 自动生成