为 Tableau 构建 Einstein Copilot 的 AI 基础设施涉及哪些复杂问题？
其中一个主要挑战是优先开发基准测试系统。该系统从各种来源收集数据，在评估问答互动的有效性方面发挥着至关重要的作用。为了优化数据处理工作流程，团队投入了大量资源来开发遥测和数据管道。
增强 Einstein Copilot for Tableau 的智能功能是另一个重点。这涉及：
- 将标准和定制模型集成到生产环境中。使用 Salesforce Einstein Trust Layer 来保护请求和响应。为了确保这些模型的适用性，团队依靠基准测试系统来评估模型性能并做出明智的决策。
- 以授权客户数据为基础。我们智能地将最少的数据发送到 LLM，同时保持顶级安全性。元数据最初由字段识别使用，算法可以进一步研究维度的值，以便更准确地提供上下文
- 考虑到 Tableau 最佳实践，从丰富的上下文中生成代码。代码包括计算或概念规范，并由 Viz 平台转换为可视化。该团队旨在确保客户能够从最佳可用选项中受益，并且所提供的智能是透明的。这意味着要避免采用一刀切的方法，而是根据每个客户的个人需求量身定制模型。
在为 Tableau 开发 Einstein Copilot 时，您的团队在准确性和效率方面面临哪些障碍？
首先，我们面临的挑战是准确解释用户的问题，并将其翻译成 Tableau 编程语言（包括 VizQL 和 Notional Spec）中的适当代码。虽然我们有一个可行的模型，但我们仍在不断努力提高其准确性，并减少翻译中的任何幻觉。
此外，我们正在解决分析中的知识生成问题。这涉及增强先决条件知识，包括解决数据质量、可靠性、准确性、数据源更新、数据覆盖范围以及潜在的限制或偏差。我们还专注于生成描述性知识，为不同领域提供准确且信息丰富的摘要。
最后，我们正在研究基于用户数据和查询的可视化自动生成，例如 OpenAI 中的 Sora， 它可以通过一些提示生成视频。为了实现这一点，我们正在开发一个监督式微调 LLM 模型，该模型可以有效地将数据转换为具有可视化的多模态应答器。这大大减少了分析所需的时间和精力。生成的可视化可以在 Tableau 中呈现或在 Copilot 聊天框中显示，为用户提供快速且富有洞察力的数据视觉表示。
改进 Einstein Copilot for Tableau 的 AI 和核心功能面临的关键技术挑战是什么？
主要挑战之一是找到更多数据来训练和提高系统的智能。为了解决这个问题，团队将重点转移到：
- 合成数据。 我们不断改进分析数据生成算法，以提高模型质量并简化流程。
- Tableau Public。一个社区驱动的平台，托管数百万份报告、可视化和数据源。该平台吸引了大量用户群并收集了各种各样的数据。通过提供免费的技术访问，Tableau 社区还可以贡献他们的数据，进一步丰富数据集。
此外，团队需要平衡 Copilot 的准确性、速度和创造力，这需要仔细调整。团队开发了一种新颖的分析规范，可以提高 Tableau 系统功能解释用户意图的速度，同时保持准确性。为了平衡 Einstein Copilot for Tableau 中的准确性和创造力，团队 电话销售线索 利用了 LLM 中的温度概念。通过调整温度（代表 AI 响应的创造力水平），他们可以控制所提供答案的准确性。这可确保响应是根据事实信息生成的，并满足用户的期望。保持较低的温度可降低出现幻觉的风险，并为用户提供可靠而准确的见解。
持续改进是团队优先考虑的另一个重要方面。为了增强 Einstein Copilot for Tableau 的用户体验，团队使用了一个名为 Zeus 的实验平台。该平台促进了系统工程、意图检测和知识生成，使团队能够确定需要改进的领域并不断增强 Copilot 的功能。
您能解释一下 Einstein Copilot for Tableau 团队和 Salesforce AI Research 团队之间的合作吗？
此次合作是解决 Einstein Copilot for Tableau 问题相关性和响应质量这一严峻技术挑战的关键。为了解决这个问题，团队收集了可能与用户查询无关的问题。然后，这些有问题的问题被转发给 AI 研究 团队，他们利用这些数据构建模型，帮助随着时间的推移提高 Copilot 的响应质量。
协作的一个例子涉及意图分类。虽然 Einstein Copilot for Tableau 软件可以支持多种意图，但在准确分类用户意图方面仍有 20% 左右的错误率。为了解决这个问题，我们的团队收集了反馈数据，包括用户反馈和测试用例，并将其分享给 AI 研究团队，后者随后 旅行社要想在激烈的竞争中脱颖而出 专门为意图分类构建了一个较小的、经过微调的语言模型，旨在提高准确性并降低错误率。
您如何对 Einstein Copilot for Tableau 进行 AI 测试和质量保证？
如上所述，我们开发了一个基准测试系统，并不断在此基础上进行改进。该资产涵盖了各个领域和行业数据，使我们能够彻底测试不同的场景并确保高覆盖率。
接下来，我们利用 Einstein Copilot 的 AI 功能对 Tableau 本身进行测试。我们使用一个模型生成答案，然后使用另一个模型对其进行评分。这种交叉测试方法有助于我们验证 AI 生成的响应的准确性和可靠性。
此外，还利用客户反馈和供应商标签数据来优化 Einstein Copilot 以适应 Tableau 的模型并增强其开箱即用的功能。
通过结合这些方法，我们可以确保准确的结果并保持最高的质量标准。
