跳到正文

落地案例/交通物流/案例 030

资料整理 · 已去标识

值班工程支持与内部知识问答

项目方工程支持助手的参考价值在于,它不是只把文档接到聊天框,而是把协作工具权限、向量索引分发、单请求成本和反馈评测全部纳入值班支持系统。

资料 · 已去标识不含企业、人物与原始链接;数值为来源方披露,非独立审计;编辑归纳处均已标注。

01Background

业务背景

场景
交通物流 · 系统与协作
现状
项目方各平台团队每月在数百个协作工具支持频道提出约4.5万个问题,答案散落在内部内部知识站、技术问答社区、工程需求文档和历史对话中;重复问答和多轮等待同时消耗提问者与值班工程师时间。

02Pain points

核心痛点

  1. 01

    项目方各平台团队每月在数百个协作工具支持频道提出约4.5万个问题,答案散落在内部内部知识站、技术问答社区、工程需求文档和历史对话中

  2. 02

    重复问答和多轮等待同时消耗提问者与值班工程师时间

03Solution

解决方案

项目方自研工程支持助手,把内部资料经分布式计算抓取、大模型应用框架切块和向量化模型转为向量,通过内部向量服务与内部索引分发服务构建受频道权限约束的索引;用户在协作工具提问后,知识服务检索相关片段并让LLM基于证据回答,同时记录成本、即时反馈和离线评测结果。

用到的能力

  • 协作工具
  • 分布式计算
  • 大模型应用框架
  • 向量化模型
  • 内部向量服务向量数据库
  • 内部索引分发服务
  • 内部模型网关
  • 消息队列/数据仓库
改造链路
  1. 01内部知识站、内部技术问答社区与工程需求文档

  2. 02分布式计算抓取、大模型应用框架切块与分布式计算函数批处理

  3. 03向量化模型生成文档和问题向量

  4. 04内部向量服务向量数据库与内部索引分发服务索引分发

  5. 05协作工具请求进入知识服务检索并调用LLM

  6. 06频道级权限、UUID成本审计、消息队列/数据仓库反馈与LLM-as-a-judge评测

04Human in the loop

人机分工

人工把关

工程支持助手先处理已有文档可回答的问题;需要代码审查、上下文不足或回答无关时转给值班工程师。用户以Resolved、Helpful等标签反馈,平台团队用人工反馈和评测报告继续调整检索与生成

05Outcome

效果

未披露统一量化结果

来源方说明工程支持助手已进入项目方内部支持流程并建立可追踪的反馈、成本与幻觉评测闭环;来源方披露了问题规模和完整架构,但没有披露解决率、节省工时或投资回报。

  • 每月约4.5万个问题是需求基线,不是工程支持助手处理量。
  • 文章未给上线后的解决率、响应时间或节省工时,不据此推算ROI。

06Method & limits

做法与边界

FDE 在现场做了什么编辑归纳

  1. 01统计支持频道问题量和重复问答来源
  2. 02比较微调与RAG后选择更快上线的RAG
  3. 03按协作工具频道映射知识空间访问权限
  4. 04为每次请求传递UUID并按请求核算模型成本
  5. 05把用户反馈流入数据仓库并用内部机器学习平台评测检索与生成

可以借鉴

  • 内部知识助手必须继承原知识空间权限
  • 支持机器人要明确哪些请求直接转人工
  • 成本、用户反馈和离线质量评测应使用同一请求标识关联
  • RAG组件需要分别评估召回与生成而不是只看最终答案

资料透明度

  1. 业务背景来源披露
  2. 解决方案与编辑
  3. 改造链路来源披露
  4. FDE 做法与编辑
  5. 效果资料不足

来源披露与编辑编辑归纳资料不足