本地模型与私有部署
Llama、Qwen、Mistral、gpt-oss 等开放权重模型运行在客户自己的服务器或私有云上。数据不出企业基础设施,也没有按次提问的费用。本页的助手就是这样运行的。
- Qwen
- Llama
- Mistral
- gpt-oss
- vLLM
- llama.cpp
- GPU 服务器
技术
下方是我们为客户构建的系统的实际运行模型。每个点都是本公司文档中的一个片段,按语义分布。输入一个问题即可看到检索过程:问题被转换为向量,系统找出并排序最接近的片段,再由运行在我们自有服务器上的语言模型据此写出答案。
/01 RAG
文档被拆分为短片段:合同、手册、制度、产品资料、邮件。系统从 PDF、Word 和扫描件中提取文字,必要时使用 OCR。
嵌入模型把每个片段转换为向量。含义相近的片段彼此靠近,即使使用不同语言书写。
问题被转换为向量并与所有片段比较。系统选出最接近的片段,并可按部门、客户或权限进行过滤。
语言模型只接收这些片段,写出答案并注明每部分的出处。如果文档中没有答案,它会直接说明。
/02 STACK
我们根据每位客户的数据、预算和隐私要求来选择项目所用的组件。
Llama、Qwen、Mistral、gpt-oss 等开放权重模型运行在客户自己的服务器或私有云上。数据不出企业基础设施,也没有按次提问的费用。本页的助手就是这样运行的。
当任务需要最强的模型时,我们通过 API 集成 OpenAI、Anthropic Claude 或 Google Gemini,并设置费用上限、调用日志和备用服务商。
检索增强生成把语言模型与企业文档连接起来。模型依据检索到的片段作答并标注出处,而不是凭通用知识回答。
我们从 PDF、Word、Excel 和扫描文档中提取文字和表格,进行分类,并存入可检索的知识库;文档更新时知识库同步更新。
智能体和工作流可在企业现有工具中读写数据(CRM、ERP、财务系统、邮件、WhatsApp、表格、数据库),需要人工确认的步骤由专人审批。
容器、带 TLS 的反向代理、备份、监控和访问控制。员工使用企业账号登录,查询可记录以便审计,系统可随使用量从一台服务器扩展到多台。
/03 ENTERPRISE
同样的技术也适用于企业内部。员工用自然语言提问,得到来自组织手册、合同、流程和文件的答案,并附上来源链接。它类似 NotebookLM,但为您的公司安装、连接您的系统,并且只显示每个人有权查看的内容。
如何处理退款?入职清单包括什么?答案来自每个流程的现行版本。
本季度哪些合同到期续签?与供应商的协议对违约金怎么规定?几秒内找到并引用条款。
支持和工程团队按语义而非精确字词搜索手册、工单和规格说明。
休假、福利和报销规定,对所有人给出一致的答案,随时可问。
几秒内找到过往方案、价格和案例,更快回复客户。
就发票、对账单和报表提问,数字直接取自文档本身。
梳理文档来源、用户、权限以及最重要的问题。
接入各类来源(共享盘、Google Drive、SharePoint、邮件、数据库)并建立知识库。
数周内为一个团队上线可用的助手,并用该团队的真实问题进行评估。
扩展到更多团队和来源,按组设置权限,提供使用报告和每月改进。
在 30 分钟的免费通话中,我们会梳理对您团队最重要的文档和问题,并提出试点方案。