ssurui
|
3a34aabd13
|
docs: 补充拍照提问二次架构（接入检索）的实现与验证记录
新增 §12：真机两次完整拍照问答的实测数据（图像理解稳定 4.0-5.3s，
落在设计目标内；固定提示词把输出压到 45 tokens 上下，对比旧方案
454 tokens/31s 差一个数量级）。
记录两个验证中确认的正确行为：拍无关照片+明确文字问题时，答案准确
命中知识库文档且带引用、没被图像描述带偏——反证了"检索用组合文本、
生成用用户原始问题"这个决策是对的；拍完全无关的照片时回答"我不知道"
是遵守 systemPrompt 的正确行为而非 bug。
记录发现并修复的 deviceId 跨会话失效 bug，以及一个顺带确认的事实：
视觉模型会把画面"倒置"当成图像特征来描述，说明之前那个旋转修复直接
影响识别质量，不只是预览观感问题。
同时更新文档头部状态，明确 §1-§10 是已被推翻的第一版设计（历史记录），
§11 才是当前实现。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01QeoAy5KmkHuKWHAktpEsaN
|
2026-09-03 20:51:14 +08:00 |
|
ssurui
|
87b9ffbab5
|
docs: 拍照提问架构调整为接入本地知识库检索（二次设计，未实现）
推翻 §3 "不做检索" 的原始决定。新流程：拍照后先用固定默认提示词
调一次视觉模型拿简短图像描述（目标5-10s，中间结果"识别到：xxx"
展示给用户），描述+用户问题拼接去检索本地知识库，再用用户原始问题
（不是拼接文本）+ 检索到的上下文做纯文字生成——图片到检索这步之后
就不再传给模型。三段式加载态复用现有 query:stage 推送机制的样式。
只是设计文档更新，代码未改动，等用户确认后再实现。
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
2026-09-03 16:30:36 +08:00 |
|
ssurui
|
ab01effd5b
|
docs: 用真机验证结果更新拍照提问设计文档
记录 vue-tsc/构建/端到端全部验证通过，修正设计与实现的几处出入：
ChatPanel 实际是单轮问答不是消息列表、vision 配置字段做了裁剪（去掉
maxImageDimension/jpegQuality/defaultPrompt 改成硬编码）、真实照片
完整回答实测 ~31s（早期用1x1测试图估算的3-8s严重偏低）。风险清单
标注哪些已解决、哪些还没验证，新增"后续可选优化"区分阻塞项和锦上添花项。
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
2026-09-03 14:59:46 +08:00 |
|
ssurui
|
2ae01c2050
|
docs: 复查确认 er_backend 已支持多模态，解除拍照提问的阻塞项
现场重新查询 er_backend 状态，确认已换成带 --mmproj 的多模态配置
（allow_image=1，vision 896x896），并对 ER_BACKEND_URL/v1/chat/completions
做了端到端真实请求验证（HTTP 200，正确识别测试图片颜色），证明前端
可以直接按现有代理路径发送 image_url content-part，不需要额外适配层。
顺带记录实测性能数据（极简图片 prompt_tokens=808，prefill ~2s）用于
后续加载态 UI 设计参考，更新分阶段计划：阶段0 已完成，阶段1/2 可并行开始。
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
2026-09-03 14:33:58 +08:00 |
|
ssurui
|
ee9b1153d5
|
docs: 新增拍照提问模式设计方案（feature_pic 分支）
只有设计文档，未修改任何业务代码。核心结论：摄像头硬件已具备
（两个标准 USB UVC 摄像头），但当前 er_backend 加载的模型是纯文本
模型（现场查证 llama-server 日志 allow_image=0），视觉能力是否可用
需要跨团队确认，是本功能唯一的硬阻塞项。
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
2026-09-03 14:26:29 +08:00 |
|
ssurui
|
6f93912c86
|
feat: 初始提交——elec_rag_ui 独立前端工程
基于 Electron + Vue3 + TypeScript + LanceDB 的本地化 RAG 问答桌面应用。
仅支持 Linux（Kylin V10 / Ubuntu），适配 ER160（揽月 M50 NPU）和 ER25（芯动力 RPP）计算卡。
服务进程管理委托给 er_backend（HTTP 17700），前端专注 RAG 逻辑与用户交互。
包含：
- src/elec_rag_ui 前端工程（Electron + Vue3）
- models/ 本地嵌入模型（bge-small/base/large，ASR，标点恢复，onnx 文件由 Git LFS 管理）
- docs/ 示例文档（用于测试索引与问答）
|
2026-08-15 19:25:28 +08:00 |
|