ssurui
|
87b9ffbab5
|
docs: 拍照提问架构调整为接入本地知识库检索(二次设计,未实现)
推翻 §3 "不做检索" 的原始决定。新流程:拍照后先用固定默认提示词
调一次视觉模型拿简短图像描述(目标5-10s,中间结果"识别到:xxx"
展示给用户),描述+用户问题拼接去检索本地知识库,再用用户原始问题
(不是拼接文本)+ 检索到的上下文做纯文字生成——图片到检索这步之后
就不再传给模型。三段式加载态复用现有 query:stage 推送机制的样式。
只是设计文档更新,代码未改动,等用户确认后再实现。
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
2026-09-03 16:30:36 +08:00 |
|
ssurui
|
ab01effd5b
|
docs: 用真机验证结果更新拍照提问设计文档
记录 vue-tsc/构建/端到端全部验证通过,修正设计与实现的几处出入:
ChatPanel 实际是单轮问答不是消息列表、vision 配置字段做了裁剪(去掉
maxImageDimension/jpegQuality/defaultPrompt 改成硬编码)、真实照片
完整回答实测 ~31s(早期用1x1测试图估算的3-8s严重偏低)。风险清单
标注哪些已解决、哪些还没验证,新增"后续可选优化"区分阻塞项和锦上添花项。
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
2026-09-03 14:59:46 +08:00 |
|
ssurui
|
2ae01c2050
|
docs: 复查确认 er_backend 已支持多模态,解除拍照提问的阻塞项
现场重新查询 er_backend 状态,确认已换成带 --mmproj 的多模态配置
(allow_image=1,vision 896x896),并对 ER_BACKEND_URL/v1/chat/completions
做了端到端真实请求验证(HTTP 200,正确识别测试图片颜色),证明前端
可以直接按现有代理路径发送 image_url content-part,不需要额外适配层。
顺带记录实测性能数据(极简图片 prompt_tokens=808,prefill ~2s)用于
后续加载态 UI 设计参考,更新分阶段计划:阶段0 已完成,阶段1/2 可并行开始。
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
2026-09-03 14:33:58 +08:00 |
|
ssurui
|
ee9b1153d5
|
docs: 新增拍照提问模式设计方案(feature_pic 分支)
只有设计文档,未修改任何业务代码。核心结论:摄像头硬件已具备
(两个标准 USB UVC 摄像头),但当前 er_backend 加载的模型是纯文本
模型(现场查证 llama-server 日志 allow_image=0),视觉能力是否可用
需要跨团队确认,是本功能唯一的硬阻塞项。
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
2026-09-03 14:26:29 +08:00 |
|
ssurui
|
6f93912c86
|
feat: 初始提交——elec_rag_ui 独立前端工程
基于 Electron + Vue3 + TypeScript + LanceDB 的本地化 RAG 问答桌面应用。
仅支持 Linux(Kylin V10 / Ubuntu),适配 ER160(揽月 M50 NPU)和 ER25(芯动力 RPP)计算卡。
服务进程管理委托给 er_backend(HTTP 17700),前端专注 RAG 逻辑与用户交互。
包含:
- src/elec_rag_ui 前端工程(Electron + Vue3)
- models/ 本地嵌入模型(bge-small/base/large,ASR,标点恢复,onnx 文件由 Git LFS 管理)
- docs/ 示例文档(用于测试索引与问答)
|
2026-08-15 19:25:28 +08:00 |
|