段一+段二:窗口列表上色/定位联动/命令分组 + 截图与 OCR
段一(界面小修) - 窗口列表:Z 序最前一行浅黄、真实前台浅绿、最小化灰字(此前只标前台,刷新时前台是本工具自己,所以看不到颜色) - 控件树搜索命中改为加粗,颜色只留给窗口列表 - 点监控列表行头三角:在控件树里定位并选中该节点、属性网格联动、画高亮框;再点隐藏框;目标窗口关闭/最小化自动隐藏 - 命令设置改为“执行时机分组”(启动/退出/定时/单次)+ 新增删除时机、新增删除命令、立即执行、启停定时、输出框 段二(截图 + OCR) - ScreenshotService:PrintWindow(PW_RENDERFULLCONTENT)/PrintWindow/BitBlt/屏幕拷贝依次尝试,并校验图像有效 (尺寸 + 颜色数),空白或全黑判为失败,绝不把无效图当成功 - 最小化窗口默认不截,仅授权后临时恢复并还原,提示会闪屏 - OcrClient:对接本机 ocr-server(healthz / upload(multipart) / i2t(轮询)) - 新 valueKey “OCR文本”;正常取值失败时按用户要求自动降级为“截图 + OCR”,并标注来源 - OCR 总开关默认关闭(关闭时完全不调用任何 OCR 服务);新增识别时保存截图与截图目录 - 主界面新增“窗口截图”“OCR 读取”;无界面新增 --ocr - 监控定义的控制路径/页面特征/别名改为可选字段,使手写配置能走到中文校验提示而不是反序列化失败 Co-Authored-By: Claude Code <noreply@anthropic.com>
This commit is contained in:
@@ -254,6 +254,43 @@
|
||||
- [ ] **OCR 本轮未实现**:设置里只有字段与横幅说明("本轮未实现,仅保存配置"),不假装能识别。实现需要引入引擎与中文语言包,并明确截图可能含患者信息、默认不上传外部服务
|
||||
- [x] 回归:三来源控件树(UIA 56 / MSAA 167 / Win32 7,含 ListView 句柄)、拾取下钻、列表读取三例 5 行×3 列、布局自检 93 个控件"异常区域 0 个"、`--read-saved` 仍 found/取值(实测读到 `系统`,随设置页面变化)
|
||||
|
||||
#### 第十轮·段一:界面小修
|
||||
|
||||
- [x] 先用 git 固化可回退基线(仓库此前没有任何提交):`b4c736d 基线提交`
|
||||
- [x] **窗口列表**颜色标识:Z 序最前的一行浅黄底(屏幕上最上层)、真实前台窗口浅绿底、最小化灰字。
|
||||
之前只标前台窗口所以"看不到颜色"——点「刷新窗口」时前台就是本工具自己,而本工具被排除在列表外
|
||||
- [x] 控件树搜索命中改为**加粗**(不再用底色):颜色只留给窗口列表
|
||||
- [x] 点监控列表行头三角 = **在控件树里定位**(按来源比较身份:UIA 用 类型/AutomationId/名称、MSAA 用 PathKey、Win32 用 HWND)→ 展开祖先、选中、属性网格随选中联动;**再点一次隐藏高亮框**;锚定窗口被关闭/最小化时定时器自动隐藏框,不留旧框
|
||||
- [x] **命令设置重新布局**:执行时机分组(启动/退出/定时(on)/启动单次(once))+ 左侧时机列表 + `[新增执行时机] [删除执行时机]` + 右侧命令表格 + `[新增] [删除]` + `[立即执行当前时机的命令] [启动定时命令] [停止定时命令]` + 输出框
|
||||
- [x] 设置默认给出四个常用时机分组(启动/退出/定时/单次),可直接用也可再加
|
||||
|
||||
#### 第十轮·段二:截图 + OCR
|
||||
|
||||
- [x] **`ScreenshotService`**:整窗口 / 客户区 / 任意矩形;依次尝试 `PrintWindow(PW_RENDERFULLCONTENT)` → `PrintWindow(0)` → `BitBlt` → 屏幕拷贝,并记录每一步结果
|
||||
- [x] **有效性校验**:尺寸合理 + 采样颜色数 > 1(全黑/全白/单色判为无效)→ 无效就报失败原因,**不把空白图当成功**。实测记事本客户区 1268x775 成功保存(PrintWindowFull)
|
||||
- [x] 最小化窗口**默认不截**;只有设置里显式授权才临时恢复,并在截完还原为最小化、尽量还原原前台窗口,同时提示会闪屏
|
||||
- [x] 截图保存 PNG(文件名含时间与进程/HWND),日志只记方式/尺寸/路径,**不记录图像内容**
|
||||
- [x] **`OcrClient`**:对接本机 ocr-server(`/healthz`、`/api/v1/upload` multipart、`/api/v1/i2t`);i2t 是异步的,按 0.5 秒轮询到 completed/failed 或超时;失败分类明确(不可达/上传失败/识别失败/超时)
|
||||
- [x] 新增跨来源 valueKey **`OCR文本`**(截取该控件矩形 → OCR);并且在**正常取值失败时自动降级为 OCR**(用户要求:"path 读不到就用截图 + OCR"),结果里的 valueKey 会变成 `OCR文本`、resolution 写明"该值来自截图识别,不是控件原生值"
|
||||
- [x] OCR 设置:**总开关(默认关闭)**、服务地址、最小置信度、总超时、**识别时保存截图**、截图目录
|
||||
- [x] 主界面新增「窗口截图」「OCR 读取」按钮;无界面模式新增 `--ocr`(本次运行强制开启)
|
||||
- [x] 实测:OCR 关闭时**完全没有**任何 OCR 调用;开启时截图并尝试上传,服务未启动则如实报 `OCR 失败:上传图片失败:ConnectFailure`,值标为不可用
|
||||
- [ ] 用真实 ocr-server(`D:\code\work\ocr-server`,`uv run` 或分发包启动,默认 127.0.0.1:8000)验证识别成功路径与中文识别效果
|
||||
|
||||
#### 段二附带修掉的问题
|
||||
|
||||
- [x] `ControlMonitorDefinition` 的 `ControlPath/PageFeatures/ContentKey` 从 `IsRequired=true` 改为可选:手写配置少写字段时,
|
||||
以前会直接反序列化失败并报"不是有效的定义文档",现在会走到 store 的中文校验提示("页面特征不再强制")
|
||||
- [x] **提醒**:截图与 OCR 可能捕获到屏幕上的敏感内容(实测就截到过一行带 token 的地址)。代码只记录长度与路径、
|
||||
不记录识别文本,但**截图文件会落在磁盘上**,请自行控制保存目录与保留期限
|
||||
|
||||
#### 下一段(段三,待做)
|
||||
|
||||
- [ ] 条件评估(窗口条件 + 控件条件)`ConditionEvaluator`,同时供监听规则与悬浮条使用
|
||||
- [ ] `MonitorRule` + `monitor-rules.json` + 设置里的「监听」页:控件出现/消失/值变化/选中变化/焦点变化 + 单击/双击/右键 → 动作(执行命令 / 读取值 / OCR / 截图 / 显示悬浮条)
|
||||
- [ ] 轮询(默认 1 秒)+ 具体窗口元素上的 UIA 事件(回调只投递后台任务)+ `WH_MOUSE_LL` 低级鼠标钩子(**只观察不拦截**)
|
||||
- [ ] 条件悬浮条:满足条件才显示、位置 = 锚定窗口左上角 + 相对 XY(跟随窗口移动)
|
||||
|
||||
#### 本轮暴露的限制(已实测,非推测)
|
||||
|
||||
- [ ] **WinForms `DataGridView` 的单元格值无法通过 UIA 读取**:`TablePattern` 能给出正确的行列数,但 `GetItem` 每次都抛 `E_UNEXPECTED`/`ElementNotAvailable`,随后该 HWND 的整个 UIA Provider 失效(连 `FromHandle` 都失败)。当前实现会如实报告 Partial + 明确提示,不会伪造数据。若要读取,需要评估 Win32 消息 / 跨进程读取方案(见下方待办)
|
||||
|
||||
Reference in New Issue
Block a user