完善 XPath 定位与控件监控体验
- 增加简明到深入的 XPath 定位教程 - 保留增量控件树刷新与可编辑 Path - 完善悬浮条条件选择和诊断 Co-Authored-By: Claude Code <noreply@anthropic.com>
This commit is contained in:
@@ -284,7 +284,180 @@
|
||||
- [x] **提醒**:截图与 OCR 可能捕获到屏幕上的敏感内容(实测就截到过一行带 token 的地址)。代码只记录长度与路径、
|
||||
不记录识别文本,但**截图文件会落在磁盘上**,请自行控制保存目录与保留期限
|
||||
|
||||
#### 下一段(段三,待做)
|
||||
#### 第十一轮:可见性、拾取展开、搜索面板、页面特征、焦点列、悬浮条配置
|
||||
|
||||
- [x] **高亮框只在目标真正可见时显示**(定位框 + 拾取预览共用):新增 `WindowVisibility`,
|
||||
检查 窗口存在/可见/未最小化/矩形在可见屏幕内,并用 5 个取样点判断**是否被其他窗口遮挡**
|
||||
(本工具自己的覆盖层不计入遮挡)。最小化或被遮挡时只说明原因,不画框
|
||||
- [x] **拾取完成后展开控件树**:以被拾取元素为根读树后展开根与其一层子节点并选中
|
||||
- [x] 控件树搜索的「更多」区域**按内容自适应高度**(之前固定 58px 把第二行条件截断)
|
||||
- [x] 选中控件树节点时,在「控件属性」标题栏显示该控件的**页面特征**(进程/窗口类/标题关键词),
|
||||
并新增「复制页面特征」按钮,便于填进悬浮条条件
|
||||
- [x] 监控列表「焦点」列 = **该控件当前是否获得焦点**:默认「未读取」,之后每 3 秒轮询**一行**
|
||||
(后台线程、单飞、可在工具栏关闭自动刷新),Hover 说明"是否获得焦点"
|
||||
- [x] **悬浮按钮改为可配置的「悬浮条」**(设置 → 悬浮按钮):
|
||||
- 每条:名称、启用、透明度、**相对锚定窗口的 X/Y**、显示条件(进程 / 窗口类 / 标题关键词 /
|
||||
**导入监控项 path** = 该控件出现才显示)、要求窗口可见未被遮挡
|
||||
- 按钮表格:**按钮名称、点击执行操作(读取列表/定位控件/刷新状态/检查窗口/拾取/截图/OCR/执行命令)、
|
||||
快捷键、点击执行命令、启用**
|
||||
- 运行时(`FloatingBarManager`):按条件显示、**跟随锚点窗口按相对坐标定位**、窗口消失或被遮挡即隐藏;
|
||||
锚点窗口缓存避免每秒重新枚举窗口;导入的 path 每 5 秒在后台复查一次
|
||||
- 快捷键用 `RegisterHotKey` 注册(`WM_HOTKEY` 在主窗体 WndProc 处理),冲突会记日志;
|
||||
保存时会校验快捷键格式并提示
|
||||
- 拖动词条会把**相对位置写回设置**(关闭时保存)
|
||||
- [x] 新增共享 `WindowMatcher`(分级窗口匹配),定位与悬浮条条件用同一套规则
|
||||
- [x] 回归:三来源树、拾取下钻、列表读取三例、设置窗口构造(127 个控件)、布局自检"异常区域 0 个"
|
||||
|
||||
#### 第十二轮:现场 8 条反馈
|
||||
|
||||
- [x] ① **悬浮条在窗口移动过程中跟随**:拆成两个节拍 —— 120ms 的**跟随节拍**只读 `GetWindowRect`
|
||||
(内核直接回答,不会卡在目标进程上)并用「锚点窗口矩形 + 相对偏移」重算位置;1 秒的**条件节拍**
|
||||
仍负责锚点重发现、遮挡判断与导入 path 检查。拖动悬浮条本身时跟随让位(新增 `IsDragging`),
|
||||
松手把相对位置写回设置(`ApplyDraggedOffset` 此前从未被调用,拖动后会被拉回原位)
|
||||
- [x] ② **选中控件监控列表的一行即定位**:选中行(或同一行的另一格)会在**后台线程**定位该条目,
|
||||
定位成功后画高亮框、在控件树里展开祖先并选中该节点。定位由同步改异步(跨进程窗口枚举 + 解析
|
||||
不再卡界面),并用请求序号丢弃被新选中行取代的旧结果;若该条目属于**另一个窗口**,
|
||||
会自动读取那个窗口的控件树,读完再选中对应节点
|
||||
- [x] ③ **拾取后自动在控件监控列表新增一条(未启用)**,并展开控件树、选中被拾取的节点;
|
||||
同一次拾取期间的深层重探不会重复添加
|
||||
- [x] ④ **拾取框/定位框跟随、隐藏与遮挡**:新增 `HighlightFollower`,每 120ms 用「控件相对锚点
|
||||
窗口的偏移 + 锚点窗口矩形」重算位置(纯 Win32,不可能被目标进程卡住);UIA/MSAA 的重新解析
|
||||
放到后台线程、约 3 秒一次,只用于修正偏移(滚动/布局变化)。最小化 / 隐藏 / 被遮挡 / 移出屏幕
|
||||
时立即隐藏并说明原因,目标重新可见后自动回来,只有窗口关闭才彻底停止。拾取预览框与定位框都改用
|
||||
它,拾取结束时不再留下一个停在原地的旧框
|
||||
- [x] ⑤ 「复制页面特征」移入工具栏的**「杂项 ▾」菜单**(右键同一按钮也打开),工具栏不再被低频按钮占用
|
||||
- [x] ⑥ **退出时结束所有命令,以及命令拉起的应用**:新增 `ProcessJob`
|
||||
(`JOB_OBJECT_LIMIT_KILL_ON_JOB_CLOSE`)——每个命令进程启动后加入该 Job,命令自己拉起的子进程
|
||||
继承 Job;Job 句柄关闭时(正常退出、崩溃被强杀都会关闭)由系统结束整棵树。退出路径另外先按 PID
|
||||
走 `taskkill /T /F`(上限 1.5 秒,避免卡住退出),命令超时也从「只杀 cmd.exe」改为结束整棵树
|
||||
- [x] ⑦ **控件树搜索栏按内容自适应高度**:搜索行与「更多」区域都允许换行,高度按**当前宽度**
|
||||
重新测量(此前只在构造时算一次,那时宽度还未知,所以第二行条件被截断);窄栏下按钮会换行而不是
|
||||
被挤掉。▲/▼ 改为固定 28px(AutoSize 会把它们撑到 75px 的最小按钮宽度,默认宽度下就换行)
|
||||
- [x] ⑧ **设置窗口放大并按屏幕自适应**(本机 1705x1018 工作区 → 1229x855,原来固定 860x640),
|
||||
最小 980x720;命令页列表行占 70%,说明行按内容高度(原来固定 58px 会把整行截断)
|
||||
- [x] ⑧b **截图里的显示 bug(悬浮按钮页)**:按钮表格被上面的字段压住。原因:该面板里 `Dock=Fill`
|
||||
的表格比 `Dock=Top/Bottom` 的字段区更晚加入,于是表格先占满整块区域、字段再画在它上面 ——
|
||||
截图里那块"空灰色列表"就是被盖住的表格(表头与前 3 行都在字段后面)。改为**先加表格**、
|
||||
再加底部按钮行与字段区;字段区改为**按内容自适应高度**(固定 190px 会切掉下半部分字段),
|
||||
标签与输入框成对成组,换行时不会拆开
|
||||
- [x] 本轮验证方式(独立宿主进程,不在仓库内):`LayoutHarness`(布局探针 + 控件监控列表新增 + 跟随测试)、
|
||||
`TargetHost`(跨进程锚点窗口)。实测结果:
|
||||
- ① 锚点移动后 **350ms 内**悬浮条已在新位置(340+14,230+14 → 540+14,320+14);锚点最小化即隐藏,还原后 1 秒内回来
|
||||
- ③ 新增后行数 +1、`Enabled=false`、当前选中行不变、启用复选框单元格为 false
|
||||
- ④ 窗口移动 (260,150) 后框位置完全一致;最小化后隐藏并给出原因;还原后回来
|
||||
- ⑥ 命令 `start "" TargetHost.exe 45` 拉起独立应用后 `CommandRunner.Dispose()`(等价于退出),
|
||||
该应用进程数 1 → 0
|
||||
- ⑦ 展开时 1184 / 684 / 404 三种宽度下"内容底部 = 面板高度"(不再裁切);收起时 717 宽度下为一行 38px
|
||||
- ⑧b 表格 bounds 从 `{0,0,841,747}`(占满并被遮)变成 `{0,100,841,613}`(3 行 × 5 列全部可见)
|
||||
- 启动回归:主界面 2048x1298、布局自检"异常区域 0 个"、Debug 与 Release 均已编译
|
||||
|
||||
#### 第十二轮仍未验证(需要真实目标)
|
||||
|
||||
- [ ] ② 监控列表选中 → 定位 → 展开树:本机没有匹配的目标窗口,只走查了代码路径;
|
||||
需要在真实 PACS 上点一条监控项复测(尤其"该条目属于另一个窗口时自动读取那个窗口的树")
|
||||
- [ ] ④ 遮挡判断在真实场景下的表现(多屏、其它置顶工具、RDP)
|
||||
- [ ] ⑥ 目标为提权进程、或命令用 `start` 二次派生时的 Job 继承;以及本工具被任务管理器强杀时命令是否同样被结束
|
||||
- [ ] ⑦ 高 DPI / 不同系统字体下搜索栏的换行高度是否仍然合适
|
||||
- [ ] ⑧ 设置窗口在小屏(1024x768)与多屏下的尺寸与分栏比例
|
||||
|
||||
### 第十三轮:现场 6 条反馈
|
||||
|
||||
- [x] ① **悬浮按钮设置的「点击执行操作」显示中文**:该列原来是枚举值列表,单元格显示 `PickControl`
|
||||
这类英文名。改为绑定 `FloatingButtonDefinition.DescribeChoices()`(枚举值 + 中文名,
|
||||
`DisplayMember`/`ValueMember`),界面显示「拾取控件 / 读取选中控件列表 / 定位到控件 / 刷新监控项状态 /
|
||||
检查选中窗口 / 窗口截图 / OCR 读取 / 执行命令 /(不执行任何操作)」,写回模型的仍是枚举
|
||||
- [x] ② **控件监控列表的只读列也要能复制**:只读单元格双击即复制其文本(可编辑列保持原有编辑行为),
|
||||
右键菜单提供「复制单元格文本 / 复制整行(表头 + 内容,制表符分隔)/ 定位到该控件并画框」,
|
||||
Ctrl+C 按选中区域复制(`ClipboardCopyMode = EnableWithoutHeaderText`),
|
||||
鼠标悬停显示完整内容(控件Path 列经常被列宽截断)
|
||||
- [x] ③ **点击监控列表任何位置都定位并画框**:新增 CellClick 处理 —— 点启用复选框、点只读的控件Path、
|
||||
点别名都会定位该行。此前只在"选中行/格发生变化"时定位,点同一处没反应,操作者要反复点几次才生效。
|
||||
同一格的双事件(SelectionChanged + CellClick)用 300ms 去重,隔一会儿再点同一格仍会重新定位
|
||||
- [x] ③b **框的"再点一次隐藏"只对显式操作生效**(定位按钮 / 行头 / 悬浮按钮):点击式定位永远把框显示出来,
|
||||
不再出现"点一下反而把框关掉、必须再点一次"的情况
|
||||
- [x] ④ **拾取后的 UIA 路径可回读**:拾取时立刻把刚保存的路径**从顶层窗口走一遍**(正是回读用的
|
||||
同一套匹配逻辑),结果写进定义:
|
||||
- 从顶层窗口命中 → 正常完整路径
|
||||
- 只有内层窗口元素能命中(UWP `ApplicationFrameWindow` / 浏览器套壳的内容在另一个窗口里)→
|
||||
置 `UiaPathFromInnerWindow`,回读时按内层窗口定位**不再算容错命中**(以前每次都报
|
||||
"第 1 段未匹配…改从内层窗口元素开始"并提示"建议重新添加")
|
||||
- 两种都走不通 → 添加时明确说明"路径回读校验未通过",不再让操作者以为保存成功
|
||||
- 共用 `ControlLocatorService` 的 `WalkPath`/`TryMatchChild`/`CollectNestedWindowStarts`/`SameElement`
|
||||
(改为 internal),避免生成与回读两套匹配逻辑再次漂移
|
||||
- [x] ⑤ **拾取结束后隐藏红框**:拾取确认后不再保留高亮框(上一轮留下的"跟随框"已移除),
|
||||
窗口列表/控件树才是拾取后该看的东西
|
||||
- [x] ⑥ **拾取后读的是与窗口列表相同的控件树,并在其中展开并选中被拾取节点**:
|
||||
此前以被拾取元素为根读树(UWP 列表项只有 2 个节点,而窗口树有 118 个,两边"看起来不一样")。
|
||||
现在一律从**顶层窗口**读(与窗口列表同一条路径),读完按身份在被拾取的祖先链上展开并选中该节点;
|
||||
万一窗口树里确实没有它(内层窗口/跨进程视图差异),再自动改为以该控件为根读一次;
|
||||
MSAA/Win32 拾取的控件会把控件树来源切到同一来源,保证节点在同一棵树里
|
||||
- [x] 本轮验证(独立宿主进程,与上一轮同一套夹具):
|
||||
- ① 设置里三行按钮的操作列显示「读取选中控件列表 / 定位到控件 / 刷新监控项状态」,值仍是枚举
|
||||
- ③ 点击只读单元格后状态栏出现「正在定位「control」(点击定位)……」
|
||||
- ⑤⑥ 需要在真实目标上点一次拾取复测(本机夹具只覆盖到上面这些)
|
||||
- 回归:搜索栏高度、设置页布局、悬浮条跟随、退出结束命令树、布局自检"异常区域 0 个"、Debug/Release 均已编译
|
||||
|
||||
### 第十四轮:现场 14 条反馈
|
||||
|
||||
- [x] ① **可运行的测试夹具** `tests/uia-fixture`(普通 WinForms 窗口:按钮/文本框/复选框/单选/下拉/
|
||||
两列 ListView/TreeView/DataGridView/三层嵌套容器 + 第二个窗口),已加入 `pacs_win_uia.sln`,
|
||||
用 `tests\run-fixture.cmd` 一键构建并启动;`tests/README.md` 里是建议的验收清单
|
||||
- [x] ② **低频能力收进「杂项」**:工具栏只留 刷新窗口 / 拾取控件 / 检查选中窗口 / 控件树来源 /
|
||||
尝试激活目标无障碍 / 杂项 / 设置;读取选中控件列表、窗口截图、OCR 读取、导出控件树、
|
||||
导出列表 JSON/CSV 与复制页面特征、按 path 定位、绘制所有控件框都在杂项菜单里
|
||||
- [x] ③ **控件树筛选界面重做**:条件是 5 列 × 3 行(标题 / 输入框 / 按钮)的 `TableLayoutPanel`,
|
||||
标题与输入框同列不再拆行,标红只用于"匹配 0 项"
|
||||
- [x] ④ **Shift+滚轮横向滚动 + Ctrl+F**:新增 `ShiftWheelScroll`(`IMessageFilter`),按光标下的控件
|
||||
找可横向滚动者(ListView / TreeView 走 WM_HSCROLL,属性区宿主走滚动属性;DataGridView 本来就会);
|
||||
Ctrl+F 在控件树页跳到控件树搜索框、其它地方跳到窗口列表搜索框
|
||||
- [x] ⑤ **拾取与窗口列表显示同一棵树,路径同源** —— 这是"两棵树不一样 / 复制的 path 解析不到"的根因:
|
||||
`result.Window` 是光标下**最深的 Win32 窗口**(UWP 的 `Windows.UI.Core.CoreWindow`、浏览器渲染窗口),
|
||||
以它为根读树,和窗口列表按顶层窗口读出来的树自然不同,路径也差了开头一段。
|
||||
现在拾取后一律用 `GetAncestor(GA_ROOT)` 的**顶层窗口**为根读树,读完整棵后在树里展开并选中被拾取节点
|
||||
- [x] ⑥ 同上(拾取与窗口列表的树一致);MSAA/Win32 拾取时控件树来源会自动切到同一来源,
|
||||
保证节点在同一棵树里
|
||||
- [x] ⑦ **设置窗口居中/记住位置**:首次打开按屏幕自适应并居中,之后恢复上次的位置与大小
|
||||
(`Ui.SettingsWindowX/Y/Width/Height`,位置已不在任何屏幕上时回到居中)
|
||||
- [x] ⑧ **悬浮条:背景透明度与按钮透明度分开**:WinForms 子控件没有自己的 alpha,所以悬浮条改为
|
||||
**自绘的层窗口**(`UpdateLayeredWindow` + 32 位 ARGB 位图):背景按「背景透明度」画、按钮按
|
||||
「按钮透明度」画,圆角、悬停/按下状态、提示文字都在自绘里;逐像素透明不可用时退化为整条不透明度
|
||||
(仍在画,只是只有一个透明度)。设置里新增「整体透明度 / 背景透明度(0=同上) / 按钮透明度(0=同上)」
|
||||
- [x] ⑨ **path 匹配收紧**:控件类型现在是身份的一部分;记了 `AutomationId` 的段必须精确命中
|
||||
(不再退化成按名字/序号乱配),同名子元素用记录的序号消歧;每次命中都会把
|
||||
「命中元素:类型 AutomationId 名称 类名 矩形」写进定位步骤和日志,
|
||||
定位到别的同名控件时一眼能看出来
|
||||
- [x] ⑩ **新增「按 path 定位…」**(杂项):把工具打印的路径粘回来即可定位 —— 先按顶层窗口走,
|
||||
再按内层窗口元素起点走(与回读同一套容错),命中后画框并在控件树里选中;
|
||||
未命中时明确报出**第几段**没匹配
|
||||
- [x] ⑪ 路径往返已修(见 ⑤⑨⑩):工具打印的路径与回读用同一套生成/匹配代码
|
||||
(`ControlLocatorBuilder.DescribePathFromTree` 与 `ControlLocatorService.WalkPath`)
|
||||
- [x] ⑫ **「绘制所有控件框」**(杂项,可勾选):把当前控件树里每个带矩形的节点都画一个细红框
|
||||
(新增 `NodeMapOverlayForm`,矩形按"相对锚点窗口的偏移"保存,每 150ms 只读一次 `GetWindowRect`,
|
||||
所以拖窗口时整片框跟着走,窗口最小化/被遮挡/关掉即隐藏)
|
||||
- [x] ⑬ **拾取不再触发目标控件**:新增低级鼠标钩子(`WH_MOUSE_LL`),拾取期间左键由本工具接管并
|
||||
**不转发**给任何窗口,钩子里的坐标直接作为拾取确认点(钩子回调只投递消息,不做耗时工作);
|
||||
钩子装不上时退化为原来的行为并在日志里说明
|
||||
- [x] ⑭ **控件属性显示 path / 页面特征 / 焦点状态**:`UiaElementInfo` 增加三个只读展示字段
|
||||
(不序列化),选中控件树节点时按内存里的树现算路径,可直接复制去「按 path 定位」
|
||||
- [x] 本轮验证(独立宿主进程夹具,对着 `tests/uia-fixture` 的真窗口跑):
|
||||
- 路径往返:工具打印 `[Uia] Tab[FixtureTabs] > TabItem:控件 > Pane[...] > Button[FixtureButton]`
|
||||
→ 解析 → 从窗口走回去 → **命中同一个控件**(AutomationId/名称/矩形一致)
|
||||
- 故意写错:`Tab[NoSuchTabs]` → "第 1 段(Tab[NoSuchTabs])未匹配:没有 AutomationId…"(不再乱命中)
|
||||
- 控件属性:path / 页面特征(进程=UiaFixture;标题关键词=UIA 测试夹具;窗口类=…)/ 焦点 均有值
|
||||
- 绘制所有控件框:39 个节点全部出框,可再次点击取消
|
||||
- 悬浮条:逐像素透明生效 —— 背景像素 246(35% 混合,非纯白)、按钮像素为不透明文字像素
|
||||
- 拾取不点目标:注入一次真实左键到「测试按钮」,夹具状态仍是"还没有操作。",拾取同时确认到了该按钮
|
||||
- 回归:搜索栏高度/设置页布局/悬浮条跟随/退出结束命令树/布局自检"异常区域 0 个"、Debug+Release 均已编译
|
||||
|
||||
#### 第十四轮未验证
|
||||
|
||||
- [ ] ④ Ctrl+F 与 Shift+滚轮只做了代码走查,需要手工在 控件树/窗口列表/属性区 试一次
|
||||
- [ ] ⑧ 悬浮条自绘在高 DPI / 多屏 / RDP 下的观感;逐像素透明不可用的退化路径(只在装不上层窗口时才走)
|
||||
- [ ] ⑬ 低级鼠标钩子在被其它钩子(安全软件/输入法)拦截时的表现;以及"拾取期间左键完全被吞掉"
|
||||
是否会影响操作者(取消/Esc 立即恢复)
|
||||
- [ ] ⑤⑥ 需要在真实 PACS/OCS(CEF 套壳、UWP)上确认拾取与窗口列表的树确实一致、路径一次命中
|
||||
|
||||
#### 下一段(段三剩余,待做)
|
||||
|
||||
- [ ] 条件评估(窗口条件 + 控件条件)`ConditionEvaluator`,同时供监听规则与悬浮条使用
|
||||
- [ ] `MonitorRule` + `monitor-rules.json` + 设置里的「监听」页:控件出现/消失/值变化/选中变化/焦点变化 + 单击/双击/右键 → 动作(执行命令 / 读取值 / OCR / 截图 / 显示悬浮条)
|
||||
|
||||
Reference in New Issue
Block a user