Commit Graph

14 Commits

Author SHA1 Message Date
zimoyin 2c6d2de9f5 新增 docs/最小系统.md:从一条四步链路逐层讲到完整系统(10 张 Mermaid 图)
- 第 0 层最小系统:找窗口 → 读控件树 → 算路径 → 取值
- 逐层展开:窗口匹配分级 / 三来源控件树与自动开无障碍 / XPath 生成与回读 /
  valueKey 降级 / 监控与无界面读取 / 界面三栏与两个浮层 / 周边功能
- 另有时序图(拾取全过程)、状态图(悬浮条何时显示)、类图(核心类关系)、
  排错对照表(症状 → 先看哪里)、读代码顺序
- 顶部说明怎么把 Mermaid 文字渲染成图(VS Code 插件 / Typora / mermaid.live)
- 代码导览顶部加了指向它的链接
2026-10-13 20:33:22 +08:00
zimoyin c1e2bd29a1 控件框面板完成:树重读后按 Path 重新绑定当前节点
- SetActiveNode/ApplyFilter 时把 _currentNode/_currentPath 换成当前快照里的新节点对象:
  实时刷新会重建节点(旧的 N 会换成新的 S),否则父子关系表以新对象为键会查不到,
  父节点/上一个/下一个在树刷新后就失效
- 代码导览补上控件框面板与空树自动开无障碍的说明

实测(独立宿主 + 跨进程读夹具树):41 个节点全部出框;面板按钮
【点击框获取path / 退出绘制 / 父节点 / 上一个 / 下一个 / 复制当前框 Path】齐备;
把列表行设为当前框后,整条祖先链(Tab→TabItem→Pane→列表→行)高亮成橙色、
其余框变淡、当前框带标签;RefreshMap / HideMap 后状态正确

回归 29/29 通过
2026-10-13 19:30:54 +08:00
zimoyin 170790ff12 新增「选中行文本」取值键;点击控件框必定同步控件属性
- ControlValueKeys 新增「选中行文本」:在列表容器上直接读当前选中行的文字
  (SelectionPattern 第一个选中项 → Value → Text → Name);没有选中行时明确报错
- 控件框点选回调:无论该节点是否在当前控件树里,都更新控件属性(SelectedObject +
  ShowNodeProperties + 下方 Path 横条),并在状态栏说明是否同时选中了树节点

实测(夹具列表,启动时选中第 2 行):列表行数=3、列数=2、选中项数=1、选中行文本=项目 2
回归 29/29 通过
2026-10-13 19:28:07 +08:00
zimoyin ebbf9e1335 选中行/焦点行语法、列表信息键、拾取层级框、控件属性补全
1) 新增「选中行/焦点行」语法,控件监控新增列表信息
   - XPath 快照新增状态属性:@IsSelected / @IsFocused / @IsOffscreen / @IsEnabled
     例如 /Window[1]//DataGrid[@AutomationId='x']/DataItem[@IsSelected='true']
   - IsSelected 随控件树一起从缓存读(SelectionItemPattern);对只在容器上暴露
     SelectionPattern 的提供者(实测 WinForms ListView/DataGridView),树读完后
     由容器反推每个子项的选中状态,@IsSelected 与「选中状态」取值因此可用
   - 新增取值键:列表行数 / 列表列数 / 列表选中项数(Grid → Table → Selection)
   - 控件属性新增「列表概况」(行×列 + 选中项数 + 首项文本)

2) 拾取时显示层级:蓝框=光标所在窗口,黄框=向上遍历的控件链
   - PointPickResult 增加 HierarchyFrames;TargetProbeService 填蓝色窗口层 +
     UiAutomationService.DescribeAncestorFrames 产出的黄色控件链(最多 6 层)
   - 新增 UI/PickHierarchyOverlayForm:跟随锚点窗口、只读 GetWindowRect、
     最小化/关闭即收起、置顶不抢焦点、点击穿透
   - CrosshairPicker 预览改用层级框;只有 Win32/MSAA 信息时退回原来的单框高亮

3) 控件属性按 UIA/Win32 分类补全(没有的就新增)
   - UIA:父元素、RawView/ControlView/ContentView 子元素数、RangeValue、
     Toggle 状态、选中情况、列表概况(全部按需读取,选中节点时才跨进程)
   - Win32:样式 GWL_STYLE、扩展样式 GWL_EXSTYLE、启用、最大化、层级关系
     (父窗口 / 直接子窗口数 / 同类序号)
   - GetWindowStyle 原本读的其实是 GWL_EXSTYLE,已正名为 GetWindowExStyle,
     GWL_STYLE 用新方法读取

实测(跨进程,目标为夹具/记事本):
- 夹具列表选中第 2 行:DataItem[2] IsSelected=True;@IsSelected='true' 唯一命中并
  取到「项目 2」;列表行数=3、列表列数=2、列表选中项数=1
- 拾取夹具列表行:7 层框(1 蓝窗口 + 6 黄控件链),覆盖层实际绘制并截图确认
- 记事本文档:控件属性显示 文本内容="agfa\r\raaaaa"(Name 是「文本编辑器」)

回归 29/29 通过
2026-10-13 19:19:16 +08:00
zimoyin d7e50675f0 控件属性显示内容文本;拾取命中容器时向深处收敛
用户反馈两点:

1) 控件属性里也要看到内容(输入框/富文本/多行编辑器的正文)
   - UiaElementInfo 新增只读展示字段「文本内容」(不序列化,选中节点时现算)
   - 与取值键「文本内容」同源:Value → Text → Name
   - 实测(真实 Windows 11 记事本文档节点):
     文本内容="agfa\r\raaaaa",Name="文本编辑器"(通用标题)
     ControlPath=/Window[1]/Pane[@ClassName='NotepadTextBox']/Document[@ClassName='RichEditD2DPT']

2) 拾取不能正确识别(实测:记事本正文拾取到 Pane[NotepadTextBox] 而不是里面的
   Document[RichEditD2DPT])
   - 根因:提供者的命中测试经常先返回"容器",代码直接接受了它
   - FromHandleAtPoint 命中后新增 RefineHitAtPoint:在命中元素内部继续往
     "包含光标的最深/最小元素"收敛(有界:节点数/深度/3 秒)
   - MainForm 的"只拿到窗口再重探一次"扩展到"只拿到容器(Window/Pane/Group/Custom)
     也重探一次":无障碍树按需生成的客户端第一次通常只给容器,600ms 后第二次才给到叶子

实测(真实记事本窗口内 49 个采样点):
  42 × ControlType.Document / RichEditD2DPT(正文),其余为工具栏按钮/输入法宿主
  修复前同一组采样中正文区域会命中 Pane

回归 27/27 通过
2026-10-13 16:41:56 +08:00
zimoyin 529f7910a1 新增跨来源取值键「文本内容」,修好富文本/输入框读不到内容
问题:富文本(RichTextBox、Chromium/CEF、UWP 文本框)的 UIA Name 往往是通用标题
(实测夹具里是 "RichEdit Control"),真正的内容只在 ValuePattern/TextPattern 里;
而新增监控项时默认 ValueKey 是 Name,于是读回来的是标题而不是内容。

- ControlValueKeys 新增跨来源键「文本内容」:UIA 按 Value → Text → Name 顺序取,
  MSAA = accValue → accName,Win32 = 窗口标题;三种都取不到才报错并说明各自原因
- 新增/拾取控件时默认 ValueKey 改为「文本内容」(旧条目不受影响,仍按各自保存的键读)
- 「文本内容」加进三个来源的可选键列表,监控列表下拉里能直接选
- 夹具新增多行富文本 FixtureRichText(内容只在 Value/Text 里)
- 回归新增 ValueKeyTests(键表、Name 兜底、默认键),共 27/27 通过

实测(跨进程,目标为独立进程里的夹具窗口):
- 文本框 文本内容="可编辑文本";富文本 文本内容="富文本第一行\r富文本第二行\r";
  按钮(无 Value/Text 模式)自动退回 Name="测试按钮"
- 拾取点在两个控件上都精确命中 Edit / Document,且能在窗口树里找到同一节点
- 无界面读取端到端:2 条配置(//Document[...]、//Edit[...] + 文本内容)全部命中并取到值
2026-10-13 16:22:03 +08:00
zimoyin 44fb305dc4 所有配置文件统一放到 exe 同目录
- control-monitors.json 从 %LocalAppData%\pacs_win_uia\ 改到 exe 同目录
  (settings.json / out.json / 截图与 OCR 目录本来就是 exe 同目录,现在一致)
- 首次读取时把旧位置的监控配置复制过来(只复制不删除),并记日志;
  exe 目录不可写时退化为直接读旧文件,保存会明确报错,不会丢配置
- ControlMonitorStore.GetDefaultFilePath()/GetLegacyFilePath() 公开,
  Program 的 --read-saved 与设置页「关于」都改用同一套路径
- 回归新增用例:默认配置与设置文件都必须在 exe 同目录、旧路径与当前路径必须不同
- 实测(隔离宿主):默认路径=exe 同目录;旧位置有 1 条配置被复制过来并能正常读出

测试 24/24 通过,
2026-10-13 16:18:57 +08:00
zimoyin 695b98dd35 监控列表定位后必然联动控件树,并把本工具窗口排除出定位框遮挡判断
用户反馈:在控件监控列表里定位显示已定位到「control」,但控件树不展开也不选中。
根因:MonitorEditorOnControlLocated 在画不出高亮框时直接 return,跳过了
SelectTreeNodeFor/EnsureTreeShows;而画不出框的常见原因就是本工具自己的窗口
压在目标上(CanShowLocateFrame 用的是严格可见性)。

- 定位成功一律先展开并选中控件树节点,画框与否只影响高亮框
- 画不出框时状态栏说明原因,但不再吞掉树联动
- HighlightFollower/CanShowLocateFrame 与本工具悬浮条统一规则:本工具自身
  窗口不算遮挡,只有别的程序挡住目标才隐藏定位框
- EnsureTreeShows 返回已去读另一个窗口的树,避免状态栏提示被覆盖
- 实测(进程内宿主+镜像树模拟解析器返回的另一实例):定位后树中选中该节点、
  祖先展开、切到控件树页、Path 横条同步;无矩形时同样选中
- 回归测试 23/23 通过

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-13 16:10:25 +08:00
zimoyin 66ab309939 给全部源码补中文注释,并新增代码导览
- 67 个 .cs 文件加中文注释:每个文件顶部说明职责/调用方/线程与节拍/
  已知限制/「要改什么就改哪里」,字段与方法逐条一行说明,复杂逻辑内插关键步骤
- 纯注释改动:脚本校验所有新增行都是注释、无非注释改动(仅 2 个文件的 BOM
  随新头部注释下移,文件仍以 BOM 开头)
- 新增 docs/代码导览.md:模块地图、「我要改 X 看哪个文件」对照表、易踩的坑、
  悬浮条显示规则、测试与验收指引
- 编译通过,回归测试 23/23 通过

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-13 15:44:15 +08:00
zimoyin 9eff3ec410 悬浮条:锚定窗口只需未被完全遮挡,并跳过最小化的同名窗口
两个原因让悬浮条一直不显示:
1) 可见性规则过严——锚定窗口只要被任何外部窗口压住一角就隐藏。现在改为
   只要求“未被完全遮住”,部分遮挡不影响显示。
2) UWP 应用会留下最小化的同名框架窗口(矩形在 -32000),窗口匹配可能选中它,
   于是报“矩形过小或不在屏幕范围内”。现在优先选可见窗口;只有最小化窗口时
   明确说明原因。

实测(真实 Windows 设置窗口 + 本工具窗口压在其上 + 置顶小工具压住一角):
canShow=True,悬浮条在锚定窗口左上角显示,3 个按钮正常绘制。

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-13 15:12:05 +08:00
zimoyin 0b2f84860e 悬浮条:本工具自身窗口不再算遮挡
在设置页里测试时,设置窗口正盖着锚定窗口,运行时判断因此一直隐藏悬浮条,
表现为“按钮不显示”。现在运行时的可见性判断与设置页检测一致:只把其他程序
的窗口当作遮挡,本工具窗口(主界面/设置窗口/覆盖层)一律忽略。

验证(独立宿主 + 真实窗口):
- 目标无遮挡 → 悬浮条显示(112x40,1 个按钮,逐像素透明)
- 本工具窗口完全盖住目标 → 悬浮条仍显示(修复前隐藏)
- 外部进程窗口盖住目标 → 隐藏,并在检测结果里点名该窗口

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-13 14:51:41 +08:00
zimoyin 4f53047429 修复悬浮条条件下拉显示与设置页遮挡误报
- 下拉建议框:DisplayMember 保证编辑区始终是实际进程名/窗口类/标题,
  下拉列表用 OwnerDraw 显示友好描述;不再在选择提交时清空 SelectedIndex,
  避免原生 CBN_SELCHANGE 把输入框覆盖为空
- 检测显示条件忽略本工具自身窗口(设置窗口正在遮挡目标),
  并在结果里点名具体遮挡窗口;运行时判断保持严格
- 补 STA 回归:原生鼠标/键盘选择、刷新、保存重载,以及遮挡窗口分类

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-13 14:43:28 +08:00
zimoyin f31b50bb36 完善 XPath 定位与控件监控体验
- 增加简明到深入的 XPath 定位教程
- 保留增量控件树刷新与可编辑 Path
- 完善悬浮条条件选择和诊断

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-13 13:00:10 +08:00
zimoyin b4c736d58b 基线提交:三来源控件树/拾取 + 无界面读取 + 设置框架
在继续做界面收敛与监控引擎之前先固化当前可编译、可运行的状态,便于回退。

已完成:
- 控件树与拾取支持三种来源:UIA / MSAA(oleacc) / Win32(EnumChildWindows),可下拉切换与自动降级
- 列表读取:祖先链 + 向下查找 + 子元素遍历降级;区分「没找到」与「找到但取不到值」
- 无界面读取:--read-config / --read-saved,输出 JSON(含逐步 resolution 诊断)
- 监控列表:结构化定位字段(进程/窗口类/标题关键词/UIA 路径/MSAA PathKey/Win32 类名+序号)
- 设置框架:settings.json(随输出目录拷贝,不嵌入 exe)+ 设置界面 + 命令生命周期钩子 + 悬浮按钮
- 控制台日志、布局自检、控件树搜索、窗口列表前台高亮

已知未实现:OCR(仅配置占位)、截图、监控引擎(事件监听)。

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-12 14:33:49 +08:00