diff --git a/README.md b/README.md index 1094b27..4405d94 100644 --- a/README.md +++ b/README.md @@ -156,7 +156,7 @@ batch 8 + cpu_threads 4 : 约 114 秒 ### 是否使用多核 -不是单核推理。PaddleX 默认 `cpu_threads = 10`(可用 `cpu_threads` 配置项覆盖),20 逻辑核机器上的实测 CPU 占用: +不是单核推理。PaddleX 默认 `cpu_threads = 10`(可用 `cpu_threads` 配置项覆盖),测试机为 20 逻辑核 / 14 物理核,实测 CPU 占用: ```text 检测阶段 CPU 约 94%~105% (约 1 个核) @@ -188,25 +188,82 @@ NotImplementedError: ConvertPirAttribute2RuntimeAttribute not support 因此该配置下慢的根因是「CPU 推理未启用 oneDNN」,不是队列或接口阻塞。 -### 换成移动端模型(实测约 3.4 倍提速) +### 换成移动端模型:速度提升极大,但密集文本会严重丢字 -同一张图片、同样 `text_det_limit_side_len: 960` 与 `text_recognition_batch_size: 8`: +⚠️ 这一档**不适合文本密集的图片**,务必先用自己的图验证。 -| 模型组合 | 模型体积 | 识别耗时 | 识别行数 | -| --- | --- | --- | --- | -| `PP-OCRv5_server_det` + `PP-OCRv5_server_rec` | 约 167 MB | 约 60 秒 | 34 | -| `PP-OCRv4_mobile_det` + `PP-OCRv4_mobile_rec` | 约 16 MB | 约 18 秒 | 39 | +统一参数:`text_det_limit_side_len: 640`、`cpu_threads: 20`、`text_recognition_batch_size: 8`。 -切换方式: +**稀疏图片(官方示例 896x528,文本少)** + +| 模型组合 | 体积 | 耗时 | 片段数 | 字符数 | +| --- | --- | --- | --- | --- | +| `PP-OCRv5_server_det` + `PP-OCRv5_server_rec` | 约 167 MB | 70.45s | 34 | 253 | +| `PP-OCRv4_mobile_det` + `PP-OCRv4_mobile_rec` | 约 16 MB | 10.34s | 36 | — | + +稀疏图上两者识别内容大体一致,移动端仅漏掉一行小字水印,看起来差异不大。 + +**密集图片(1920x1080,文本多)—— 差距是数量级的** + +| 图片 | 模型组合 | 耗时 | 片段数 | 字符数 | +| --- | --- | --- | --- | --- | +| 1.png | v5 server | 747.96s | 339 | 1747 | +| 1.png | v4 mobile | **7.82s** | **46** | **166(仅剩 10%)** | +| 2.png | v5 server | 213.52s | 73 | 428 | +| 2.png | v4 mobile | **6.03s** | **27** | **243(剩 57%)** | + +1.png 上移动端快了约 95 倍,但**丢掉了约 90% 的文字**。主要瓶颈在 `PP-OCRv4_mobile_det`:它只检出 46 个框,而 v5 server 检出 339 个,密集小字基本没检测出来。 + +结论: + +- 图片文本稀疏(票据、证件、少数字段)→ 移动端可用,收益巨大; +- 图片文本密集(表格、文档、截图)→ **不要用移动端**,会大面积丢字; +- 判断标准不是分辨率,而是**文本密度**,必须用自己的真实图片实测。 + +### text_det_limit_side_len 与文本密度强相关 + +对 1920x1080 的密集图片实测: + +| 边长 | 1.png | 2.png | +| --- | --- | --- | +| 640 | 339 框 / 1747 字符 | 73 框 / 428 字符 | +| 320 | **0 框 / 0 字符** | 8 框 / 59 字符 | + +1.png 在 320 下**完全检不出任何文字**:1920px 按 6 倍下采样后,约 10px 高的文字只剩约 1.7px。这不是平滑降精度,而是断崖式失效。 + +因此: + +- 大图请保持 `640` 或更高,**不要低于 640**; +- `480` 以下只适合小尺寸、大字号的图片; +- 检测耗时本身只占 1%~10%(上面两图分别是 7.9s 和 9.0s),压低它对总时长几乎没有帮助。 + +### 识别耗时与文本框数量成正比 + +这是本项目的核心性能特征,来自实测: + +```text +1.png 339 框 → 识别 740s (约 2.2 秒/框) +2.png 73 框 → 识别 204s (约 2.8 秒/框) +官方样例 34 框 → 识别 62s (约 1.8 秒/框) +``` + +所以决定单张图耗时的是**框数**,而不是图片像素数。降低耗时的手段按有效性排序: + +1. 减少框数(代价是丢字,例如提高 `text_det_box_thresh`); +2. 换更快的识别模型(注意上面的丢字风险); +3. 提高 `cpu_threads`、`text_recognition_batch_size`; +4. 让 oneDNN 可用(换 PaddlePaddle 版本)或使用 GPU。 + +切换方式(`config.yaml` 里已预置注释行,去掉注释即可): ```yaml det_model_name: PP-OCRv4_mobile_det rec_model_name: PP-OCRv4_mobile_rec ``` -模型文件需要存在于 `model_dir/official_models/` 下;不存在时首次识别会自动下载。 +模型文件需要存在于 `model_dir/official_models/` 下;不存在时首次识别会自动下载。当前仓库的 `models/official_models/` 已包含这两套移动端模型,改完配置重启即可离线切换。 -切换前建议先用 `benchmark_ocr.py` 和真实业务图片对比准确率:移动端模型体积小、速度快,但中文识别精度通常低于 PP-OCRv5 服务模型,且这两个模型属于 PP-OCRv4,不是 PP-OCRv5。不同业务对精度敏感度不同,请以实际样本为准。 +切换前必须用 `benchmark_ocr.py` 和真实业务图片对比**字符数**:移动端体积小、速度快,但在文本密集的图片上会大面积丢字(实测 1.png 字符数只剩约 10%),详见上文「换成移动端模型」。这两个模型属于 PP-OCRv4,不是 PP-OCRv5。 其他提速方向: diff --git a/config.yaml b/config.yaml index 221de17..23b5078 100644 --- a/config.yaml +++ b/config.yaml @@ -7,12 +7,22 @@ upload_dir: data/uploads model_dir: models # 模型缺失时自动下载到 model_dir/official_models/。 -# 速度优先 PP-OCRv4 Mobile +# 速度优先 PP-OCRv4 Mobile # 当前默认 PP-OCRv5 Server # 新版模型 PP-OCRv6 Medium det_model_name: PP-OCRv5_server_det rec_model_name: PP-OCRv5_server_rec +# 【速度档】模型仅 16MB,速度提升极大。实测: +# 稀疏图(官方示例) : 70s -> 10s +# 密集图(1920x1080) : 748s -> 8s,但字符数只剩约 10%(大量丢字) +# 原因:PP-OCRv4_mobile_det 检测不出密集小字(1.png 只检出 46 框,v5 检出 339 框)。 +# 结论:文本稀疏(票据/证件/少数字段)可用;文本密集(表格/文档/截图)不要用。 +# 务必先用真实图片在 benchmark_ocr.py 中对比字符数再决定。 +# 切换方式:注释上面两行,启用下面两行,然后重启服务。 +#det_model_name: PP-OCRv4_mobile_det +#rec_model_name: PP-OCRv4_mobile_rec + # 每个线程会独立占用一份 OCR 模型内存。 ocr_workers: 1 device: cpu @@ -22,7 +32,7 @@ lang: ch # 速度优先可将 text_det_limit_side_len 调小到 640;默认 960。text_recognition_batch_size 调整为 2 默认 1 # 检测图像最长边 -text_det_limit_side_len: 960 +text_det_limit_side_len: 512 # 检测缩放类型 text_det_limit_type: max # 检测阈值 @@ -32,12 +42,12 @@ text_det_unclip_ratio: 1.5 # 识别置信度阈值 text_rec_score_thresh: 0.0 # 识别批量大小 -text_recognition_batch_size: 1 +text_recognition_batch_size: 8 # CPU 推理线程数(Paddle 的 cpu_math_library_num_threads)。 # PaddleX 默认 10;不是单核推理,但关闭 oneDNN 后多线程加速有限。 # 建议不要超过物理核心数;调大不一定更快,请用 benchmark_ocr.py 实测。 -cpu_threads: 10 +cpu_threads: 20 # 日志级别:DEBUG / INFO / WARNING / ERROR log_level: INFO