chengma/cmsp - cmsp - ilapage Git

36 Commits 1 Branch 0 Tags

2 Commits

Include renames

Author	SHA1	Message	Date
QiuSWandClaude Opus 5	6cc334ab92	fix: 取视频链路与 Python 参考实现对齐，识别风控降级 (#15 ) 淘宝会在登录仍然有效的情况下停止下发视频资源：不跳登录页、不出验证码，详情页里就是没有 mp4 地址。原实现识别不了，把它当成「这个同款没视频」，继续跑满 20 个同款加重风控，最后写 video_status='none'，而断点规则会永久跳过 none，导致账号恢复后这批商品也不再重试。与参考实现对齐： - 详情页等待 4 秒改为 8 秒，提为 detail_wait_seconds - 每个同款详情页前做一次 my_itaobao 深度守卫，在两次详情页之间插入正常页面访问；守卫等待提为 guard_wait_seconds - 详情页后补一次 Cookie 级快速守卫，复用 judgeLogin - 淘宝首页导航等待 3 秒改为 6 秒。签名请求在该页面上下文里 fetch，页面没加载完就发可能带不上 Cookie - 下载失败重试，5xx 与连接错误重试 download_retries 次， 4xx 和 ffprobe 校验失败不重试 - 每次下载尝试各有独立的 180 秒超时。此前超时套在整个重试循环外面，大视频首次跑到一半失败后剩余预算不足，重试等于不生效新增风控降级识别：连续 risk_empty_threshold 个同款打开成功但取不到视频时，判为疑似风控，中断整批任务并保持商品 pending，绝不写入 none。停止原因通过 stopReason 枚举传给前端，不依赖中文文本分支。数据订正提供显式按钮，不写进 migrations。刻意不做日期过滤： synced_at 记录的是商品数据何时从货憨憨拉取，与 video_status 何时被写成 none 无关，每次「下载数据」都会把它刷成当天。某商品是否需要重做的长期答案来自货憨憨每次全量拉取覆盖的 video_diagnosis，不来自本地时间戳。淘宝与 Chrome 相关逻辑由假实现覆盖，真机验证尚未进行。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01LbdtsD3ohhSMy3KPoCgARq	2026-09-03 14:29:03 +08:00
QiuSWandClaude Opus 5	f79208cc5c	feat: 批量取视频，队列、进度与全局停止门 (#14 ) 由 Codex (gpt-5.6-sol) 实施，Claude 审核。MVP2 最后一块。 internal/task/task.go - 串行阶段（Prepare）一次一个商品，全程持有同一个 CDP：登录深度检查 → 图搜 → 逐个同款提取视频地址。并发只作用于下载阶段（纯 HTTP + ffprobe，不碰 CDP）。这样既避免多协程踩同一个浏览器页面，也不抬高淘宝风控概率。 - 登录失效走独立的 ErrLoginRequired，触发后立即终止整批，不再启动后续商品，不自动重试也不自动重新登录 - 其它错误属于单商品失败，记录后继续处理下一个 - 断点复用商品自身的 download_status，不另建断点文件或断点表，因此不会出现断点与数据库不一致 app.go 抽出单商品核心供两处复用，未复制逻辑。审核补测（跑完删除，未入库），五项全部通过： - 登录失效发生在第 3 个商品时，后续 D/E/F 一个都没被处理 - Concurrency 设为 4 时 Prepare 峰值仍为 1，串行确实生效 - 下载阶段峰值恰为 2，并发上限真的起作用且确实并行 - 连续 5 个普通失败仍跑完全部，状态为 completed - 停止后可以重新启动，不会被永久锁死硬性验收项全部通过：前端无 window.go 等绕过生成绑定的写法（前三个工单连续出现，本次未再出现）；internal 未 import wails；无新增依赖。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01LbdtsD3ohhSMy3KPoCgARq	2026-09-03 10:58:55 +08:00

Author

SHA1

Message

Date

QiuSWandClaude Opus 5

6cc334ab92

fix: 取视频链路与 Python 参考实现对齐，识别风控降级 (#15 )

淘宝会在登录仍然有效的情况下停止下发视频资源：不跳登录页、不出验证码，
详情页里就是没有 mp4 地址。原实现识别不了，把它当成「这个同款没视频」，
继续跑满 20 个同款加重风控，最后写 video_status='none'，
而断点规则会永久跳过 none，导致账号恢复后这批商品也不再重试。

与参考实现对齐：

- 详情页等待 4 秒改为 8 秒，提为 detail_wait_seconds
- 每个同款详情页前做一次 my_itaobao 深度守卫，在两次详情页之间插入
  正常页面访问；守卫等待提为 guard_wait_seconds
- 详情页后补一次 Cookie 级快速守卫，复用 judgeLogin
- 淘宝首页导航等待 3 秒改为 6 秒。签名请求在该页面上下文里 fetch，
  页面没加载完就发可能带不上 Cookie
- 下载失败重试，5xx 与连接错误重试 download_retries 次，
  4xx 和 ffprobe 校验失败不重试
- 每次下载尝试各有独立的 180 秒超时。此前超时套在整个重试循环外面，
  大视频首次跑到一半失败后剩余预算不足，重试等于不生效

新增风控降级识别：连续 risk_empty_threshold 个同款打开成功但取不到视频时，
判为疑似风控，中断整批任务并保持商品 pending，绝不写入 none。
停止原因通过 stopReason 枚举传给前端，不依赖中文文本分支。

数据订正提供显式按钮，不写进 migrations。刻意不做日期过滤：
synced_at 记录的是商品数据何时从货憨憨拉取，与 video_status 何时被写成
none 无关，每次「下载数据」都会把它刷成当天。某商品是否需要重做的长期
答案来自货憨憨每次全量拉取覆盖的 video_diagnosis，不来自本地时间戳。

淘宝与 Chrome 相关逻辑由假实现覆盖，真机验证尚未进行。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01LbdtsD3ohhSMy3KPoCgARq

2026-09-03 14:29:03 +08:00

QiuSWandClaude Opus 5

f79208cc5c

feat: 批量取视频，队列、进度与全局停止门 (#14 )

由 Codex (gpt-5.6-sol) 实施，Claude 审核。MVP2 最后一块。

internal/task/task.go
- 串行阶段（Prepare）一次一个商品，全程持有同一个 CDP：
  登录深度检查 → 图搜 → 逐个同款提取视频地址。
  并发只作用于下载阶段（纯 HTTP + ffprobe，不碰 CDP）。
  这样既避免多协程踩同一个浏览器页面，也不抬高淘宝风控概率。
- 登录失效走独立的 ErrLoginRequired，触发后立即终止整批，
  不再启动后续商品，不自动重试也不自动重新登录
- 其它错误属于单商品失败，记录后继续处理下一个
- 断点复用商品自身的 download_status，不另建断点文件或断点表，
  因此不会出现断点与数据库不一致

app.go 抽出单商品核心供两处复用，未复制逻辑。

审核补测（跑完删除，未入库），五项全部通过：
- 登录失效发生在第 3 个商品时，后续 D/E/F 一个都没被处理
- Concurrency 设为 4 时 Prepare 峰值仍为 1，串行确实生效
- 下载阶段峰值恰为 2，并发上限真的起作用且确实并行
- 连续 5 个普通失败仍跑完全部，状态为 completed
- 停止后可以重新启动，不会被永久锁死

硬性验收项全部通过：前端无 window.go 等绕过生成绑定的写法
（前三个工单连续出现，本次未再出现）；internal 未 import wails；
无新增依赖。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01LbdtsD3ohhSMy3KPoCgARq

2026-09-03 10:58:55 +08:00