淘宝会在登录仍然有效的情况下停止下发视频资源:不跳登录页、不出验证码, 详情页里就是没有 mp4 地址。原实现识别不了,把它当成「这个同款没视频」, 继续跑满 20 个同款加重风控,最后写 video_status='none', 而断点规则会永久跳过 none,导致账号恢复后这批商品也不再重试。 与参考实现对齐: - 详情页等待 4 秒改为 8 秒,提为 detail_wait_seconds - 每个同款详情页前做一次 my_itaobao 深度守卫,在两次详情页之间插入 正常页面访问;守卫等待提为 guard_wait_seconds - 详情页后补一次 Cookie 级快速守卫,复用 judgeLogin - 淘宝首页导航等待 3 秒改为 6 秒。签名请求在该页面上下文里 fetch, 页面没加载完就发可能带不上 Cookie - 下载失败重试,5xx 与连接错误重试 download_retries 次, 4xx 和 ffprobe 校验失败不重试 - 每次下载尝试各有独立的 180 秒超时。此前超时套在整个重试循环外面, 大视频首次跑到一半失败后剩余预算不足,重试等于不生效 新增风控降级识别:连续 risk_empty_threshold 个同款打开成功但取不到视频时, 判为疑似风控,中断整批任务并保持商品 pending,绝不写入 none。 停止原因通过 stopReason 枚举传给前端,不依赖中文文本分支。 数据订正提供显式按钮,不写进 migrations。刻意不做日期过滤: synced_at 记录的是商品数据何时从货憨憨拉取,与 video_status 何时被写成 none 无关,每次「下载数据」都会把它刷成当天。某商品是否需要重做的长期 答案来自货憨憨每次全量拉取覆盖的 video_diagnosis,不来自本地时间戳。 淘宝与 Chrome 相关逻辑由假实现覆盖,真机验证尚未进行。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01LbdtsD3ohhSMy3KPoCgARq
cmsp
cmsp 是内部使用的 Windows 桌面工具:把货憨憨 ERP 中指定 Shopee 店铺的商品,按商品主图到淘宝搜同款,抓取同款商品详情页的介绍视频,下载到本地,再批量上传回货憨憨对应商品,使 Shopee 商品页刷新后能看到视频。
技术栈为 Go + Wails v2 + Vue 3 + Naive UI + SQLite,只支持 Windows。项目采用 DevHarness 工作流:需要工单的任务以 Gitea 工单为单次任务事实来源,Gitea Wiki 保存长期文档,Git 记录代码变更,人负责确认目标和验收。
治理模式为轻量。内部工具、单人开发、不对外交付、无常驻服务,因此不设置超出实际风险的门禁。
当前状态
Go 骨架已建立:Wails v2 窗口、参数设置读写、SQLite 存储和脱敏日志可用并有单元测试覆盖。
货憨憨与淘宝的业务功能尚未实现——界面上「下载数据」「下载视频」「上传数据」三个按钮点击后会明确提示还没实现。这些能力目前只存在于仓库外的两份已验证 Python 实现,正在按工单逐步迁移为 Go。
任务闭环
讨论需求或缺陷
-> 阅读代码并提出方案
-> 人工确认方案
-> 创建单元任务工单(需要时先建 Epic / MVP)
-> Agent 实现并测试
-> 提交代码并更新工单
-> 工单集中回写最终证据并等待人工验收
-> 人工验收后在工单记录结论
-> 关闭工单并更新父工单;长期事实变化时才同步 Wiki
轻量模式下符合直接实施条件的小 Bug、局部 UI 和单模块低风险调整不走上述闭环:确认目标 → 最小修改 → 受影响范围测试 → 提交并报告结果。
涉及货憨憨写操作、账号凭据、SQLite 结构迁移、并发或删除数据时必须建工单并按高风险处理。
快速开始
-
克隆本仓库到本机,例如
D:\chengma\cmsp。 -
创建 Gitea 远端仓库并推送当前引导提交,启用工单和 Wiki。
-
配置
wiki-docs.json和安全访问方式;优先使用已配置的 Gitea MCP,MCP 不可用时才使用 Gitea API 并记录原因。令牌只通过环境变量或 MCP 安全配置提供,不写入仓库。 -
按 新项目文档初始化 查询线上 Wiki;
Home不存在时先创建并回读Home,取得 revision 后再创建其他核心页面。 -
治理模式已在 项目档案 选定为轻量;不可违反的安全规则写在根目录
AGENTS.md的「项目专用规则」。 -
需要工单时使用
.gitea/issue_template/中的模板。本地docs/的存在不能证明线上 Wiki 已初始化。 -
开始产品代码前运行:
python dev_scripts/harness.py sync --verify
常用命令
git status --short --branch
python dev_scripts/harness.py check --strict
python -m unittest discover -s tests -v
python dev_scripts/harness.py sync --check
产品构建与测试命令在 Go 骨架建立后补入 本地开发与验证。
目录
AGENTS.md Agent 的通用工作规则与本项目专用红线
CLAUDE.md Claude Code 的规则入口
.gitea/issue_template/ Epic、MVP、单元任务工单模板
docs/ Gitea Wiki 核心页面的只读镜像
docs/task/ 人工明确要求的专项快照,默认为空
wiki-docs.json 核心 Wiki 页面到本地镜像的显式映射
dev_scripts/harness.py check / sync / archive / export 单一入口
dev_scripts/wiki_docs.py Gitea Wiki 客户端与镜像生成库
tests/ DevHarness 结构自测
main.go / app.go Wails 入口与暴露给前端的方法
internal/config/ 参数设置的读写与校验
internal/store/ SQLite,所有状态的唯一事实来源
internal/logx/ 带脱敏的日志
frontend/src/ Vue 3 + Naive UI 界面
config.example.yaml 本机配置模板(config.yaml 不进 Git)
docs/ 由同步工具生成,不要直接编辑。
安全底线
无论治理模式如何裁剪流程,下面几条不可违反:
- 账号、密码、token、Cookie、Chrome Profile 内容不得写入代码、日志、工单、Wiki 和提交。
- 淘宝登录必须由使用者手动完成,程序不代填密码、不绕过验证码与安全验证。
- 淘宝登录失效必须中断整批任务,不得降级为单商品失败后继续。
- 对真实店铺的批量写入、覆盖和删除必须获得明确授权。
- 测试结果必须真实,未执行或无法覆盖的验证必须写明。
文档
默认不创建任务归档;archive、export 只作为人工显式触发的兼容能力。长期文档的唯一编辑入口是 Gitea Wiki,修改顺序为:修改 Wiki → 读取确认 → 导出核心 docs → 校验差异 → 提交镜像。