OPC/goauto
2
0
Fork 0
Code Issues 227 Pull Requests Actions Packages Projects Releases Wiki Activity

运维：隔离导入线上店铺及近7天关联商品至本地测试库 #369

New Issue
Open
opened 2026-10-08 15:49:34 +08:00 by ila · 1 comment
ila commented 2026-10-08 15:49:34 +08:00
Owner
Copy Link
Copy Source

来源与授权

2026-10-08 用户要求同步线上店铺等数据到本地测试环境，并确认以下范围。仅一次性数据准备，不改变产品代码或线上数据。

范围与方案

  • 来源：122.228.200.167 GoAuto 线上数据库，只读、一致性读取。
  • 目标：127.0.0.1:3308/goauto 本地测试库；导入前备份本地库，并暂停本地API、关闭本地自动同步/匹配/回填任务后恢复服务。
  • 全部店铺（保留软删除语义）；按 SYB 来源创建时间 2026-10-02 00:00:00 至 2026-10-09 00:00:00（UTC+8，后界不含）取商品明细，以及所引用的蝦皮、PDD 商品及规格映射。
  • 不复制采购/采集任务、运行队列、设备绑定、账号权限、密钥、登录会话或线上定时任务。原始JSON只保留商品解析所必需字段；不导入地址电话等无关个人信息。
  • 核对两端schema及本地现有数据，避免主键冲突；事务导入。保留本地现有数据，冲突无法安全映射则停止。
  • 不整库覆盖、不执行结构迁移、不触发真实采购、同步、AI或回填。关联任务/审计引用不冒充本地事实。

依赖、交付与设计

依赖已运行的最新main本地API/Web和已初始化本地数据库。单任务串行执行，与其他本地数据写入不可并行；无UI变化，沿用现有列表。非产品开发，无新worktree需求，临时数据仅存受限仓库外目录。

验收及风险

两端范围计数一致；商品关联无新增悬空引用；规格映射与线上所选记录一致；本地任务/设备/账号/凭据未导入；本地自动任务关闭；本地API与列表只读验证通过。工单仅记统计、操作和验证，不记录业务数据、凭据或导出正文。

文档影响

一次性测试数据准备，无长期产品契约变化；如发现并调整常驻本地隔离运维方式，则更新 Deployment-and-Operations。当前实施中，待统计与验证回写。

## 来源与授权 2026-10-08 用户要求同步线上店铺等数据到本地测试环境，并确认以下范围。仅一次性数据准备，不改变产品代码或线上数据。 ## 范围与方案 - 来源：122.228.200.167 GoAuto 线上数据库，只读、一致性读取。 - 目标：127.0.0.1:3308/goauto 本地测试库；导入前备份本地库，并暂停本地API、关闭本地自动同步/匹配/回填任务后恢复服务。 - 全部店铺（保留软删除语义）；按 SYB 来源创建时间 2026-10-02 00:00:00 至 2026-10-09 00:00:00（UTC+8，后界不含）取商品明细，以及所引用的蝦皮、PDD 商品及规格映射。 - 不复制采购/采集任务、运行队列、设备绑定、账号权限、密钥、登录会话或线上定时任务。原始JSON只保留商品解析所必需字段；不导入地址电话等无关个人信息。 - 核对两端schema及本地现有数据，避免主键冲突；事务导入。保留本地现有数据，冲突无法安全映射则停止。 - 不整库覆盖、不执行结构迁移、不触发真实采购、同步、AI或回填。关联任务/审计引用不冒充本地事实。 ## 依赖、交付与设计 依赖已运行的最新main本地API/Web和已初始化本地数据库。单任务串行执行，与其他本地数据写入不可并行；无UI变化，沿用现有列表。非产品开发，无新worktree需求，临时数据仅存受限仓库外目录。 ## 验收及风险 两端范围计数一致；商品关联无新增悬空引用；规格映射与线上所选记录一致；本地任务/设备/账号/凭据未导入；本地自动任务关闭；本地API与列表只读验证通过。工单仅记统计、操作和验证，不记录业务数据、凭据或导出正文。 ## 文档影响 一次性测试数据准备，无长期产品契约变化；如发现并调整常驻本地隔离运维方式，则更新 Deployment-and-Operations。当前实施中，待统计与验证回写。
ila commented 2026-10-08 15:56:07 +08:00
Author
Owner
Copy Link
Copy Source

实施与验证完成，待用户验收（2026-10-08）

范围：线上122.228.200.167只读；目标127.0.0.1:3308/goauto。按SYB来源创建时间取UTC+8的2026-10-02至2026-10-08（含），没有用GoAuto首次入库时间代替。

操作与隔离

  1. 只读确认本地四张商品表、采购/采集任务和设备表为空；两端商品表字段集一致（字段顺序不同，显式列名导入）。
  2. 仅暂停本地Supervisor的goauto-admin-api，前端及线上服务未停止。使用single-transaction备份本地库到仓库外受限目录 C:/Users/Qiu/AppData/Local/GoAuto/ops/issue-369/local-before.sql（289010字节，ACL仅当前用户和SYSTEM）；未整库覆盖。
  3. 关闭本地所有6条定时任务（其中2条此前开启）。回填恢复没有单独总开关，确认采购、回填及命令队列全部为空，不导入任务，因此无历史回填可执行；未宣称新增了回填禁用开关。
  4. 通过SSH已知主机校验和转发连接线上数据库，实际凭据取服务私有环境配置；使用REPEATABLE READ一致性只读事务读取。线上未写入、未执行迁移、未触发同步/AI/采购/回填。
  5. 单事务导入4张本地表，保留商品主键、关联和完整规格JSON/映射。原始明细JSON只保留商品ID/标题/规格/数量/单价/图片标识/SKU等白名单字段，不带地址电话等其他信息；清空无对应本地事实的请求ID、删除人及过滤规则ID，保留过滤结果及描述快照。不导入账号权限、手机绑定、密钥、会话、任务、运行队列、采集图片附件或线上定时任务。
  6. 恢复本地API，原前端继续运行。未修改产品源代码、数据库结构或配置文件。

结果

  • syb_shop：14
  • syb_product：4263
  • shopee_product：2250
  • pdd_product：836
  • 四表导入后逐行回读并按JSON结构标准化校验全部字段一致；规格映射未改写。
  • 导入事务内其余74张表计数不变，SYB→蝦皮、蝦皮→PDD悬空引用均0。
  • 启动后复核上述数量不变；采购任务、采集任务、设备、回填记录/命令、SYB会话、Yeeke会话均0；启用定时任务数0。
  • 店铺可用列表14条、SYB列表SQL首屏200条，规格JSON有效；API健康、前端首页、前端代理健康均HTTP200。
  • 未执行登录后的浏览器列表及真机业务操作，未安装APK。用户可在本地Admin刷新店铺/SYB/蝦皮/PDD列表验收；因未复制任务、设备和附件，任务派生状态、本人采集可见范围和采集图片不是线上环境的完整复刻。

文档/Git：一次性测试数据和本地调度状态操作，不改变产品默认值、契约、脚本入口或运维方式，无新增长期文档影响；不重复Wiki同步，不提交生产数据或备份。辅助一次性操作脚本在同一受限仓库外目录，未修改/提交产品代码。本地备份保留供回滚，恢复须另行确认以免覆盖后续测试数据。

### 实施与验证完成，待用户验收（2026-10-08） **范围**：线上122.228.200.167只读；目标127.0.0.1:3308/goauto。按SYB来源创建时间取UTC+8的2026-10-02至2026-10-08（含），没有用GoAuto首次入库时间代替。 **操作与隔离** 1. 只读确认本地四张商品表、采购/采集任务和设备表为空；两端商品表字段集一致（字段顺序不同，显式列名导入）。 2. 仅暂停本地Supervisor的goauto-admin-api，前端及线上服务未停止。使用single-transaction备份本地库到仓库外受限目录 C:/Users/Qiu/AppData/Local/GoAuto/ops/issue-369/local-before.sql（289010字节，ACL仅当前用户和SYSTEM）；未整库覆盖。 3. 关闭本地所有6条定时任务（其中2条此前开启）。回填恢复没有单独总开关，确认采购、回填及命令队列全部为空，不导入任务，因此无历史回填可执行；未宣称新增了回填禁用开关。 4. 通过SSH已知主机校验和转发连接线上数据库，实际凭据取服务私有环境配置；使用REPEATABLE READ一致性只读事务读取。线上未写入、未执行迁移、未触发同步/AI/采购/回填。 5. 单事务导入4张本地表，保留商品主键、关联和完整规格JSON/映射。原始明细JSON只保留商品ID/标题/规格/数量/单价/图片标识/SKU等白名单字段，不带地址电话等其他信息；清空无对应本地事实的请求ID、删除人及过滤规则ID，保留过滤结果及描述快照。不导入账号权限、手机绑定、密钥、会话、任务、运行队列、采集图片附件或线上定时任务。 6. 恢复本地API，原前端继续运行。未修改产品源代码、数据库结构或配置文件。 **结果** - syb_shop：14 - syb_product：4263 - shopee_product：2250 - pdd_product：836 - 四表导入后逐行回读并按JSON结构标准化校验全部字段一致；规格映射未改写。 - 导入事务内其余74张表计数不变，SYB→蝦皮、蝦皮→PDD悬空引用均0。 - 启动后复核上述数量不变；采购任务、采集任务、设备、回填记录/命令、SYB会话、Yeeke会话均0；启用定时任务数0。 - 店铺可用列表14条、SYB列表SQL首屏200条，规格JSON有效；API健康、前端首页、前端代理健康均HTTP200。 - 未执行登录后的浏览器列表及真机业务操作，未安装APK。用户可在本地Admin刷新店铺/SYB/蝦皮/PDD列表验收；因未复制任务、设备和附件，任务派生状态、本人采集可见范围和采集图片不是线上环境的完整复刻。 **文档/Git**：一次性测试数据和本地调度状态操作，不改变产品默认值、契约、脚本入口或运维方式，无新增长期文档影响；不重复Wiki同步，不提交生产数据或备份。辅助一次性操作脚本在同一受限仓库外目录，未修改/提交产品代码。本地备份保留供回滚，恢复须另行确认以免覆盖后续测试数据。
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
No items
No labels
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
admin ila
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: OPC/goauto#369