1. 项目概览
Skill Recorder 的一句话定位是：
让用户亲自做一遍任务，然后把这次演示转成 AI Agent 可重复使用的技能或自动化流程。
它不是传统 RPA 的“坐标点击回放”，也不是简单录屏工具。它更像是一个 Agent skill acquisition 工具：记录人的一次真实工作会话，再让 GitHub Copilot CLI 理解“人到底想完成什么、按什么顺序做了哪些关键动作”，最后生成可复用的 SKILL.md 或触发式/定时 Automation。
| 维度 | 信息 |
|---|---|
| GitHub 仓库 | microsoft/skill-recorder |
| 项目描述 | Desktop app that records work sessions and reconstructs them as intent + ordered steps |
| 主要语言 | TypeScript |
| 应用形态 | Electron 桌面应用 |
| License | MIT |
| 最新 Release | v0.3.1，2026-07-30 |
| 最近提交 | 2026-08-03，更新 Sharp/libvips compliance |
| GitHub 热度 | 约 1.7k stars、176 forks、29 open issues，检查日期：2026-08-05 |
| 支持平台 | macOS 主目标；Windows 11 x64/ARM64 支持；Ubuntu 支持源安装 |
| 关键依赖 | GitHub Copilot CLI、Electron、Node.js 24、React、Vite、Hugging Face Transformers、ONNX Runtime、Sharp |
| 使用前提 | GitHub 账号和 Copilot access |
| 发布形态 | Source-only release，本地拉取指定 commit 构建 |
2. 它主要能做什么
2.1 记录一次真实工作过程
用户点击录制后，像平时一样完成任务。Skill Recorder 会在本地记录：
- 屏幕视频和低频关键帧。
- 活动应用和窗口切换。
- 浏览器 URL，README 明确 macOS 支持。
- 剪贴板短文本预览。
- 可选语音 narration，使用本地 Whisper 模型转写。
这让 Agent 不只是看到最终结果，而是能理解业务人员如何跨网页、终端、表格、邮件、CRM、费用系统等多个工具完成任务。
2.2 将操作重构为意图和步骤
用户点击 Analyze 后，Skill Recorder 会把事件时间线、窗口/文档标题、URL、剪贴板预览、关键屏幕图像和语音叙述文本发给 GitHub cloud，由 GitHub Copilot CLI 重构为：
- overall intent：这次任务的整体目标。
- ordered steps：完成任务的有序步骤。
这个分析不是逐帧复读点击，而是尝试抽象出“可泛化”的业务动作。
2.3 生成可复用 Skill
从已批准的分析结果生成 Skill，也就是一个 SKILL.md procedure。Agent 后续可以按这个 procedure 在类似任务中执行。
关键点：README 强调生成的 Skill 会优先使用 Agent native tools，例如 gh CLI、web_fetch，而不是机械重放 UI 点击。
这对售前非常重要。客户经常担心“录屏自动化是不是很脆弱”。Skill Recorder 的思路是：录屏只是采集示例，最终输出的是更稳的工具化流程。
2.4 生成 Automation
它也可以把流程转成 Automation，即在计划时间或触发条件下运行同样的 procedure。
适合的例子：
- 每周从 GitHub PR 编译 release notes。
- 每天从网页抓取价格并写入表格。
- 定期检查客户线索并写入 CRM。
- 每月整理费用报销材料。
2.5 本地语音叙述转写
用户可以一边操作一边说“我为什么这么做”。README 说明 narration 是可选的，语音转写在本机完成，Whisper 模型首次使用会下载约 252MB，支持 Whisper 的 99 种语言。
这个能力很有价值，因为很多业务步骤只看屏幕无法理解。例如：“这里选这个供应商是因为金额超过 5000 要走高级审批”，这种隐性规则可以靠口述补足。
3. 工作流理解
屏幕帧 / App切换 / URL / 剪贴板 / 可选语音"] C --> D["用户点击 Analyze"] D --> E["GitHub Copilot CLI 云端分析"] E --> F["任务意图 + 有序步骤"] F --> G["人工 review / edit / approve"] G --> H["生成 Skill.md"] G --> I["生成 Automation"] H --> J["Microsoft Scout / Copilot Cowork / Copilot Studio 等 Agent 消费"] I --> J
这个过程可以看成“从人类示范到 Agent 技能”的流水线：
- Demonstration：人做一次。
- Observation：系统记录屏幕和上下文。
- Interpretation：Copilot 重构意图和步骤。
- Generalization：把单次样例泛化成可复用流程。
- Execution：Agent 使用 native tools 执行。
4. 核心能力清单
| 能力 | 说明 | 售前价值 |
|---|---|---|
| 屏幕录制 | 记录真实操作过程 | 捕捉隐性业务流程 |
| 应用/窗口追踪 | 记录 app/window switch | 理解跨应用任务链路 |
| 浏览器 URL | 记录访问页面 | 复原网页型业务任务 |
| 剪贴板预览 | 记录复制内容摘要 | 串联 copy/paste 数据流 |
| 可选语音叙述 | 本地 Whisper 转写 | 捕捉屏幕外业务规则 |
| Copilot 分析 | 重构意图和有序步骤 | 从“录像”变“流程说明” |
| Skill 生成 | 生成 SKILL.md | Agent 可复用能力沉淀 |
| Automation 生成 | 定时/触发自动化 | 从一次操作到长期任务 |
| 原生工具优先 | 优先 CLI/API/web_fetch | 比 UI 回放更稳定 |
| Evals | 有 describer/builder/skillbuilder 评测 | 有一定工程质量控制 |
5. 适用场景
5.1 Agent 技能采集与沉淀
企业落地 Agent 最大问题之一是：业务流程大量存在于员工脑子里，文档不全，而且常常跨多个系统。Skill Recorder 可以让专家“做一遍”，再转成 Agent 能理解的技能草稿。
适合：
- 售前顾问演示标准资料整理流程。
- 运维人员演示故障排查流程。
- 财务人员演示报销审核流程。
- 运营人员演示数据采集和表格更新流程。
- 研发负责人演示 GitHub issue/PR triage 流程。
5.2 RPA 到 Agentic Automation 的升级
传统 RPA 强依赖 UI 坐标、选择器、固定路径，容易因为页面变化失效。Skill Recorder 的卖点是“录制示例，但生成泛化步骤”，并优先使用 CLI/API/原生工具。
这适合向客户解释：
- 不是把人的鼠标轨迹直接回放。
- 录制只是帮助 Agent 理解流程。
- 真正执行时尽量走更稳定的工具接口。
5.3 业务流程标准化
很多企业希望把优秀员工的做法标准化，但写 SOP 成本高。Skill Recorder 可以辅助生成第一版 SOP/Skill：
- 先录制一遍最佳实践。
- Copilot 生成意图和步骤。
- 专家 review 并修订。
- 沉淀为 Skill 或 Automation。
5.4 Copilot/Agent 平台售前 Demo
如果客户对 “Agent 到底怎么学会做公司内部任务” 没概念，Skill Recorder 是非常好的 Demo 入口。
可演示路线：
- 录制一次“从网页提取数据到表格”。
- Analyze 出意图和步骤。
- 生成 Skill。
- 让 Agent 对另一个类似页面执行。
这比直接讲抽象 Agent 架构更容易让业务方理解。
5.5 开发者/运维流程自动化
README 和 evals 里多次提到 GitHub 和 CLI 任务，例如 GitHub issue triage、stale PR nudge、release notes、Azure deploy。这类任务非常适合 Agent，因为数据源和操作接口都比较明确。
适合：
- GitHub issue 归类和回复。
- PR 汇总和 release notes。
- CLI 部署并记录 URL。
- Web/终端/表格结合的 DevOps 流程。
6. 不太适合的场景
| 场景 | 不适合原因 |
|---|---|
| 涉密/强监管系统直接录制 | 屏幕、URL、剪贴板和关键帧可能包含敏感信息 |
| 含密码/API Key/Token 的流程 | README 明确提醒不要录制、输入、粘贴或叙述 secrets |
| 无 Copilot 权限环境 | Analyze 依赖 GitHub Copilot CLI 和 Copilot access |
| 完全离线环境 | 点击 Analyze 会把数据发给 GitHub cloud 处理 |
| 高频低延迟生产自动化 | 它更像技能生成器，不是高吞吐 RPA runtime |
| 需要强确定性点击回放 | 它偏泛化 Skill，不是传统精确 UI replay |
| 移动端/非桌面流程 | 当前定位是桌面 app，主要支持 macOS/Windows/Ubuntu |
| 企业不允许本地 source build | 当前 release 是 source-only，本地构建依赖 Node/Electron/npm/Copilot CLI |
7. 隐私与安全边界
这部分售前必须说清楚。
7.1 本地阶段
README 说明：录制、存储、帧提取、可选语音转写都发生在本机。录制过程中不会自动上传。
本地采集内容包括：
- app/window switches
- macOS 浏览器 URL
- 屏幕视频和低频截图
- 剪贴板短预览
- 可选 narration 文本
7.2 Analyze 阶段
只有用户点击 Analyze 后，才会把数据发送给 GitHub cloud 交给 Copilot 处理。发送内容包括事件时间线、窗口/文档标题、URL、剪贴板预览、提取的屏幕图像和 narration 文本。
7.3 售前建议
在客户 PoC 前必须建立规则：
- 不录制密码、Token、API Key、客户隐私数据。
- 用模拟账号和测试数据。
- 屏幕上不要展示真实客户名单、财务数据、合同信息。
- 关闭不必要通知，避免敏感信息进入截图。
- 如果企业不允许云端分析，则该项目不适合直接使用。
8. 安装与部署方式
Skill Recorder 当前是 source-only release。也就是说，GitHub Release 不附带预构建 app/installer，而是提供命令：下载指定 commit 的源码，在本机拉取 Node.js 24、Electron、GitHub Copilot CLI 和依赖后本地构建。
最新 release v0.3.1 的 commit 是：
32fd0b57e02c3ea1e016cca0d64e59052e93a9b9macOS / Ubuntu：
commit="32fd0b57e02c3ea1e016cca0d64e59052e93a9b9"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bashWindows PowerShell：
$commit="32fd0b57e02c3ea1e016cca0d64e59052e93a9b9"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex官方建议更安全的 inspect-first 方式：先下载脚本、校验 SHA-256、阅读脚本，再执行。
默认安装位置：
| 平台 | 默认目录 |
|---|---|
| Windows | %LOCALAPPDATA%\SkillRecorder |
| macOS | ~/Library/Application Support/SkillRecorder |
| Ubuntu | ${XDG_DATA_HOME:-~/.local/share}/SkillRecorder |
8.1 开发者运行
开发需要 Node.js 24：
npm ci
npm run compliance:licenses
npm run dev常用脚本：
| 命令 | 作用 |
|---|---|
npm run dev | Vite + Electron hot reload |
npm run build | TypeScript check + Vite build |
npm test | 单元测试 |
npm run eval | describer eval |
npm run eval:builder | automation builder eval |
npm run eval:skill | skill builder eval |
npm run compliance:licenses | dependency license 检查 |
9. 工程与质量信号
9.1 Evals 设计
项目有比较完整的 eval harness，覆盖三类阶段：
| Eval | 作用 |
|---|---|
| describer eval | 固定合成 recording，评估 Copilot 是否还原正确 intent + steps |
| builder eval | 评估 AutomationBuilder 是否偏好 native tools，而不是错误使用 browser |
| skillbuilder eval | 评估 SKILL.md plan 结构、变量、步骤类型和工具选择 |
典型场景包括：
- web-to-spreadsheet
- invoice-extract
- research-compile
- directory-lookup
- expense-report
- release-notes
- lead-to-crm
- windows-deploy
- GitHub issue triage
- Cowork Teams digest / Outlook reply / Calendar schedule
这说明项目不是只做 UI 原型，而是在认真评估“从示范到技能”的泛化质量。
9.2 Windows ARM64 验证
项目有 WINDOWS-VALIDATION.md，说明 Windows 11 x64 和 ARM64 都有验证计划。它移除了 ffmpeg-static，使用 Chromium MediaRecorder 和 AudioContext 处理录屏/语音，避免 Windows ARM64 缺少 ffmpeg-static 二进制的问题。
9.3 合规边界
安装脚本会运行 license compliance，保留 MIT license、第三方 notices、Electron/Chromium runtime notices、GPL/LGPL/MPL 文本等。Release notes 也强调本地 assembled app 只用于本地执行，不应作为 release artifact 重新分发。
10. 和相关方案对比
| 方案 | 典型能力 | 局限 | Skill Recorder 差异 |
|---|---|---|---|
| 传统 RPA 录制器 | 录制点击和选择器，回放 UI | 页面变化容易坏，泛化弱 | 录制用于理解流程，生成 Skill/Automation |
| 流程挖掘工具 | 从日志挖掘流程 | 依赖系统日志，缺少屏幕语义 | 捕捉人的真实桌面操作和 narration |
| SOP 文档编写 | 人手写流程 | 成本高，遗漏细节 | 自动生成意图和步骤草稿 |
| Agent 手写 Skill | 工程师写 SKILL.md | 依赖专家访谈和手工抽象 | 业务人员演示一次即可形成初稿 |
| 屏幕录制工具 | 只产生视频 | 不能直接给 Agent 执行 | 生成可复用 Skill/Automation |
11. 售前可以怎么讲
11.1 面向业务负责人
“很多关键流程只有熟练员工会做，但没有形成可复用的自动化。Skill Recorder 让员工做一遍，系统自动整理成 Agent 可理解的步骤，后续再由专家审阅和固化。”
11.2 面向 CIO / IT 负责人
“它不是单纯 UI 回放，而是把一次桌面操作转成更稳定的工具化流程，并优先使用 CLI、API、web_fetch 等原生工具。这更接近 Agentic Automation，而不是传统 RPA。”
11.3 面向安全/合规
“录制阶段数据本地保存，点击 Analyze 后才会发送给 GitHub cloud。PoC 必须使用测试数据，避免录入密码、Token、客户隐私或敏感业务信息。如果企业不允许云端分析，这个方案就需要另行评估。”
11.4 面向开发/运维团队
“它特别适合 GitHub、CLI、网页、表格、CRM、部署记录这类跨工具流程。录一次 release notes 或 issue triage，后续可以生成 Agent Skill，减少重复性知识工作。”
12. 常见客户问题
| 问题 | 回答建议 |
|---|---|
| 它是不是 RPA？ | 不是传统 RPA。它录制示例，但目标是生成可泛化 Skill/Automation，而不是机械回放鼠标。 |
| 录制内容会不会自动上传？ | README 说明录制阶段本地处理；点击 Analyze 后才会把事件、截图、URL、剪贴板预览和 narration 发给 GitHub cloud。 |
| 是否需要 Copilot？ | 需要 GitHub 账号和 Copilot access，Copilot CLI 随 app 一起获取/使用。 |
| 支持哪些系统？ | macOS 是 primary target；Windows 11 x64/ARM64 支持；Ubuntu 支持 source install。 |
| 能不能离线用？ | 录制本身本地，但 Analyze 依赖 GitHub Copilot cloud，所以不能视为完全离线方案。 |
| 能直接商用分发吗？ | 代码 MIT，但 release 是 source-only；本地构建 app 只用于本地执行，重新分发需遵守项目 dist/compliance 流程和第三方许可。 |
| 会不会录到密码？ | 会有风险。必须规定不要录制、输入、粘贴或叙述密码、token、API key 等秘密。 |
| 生成的 Skill 是否可直接生产？ | 不建议。应由业务专家和工程师 review、脱敏、测试后再进入生产。 |
13. PoC 建议
13.1 PoC 目标
建议把 PoC 目标定义为：
- 验证是否能准确还原一次跨应用任务的意图和关键步骤。
- 验证生成的 Skill 是否能泛化到相似任务。
- 验证隐私/合规流程是否可接受。
- 验证业务专家审阅和修订 Skill 的工作量。
13.2 推荐 PoC 场景
| 场景 | 录制内容 | 验收点 |
|---|---|---|
| 网页数据到表格 | 从网页复制价格/联系人到 spreadsheet | 是否识别 web_fetch + 表格写入 |
| GitHub issue triage | 查看 issue、判断优先级、加标签/评论 | 是否优先使用 gh CLI |
| Release notes | 汇总 merged PR、生成版本说明 | 是否正确抽象 GitHub/编辑器/终端步骤 |
| 客户线索录入 | 邮件/LinkedIn/CRM 信息整理 | 是否生成可泛化 lead qualification 流程 |
| 报销整理 | 发票/账单/系统提交 | 是否能排除无关操作并保留关键规则 |
13.3 PoC 注意事项
- 全部使用测试账号。
- 使用伪造客户数据。
- 不录制真实密码和 token。
- 录制前关闭消息通知。
- 录制后人工检查 Analyze bundle。
- 生成 Skill 后先在沙箱环境执行。
- 对比“手写 Skill”与“录制生成 Skill”的时间节省。
13.4 验收指标
| 指标 | 说明 |
|---|---|
| 意图准确率 | 是否正确概括任务目标 |
| 步骤完整性 | 是否遗漏关键业务步骤 |
| 顺序正确性 | 是否按真实流程排序 |
| 噪声过滤 | 是否忽略 recorder start/stop、无关 detour |
| 工具选择 | 是否优先 CLI/API/web_fetch，而不是盲目 browser |
| 泛化能力 | 换类似输入是否还能执行 |
| 审阅成本 | 专家修订 Skill 所需时间 |
| 合规可接受度 | 是否满足企业数据安全要求 |
14. 风险和注意事项
14.1 隐私泄露风险
这是最大风险。屏幕截图、URL、剪贴板预览和 narration 可能包含敏感信息。售前必须避免在真实客户数据上直接演示。
14.2 云端分析依赖
Analyze 依赖 GitHub Copilot CLI 和 GitHub cloud。对完全内网、金融强监管、政务涉密客户，可能不可接受。
14.3 早期项目成熟度
仓库创建于 2026-07-29，最新 release 是 v0.3.1，仍是早期项目。适合 PoC 和研究，不应直接承诺生产稳定性。
14.4 平台和权限依赖
macOS 需要 Screen Recording 权限；Windows 和 Ubuntu 也有不同系统限制。企业终端安全策略可能阻止录屏、Electron、本地构建或脚本执行。
14.5 生成质量不确定
Copilot describer 和 builders 有 evals，但真实业务流程更复杂，可能出现：
- 步骤过细或过粗。
- 把无关 detour 当成步骤。
- 错误选择 browser 自动化而不是 CLI/API。
- 对业务规则理解不完整。
因此必须保留人工 review。
15. 我的售前判断
Skill Recorder 是一个很“Agent 时代”的工具：它解决的不是模型能力本身，而是企业 Agent 落地中更棘手的“技能从哪里来”的问题。企业里大量流程没有 API 文档、没有标准 SOP，但熟练员工会做。Skill Recorder 提供了一种从人类示范提取 Agent Skill 的路径。
我认为它最适合放在以下售前故事里：
- Agent 能力建设：把员工的重复性知识工作沉淀成技能库。
- RPA 升级：从 UI 回放走向工具优先的 Agentic Automation。
- Copilot 生态扩展：连接 Microsoft Scout、Copilot Cowork、Copilot Studio 的技能/自动化生成。
- 流程标准化：快速生成 SOP/Skill 初稿，再由专家审阅。
但它不适合直接作为“无风险自动化神器”来卖。它涉及屏幕录制和云端分析，必须先解决数据安全和授权问题；生成结果也需要 review、测试和脱敏。我的建议是先用低风险、跨工具、重复性强的流程做 PoC，例如 GitHub issue triage、网页到表格、release notes、CRM 线索整理。只要能证明“录一次 -> 生成可用 Skill 初稿 -> Agent 能复用”，它就很容易成为企业 Agent 平台落地的方法论入口。
16. 参考资料
- GitHub 仓库：microsoft/skill-recorder
- README：README.md
- 安装文档：INSTALL.md
- 最新 Release：Skill Recorder v0.3.1
- Evals 文档：evals/README.md
- Windows 验证：WINDOWS-VALIDATION.md
- 第三方许可：THIRD-PARTY-NOTICES.md
- 安全披露：SECURITY.md