一些产品设计的思想
划重点：
- 凡是重复脑力劳动都可以考虑 AI 化
- 凡是「输入和输出都是文本」的场景，都值得尝试用大模型提效
如何理解 AI 能编写程序
编程能力是大模型各项能力的天花板
- 「编程」是目前大模型能力最强的垂直领域，甚至超越了对「自然语言」本身的处理能力。因为：
- 训练数据质量高
- 结果可衡量
- 编程语言无二义性
- 有论文
- “The first model that OpenAI gave us was a Python-only model,” Ziegler remembers. “Next we were delivered a JavaScript model and a multilingual model, and it turned out that the Javascript model had particular problems that the multilingual model did not. It actually came as a surprise to us that the multilingual model could perform so well. But each time, the models were just getting better and better, which was really exciting for GitHub Copilot’s progress.” –Inside GitHub: Working with the LLMs behind GitHub Copilot
- 知道怎么用好 AI 编程，了解它的能力边界、使用场景，就能类比出在其他领域 AI 怎么落地，能力上限在哪
划重点：
- 使用 AI 编程，除了解决编程问题以外，更重要是形成对 AI 的正确认知。
- 数据质量决定 AI 的质量。
一些技巧
- 代码有了，再写注释，更省力
- 改写当前代码，可另起一块新写，AI 补全得更准，完成后再删旧代码
- Cmd/Ctrl + → 只接受一个 token
- 如果有旧代码希望被参考，就把代码文件在新 tab 页里打开
产品设计经验：在 chat 界面里用 @ 串联多个 agent 是一个常见的 AI 产品设计范式。
产品设计经验：让 AI 在不影响用户原有工作习惯的情况下切入使用场景，接受度最高。
产品设计经验：流程化操作步步都需要人工调整、确认
落地经验：只有可量化的结果，才能说服老板买单
GitHub Copilot 基本原理
工作原理
- 模型层：最初使用 OpenAI Codex 模型，它也是 GPT-3.5、GPT-4 的「一部分」。
现在已经完全升级，模型细节未知。 - 应用层： prompt engineering。Prompt 中包含：
a. 组织上下文：光标前和光标后的代码片段
b. 获取代码片段：其它相关代码片段。当前文件和其它打开的同语言文件 tab 里的代码被切成每个 60 行的片段，用Jaccard 相似度- 为什么是打开的 tabs？
- 多少个 tabs 是有效的呢？经验选择：20 个
c. 修饰相关上下文：被取用的代码片段的路径。
d. 优先级：根据一些代码常识判断补全输入内容的优先级
e. 补全格式：在函数定义、类定义、if-else 等之后，会补全整段代码，其它时候只补全当前行
有效性：
- Telemetry(远程遥测如何取消)
- A/B Test
- 智谱的度量方式
AI 能力定律：
AI 能力的上限，是使用者的判断力
AI 能力=min(AI 能力,使用者判断力)
AI 提效定律：
AI 提升的效率，与使用者的判断力成正比，与生产力成反比
效率提升幅度 = 使用者判断力/使用者生产力
解读：
- 使用者的判断力，是最重要的
- 提升判断力，比提升实操能力更重要。所谓「眼高手低」者的福音
- 广阔的视野是判断力的养料
要点总结：
- 通过天天使用，总结使用大模型的规律，认知：凡是「输入和输出都是文本」的场景，都值得尝试用大模型提效。
- 通过体验 GitHub Copilot，认知：AI 产品的打磨过程、落地和目前盈利产品如何打造
- 通过介绍原理，认知：AI 目前的上限，以及 AI 组织数据和达到上限的条件
- 对于 AI 产品如何反馈有效性，认知：AI 产品落地的有效性管理方法
- 通过介绍两大定律，认知：AI 幻觉不可消灭； AI 的能效；
以成功案例为例，理解基本原理，避免拍脑袋