简介

成功落地大模型五要素：

1. 业务人员的积极
2. 对 AI 能力的认知
3. 业务团队自带编程能力
4. 小处着手
5. 老板的耐心

找落地场景的思路：

1. 从最熟悉的领域入手
2. 尽量找能用语言描述的任务
3. 别求大而全。将任务拆解，先解决小任务、小场景
4. 让 AI 学最厉害员工的能力，再让 ta 辅助其他员工，实现降本增效

训练：

1. 大模型阅读了人类说过的所有的话。这就是「机器学习」
2. 训练过程会把不同 token 同时出现的概率存入「神经网络」文件。保存的数据就是「参数」，也叫「权重」

推理：

1. 我们给推理程序若干 token，程序会加载大模型权重，算出概率最高的下一个 token 是什么
2. 用生成的 token，再加上上文，就能继续生成下一个 token。以此类推，生成更多文字

值得尝试 Fine-tuning 的情况：

1. 提高模型输出的稳定性
2. 用户量大，降低推理成本的意义很大
3. 提高大模型的生成速度
4. 需要私有部署

基础模型选型，合规和安全是首要考量因素。

需求	国外闭源大模型	国产闭源大模型	开源大模型
国内 2C	🛑	✅	✅
国内 2G	🛑	✅	✅
国内 2B	✅	✅	✅
出海	✅	✅	✅
数据安全特别重要	🛑	🛑	✅

然后用测试数据，在可以选择的模型里，做测试，找出最合适的。

为什么不要依赖榜单？

1. 榜单已被应试教育污染。唯一值得相信的榜单：LMSYS Chatbot Arena Leaderboard
2. 榜单体现的是整体能力。放到一件具体事情上，排名低的可能反倒更好
3. 榜单体现不出成本差异