My Little World

LangSmith

发表于

LangSmith

  1. 安装 LangSmith

    1
    pip install --upgrade langsmith

  2. 注册账号，并申请一个 LANGCHAIN_API_KEY

  3. 在环境变量中设置以下值

    1
    2
    3
    export LANGCHAIN_TRACING_V2=true
    export LANGCHAIN_PROJECT=YOUR_PROJECT_NAME #自定义项目名称（可选）
    export LANGCHAIN_API_KEY=LANGCHAIN_API_KEY # LangChain API Key

  4. 程序中的调用将自动被记录

    1
    2
    3
    4
    import os
    from datetime import datetime
    os.environ["LANGCHAIN_TRACING_V2"] = "true"
    os.environ["LANGCHAIN_PROJECT"] = "hello-world-"+datetime.now().strftime("%d/%m/%Y %H:%M:%S")

基本功能

  1. Traces
  2. LLM Calls
  3. Monitor
  4. Playground
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from langchain.prompts import (
    ChatPromptTemplate,
    HumanMessagePromptTemplate,
)
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
from langchain_core.runnables import RunnablePassthrough

model = ChatOpenAI(model="gpt-3.5-turbo")

prompt = ChatPromptTemplate.from_messages([
    HumanMessagePromptTemplate.from_template("Say hello to {input}!")
])

# 定义输出解析器
parser = StrOutputParser()

chain = (
    {"input": RunnablePassthrough()}
    | prompt
    | model
    | parser
)
chain.invoke("王卓然")

在线标注(在平台上进行标注)

上传已有数据集
定义评估函数
运行测试

基于 LLM 的评估函数

1
https://docs.smith.langchain.com/evaluation/faq/evaluator-implementations