Llamaindex Tutorial.md

llamaindex 跑通 tutorial

上周为了开发一个新的应用,测试了 langchain,发现全是坑,官方示例很难用。

主要问题在于 langchain 0.1, 0.2, 0.3 版本变化很大。

这周尝试了一下 llamaindex,调试了一上午,搞定,发个链接出来。

源代码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
# %% [markdown]
# # Playing with llamaindex
#
# This is llamaindex tutorial. I'm trying it.

# %%
from dotenv import load_dotenv, find_dotenv

load_dotenv(find_dotenv())

# %%
%pip install llama-index-llms-ollama llama-index-llms-siliconflow llama-index-llms-paieas llama-index-llms-zhipuai llama-index-llms-openrouter

# %%
import os
import asyncio
from llama_index.core.agent.workflow import FunctionAgent
# from llama_index.llms.siliconflow import SiliconFlow
# from llama_index.llms.openrouter import OpenRouter
# from llama_index.llms.paieas import PaiEas
# from llama_index.llms.zhipuai import ZhipuAI
from llama_index.llms.ollama import Ollama

def multiply(a: float, b: float) -> float:
  return a * b

# llm_1 = PaiEas(model="qwen-turbo", api_key=os.getenv("QWEN_API_KEY"), api_base="https://dashscope.aliyuncs.com/compatible-mode/v1")
# llm_2 = SiliconFlow(api_key=os.getenv("SILICONFLOW_API_KEY"))
# llm_3 = ZhipuAI(model="glm-4", api_key=os.getenv("ZHIPU_API_KEY"))

mac_local = ('llama3.2', "http://192.168.2.100:11434")
sdmicl = ('llama3.2', 'you own ip')
ollama = Ollama(model=sdmicl[0], base_url=sdmicl[1], request_timeout=60.0)

agent = FunctionAgent(
  name="Agent",
  description="Useful for multiplying two numbers",
  tools=[multiply],
  llm=ollama,
  system_prompt="You are a helpful assistant that can multiply two numbers",
)

async def main():
  print("Starting...")
  response = await agent.run("What is 1234 * 4567?")
  print(str(response))
  print("Done")

await main()

# %%

回答几个问题

  1. 为什么不使用 openai?

一个月会员太贵。

  1. 为什么不使用 zhipuai,paise,以及 siliconflow?

用了,api 全都不通,大概率和 llamaindex 不是适配。

全都会报错

1
WorkflowRuntimeError: Error in step 'run_agent_step': object of type 'NoneType' has no len().
  1. 为什么不用 openrouter?

chat 模型不行。必须是functionuseLLM(来自 llamaindex)

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计