【AREA-introduction】LLM

Posted on Edited on In Views: Word count in article: 1.5k Reading time ≈ 5 mins. 
Brief survey of LLM for project.

模型能力排行

综合能力：
综合能力
分类能力：
信息抽取能力：
阅读理解能力：
数据分析能力：

quick link

大模型 机构 类别 链接 价格 context window 发布时间 备注
GPT-4 Turbo openai 商用 https://openai.com/product Input: $0.01 / 1K tokens Output: $0.03 / 1K tokens” 128K
GPT-4 openai 商用 https://openai.com/product “Input: $0.03 / 1K tokens Output: $0.06 / 1K tokens” ~25K
GPT-4-32K openai 商用 https://openai.com/product “Input: $0.06 / 1K tokens Output: $0.12 / 1K tokens” 32K
GPT-3.5-turbo-1106 openai 商用 https://openai.com/product “ $0.0010 / 1K tokens $0.0020 / 1K tokens” 16K
GPT-3.5-turbo-instruct openai 商用 https://openai.com/product “ $0.0015 / 1K tokens $0.0020 / 1K tokens” 4K
Claude Instant Anthropic 商用 https://www.anthropic.com/product “$0.80/million tokens $2.40/million tokens” 100K
Claude 2.0 Anthropic 商用 “$8.00/million tokens $24.00/million tokens” 100K
Claude 2.1 Anthropic 商用 “$8.00/million tokens $24.00/million tokens” 200K
Gemini Pro 谷歌 商用 https://deepmind.google/technologies/gemini/#introduction “free:60 chat / min In: $0.00025 / 1K characters ou:$0.0005 / 1K char” 不得超过 4MB
PaLM 谷歌 商用
Bard 谷歌 商用
文心一言4.0(ERNIE-Bot 4.0) 百度 商用 “￥0.12 / 1K tokens ￥0.12 / 1K tokens” 2023.6 价格网页
文心一言3.5 8K(ERNIE-Bot-8K) 百度 商用 “￥0.024 / 1K tokens ￥0.048 / 1K tokens” 大模型平台
文心一言3.5(ERNIE-Bot) 百度 商用 “￥0.012 / 1K tokens ￥0.012 / 1K tokens” chat页面
文心一言EB-turbo-AppBuilder专用版 百度 商用 “￥0.008 / 1K tokens ￥0.008 / 1K tokens”
讯飞星火v3.0 科大讯飞 商用 https://xinghuo.xfyun.cn/sparkapi ~￥0.03 / 1K tokens 免费试用很多
讯飞星火v1.5 科大讯飞 商用 ~￥0.015 / 1K tokens
腾讯混元标准版 腾讯 商用 https://cloud.tencent.com/product/hunyuan ￥0.01 / 1K
腾讯混元高级版 腾讯 商用 https://cloud.tencent.com/product/hunyuan ￥0.1 / 1K
“天工 SkyChat-MegaVerse” 昆仑万维 商用 https://model-platform.tiangong.cn/?channel=csearch_enter&utm_medium=csearch ￥0.005 / 1K 做一个agent活动针对长文本
AGI Sky-Saas-Search 昆仑万维 商用 ￥0.18 / 1K 针对搜索
AGI Sky-Saas-Writing 昆仑万维 商用 需要咨询 针对写作
Skywork-13B-Base 昆仑万维 开源 https://model-platform.tiangong.cn/ 开源 4K
Baichuan2-Turbo 百川智能 商用 https://www.baichuan-ai.com/home 0.008元/千tokens
Baichuan2-Turbo-192k 百川智能 商用 0.016元/千tokens 192K
Baichuan2-53B 百川智能 商用 “8点前0.01元/千tokens 其余时间0.02”
Baichuan2-7B 百川智能 开源 开源 4K
Baichuan2-13B 百川智能 开源 开源 4K
baichuan-7B 百川智能 开源 开源 4K
baichuan-13B-chat 百川智能 开源 https://github.com/baichuan-inc/Baichuan-13B 开源 4K
华为盘古 华为
ChatGLM-6B 智谱AI 开源 开源 github
智谱清源 智谱AI 商用
360智脑 奇虎360 商用 https://ai.360.cn/
通义千问 阿里巴巴 商用 https://tongyi.aliyun.com
通义千问Qwen-1.8B 阿里巴巴 开源 开源 32K github
通义千问Qwen-7B 阿里巴巴 开源 开源 32K
通义千问Qwen-14B 阿里巴巴 开源 开源 8K
通义千问Qwen-72B 阿里巴巴 开源 开源 32K
minimax minimax 商用 https://api.minimax.chat
tigerbot-7b-chat 虎博科技 商用/开源 https://www.tigerbot.com/ 0.018元 / 千tokens api界面
tigerbot-13b-chat 虎博科技 商用 https://tigerbot.com/api-reference/chat 0.02元 / 千tokens
tigerbot-70b-chat 虎博科技 0.04元 / 千tokens
chatglm-6b 清华大学&智谱AI 开源 https://github.com/THUDM/ChatGLM-6B 开源
LLaMA-2 META 开源 开源
LlaMA-13B META 开源 开源
Kimi Chat 月之暗面 商用 https://www.yjpoo.com/site/1809.html chat
belle-llama-7b-2m 链家科技 开源 https://github.com/LianjiaTech/BELLE 开源
BELLE-on-Open-Datasets 链家科技 开源 https://github.com/LianjiaTech/BELLE 开源
belle-llama-13b-2m 链家科技 开源 https://github.com/LianjiaTech/BELLE 开源
belle-llama-13b-ext 链家科技 开源 https://github.com/LianjiaTech/BELLE 开源
Ziya-LLaMA-13B-v1 IDEA研究院 开源 https://mp.weixin.qq.com/s/IeXgq8blGoeVbpIlAUCAjA 开源
phoenix-inst-chat-7b 港中文 开源 https://github.com/FreedomIntelligence/LLMZoo 开源
linly-chatflow-13b 深圳大学 开源 https://github.com/CVI-SZU/Linly 开源
MOSS-003-SFT 复旦大学 开源 https://github.com/OpenLMLab/MOSS 开源
AquilaChat-7B 智源研究院 开源 https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/README.md 开源
tulu-30b allenai 开源 https://github.com/allenai/open-instruct 开源

info

参数 显存（推理） 显存（微调） 备注
70B模型 ~48GB ~62GB
14B模型 ~13GB ~19GB
7B模型 ~8GB ~12GB
2B模型 ~3GB ~6GB

上下文窗口：

192K大约是35万汉字，100K大约8万汉字，32K大约2.5万字

database

  • MySQL
  • MongoDB
  • Redis
  • Chroma is the open-source embedding database.
  • Weaviate is an open source, AI-native vector database
  • Milvus向量数据库
  • pinecone

agent