如何使用ollama本地部署运行大语言模型

Ollama一个旨在帮助用户在本地计算机上轻松地设置和运行大型语言模型（LLMs）的开源工具。Ollama 的设计目的是使得复杂的模型部署变得简单,它让用户无需深入了解复杂的底层技术，就能轻松地加载、运行和交互各种LLM模型。

一. 安装Ollama 官网地址: https://ollama.com

macOS https://ollama.com/download/Ollama-darwin.zip
windows https://ollama.com/download/OllamaSetup.exe
linux curl -fsSL https://ollama.com/install.sh | sh

二. 启动运行

直接拉取ollama官方内置的模型 ollama run llama3 如何本地没有llama3模型会自动拉取并运行
运行自己下载好的模型

2.1 从HuggingFace下载好gguf格式的模型文件到本地

2.2 导入模型

 新建文件llama3-cn.txt 并复制以下内容
  ```text
		#替换成你自己的模型文件地址
		FROM "E:\llm\models\Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf"

		TEMPLATE """{{- if .System }}
		<|im_start|>system {{ .System }}<|im_end|>
		{{- end }}
		<|im_start|>user
		{{ .Prompt }}<|im_end|>
		<|im_start|>assistant
		"""

		SYSTEM """"""

		PARAMETER stop <|im_start|>
		PARAMETER stop <|im_end|>
  ```

命令行运行 ollama create llama3-cn -f ./llama3-cn.txt

通过 ollama list命令就可以看到新建的llama3-cn了