type
status
date
slug
summary
tags
category
icon
password
前言
最新的llama3很火，虽然我有很多AI工具可以使用了，但是本地化部署大模型对我一直很有吸引力，ollama有了之后第一时间拉下来体验了一下，由于电脑的配置限制，只能拉取8B版本。
结论：8B版本对中文不友好，对话过程中无法保持纯中文对话，很多英文单词会出现，理解能力也有所欠缺，实际体验不佳，但是由于是本地部署，速度很快。
我的配置如下：
- 处理器：Intel(R) Core(TM) i7-9700 CPU @ 3.00GHz，3000 Mhz，8 个内核，8 个逻辑处理器
- 已安装的物理内存(RAM)：48.0 GB
- 显卡：NVIDIA GeForce GTX 1660 SUPER, NVIDIA 兼容
安装ollama，拉取llama3
首先去ollama的官网根据电脑的版本下载ollama服务端，下载好之后保持运行即可，我是windows版本，安装的时候不能选择路径，当然，我们可以在安装完之后剪切整个安装路径到其他盘符，并不会影响ollama的工作。
在ollama的models页签可以下载到ollama支持的所有models，llama3也在其中。这里有一个小tips，因为拉取的模型会自动默认安装在C盘，如果不希望占用C盘空间，可以在“环境变量”中增加”系统变量“，变量名为：OLLAMA_MODELS，值就是你希望models下载的路径，如图：
接着保持ollama的服务开启，在ollama的安装目录打开CMD，输入：ollama run llama3，默认会拉取8B版本，如果你要拉取更大的版本，可以ollama run llama3:70B。拉取进度完成后会自动运行，即可对话。
微调llama3
原生的llama3对中文的支持很差，或者如果你希望它更擅长某一领域的知识，你可以对其进行微调，相当于prompt的作用。
这里需要一个在任一位置创建一个modelfile.txt文件，内容是：
在ollama安装路径中启动CMD，输入：
成功后即可使用以下代码来启动经过调整的模型：
调整后的模型效果会比原生的效果好一些：
qwen32B尝试
接着我拉取了qwen32B大模型，可以成功运行，但是响应速度很慢，配置有点吃不消。
- Author:MarkLin
- URL:https://marklin.life/article/llama3
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts