品牌网站建设搜搜磐石网络重生做网站小说
llamafile 是一种AI大模型部署（或者说运行）的方案，它的特点就是可以将模型和运行环境打包成一个独立的可执行文件，这样就简化了部署流程。用户只需要下载并执行该文件，无需安装运行环境或依赖库，这大大提高了使用大型语言模型的便捷性。
本文将详细的介绍如何在 Windows 系统电脑端下载运行llamafile ，并且结合路由侠内网穿透实现外网访问本地的llamafile 。
第一步，下载 llamafile
1，先下载llamafile，下载包：https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?Revision=master&FilePath=llamafile-0.6.2.win.zip
2，下载后，需要解压文件，解压后可以看到一个llamafile.exe文件，不用点击这个文件。
3，进入这个链接：魔搭社区，去下载对应的大语言模型，本文以下载的是第一个模型为例。
4，下载好后，把下载的大语言模型和上面我们下载的llamafile.exe文件放在一起。
5，在llamafile目录下，点击左上角文件，直接打开powershell命令窗口。
6，执行输入下面命令运行llamafile。
.\llamafile-0.6.2.exe -m .\Qwen-7B-Chat-q4_0.llamafile -ngl 9999 --port 8080 --host 0.0.0.0
.\llamafile-0.6.2.exe 表示运行llamafile；
.\Qwen-7B-Chat-q4_0.llamafile表示运行自己下载的大语言模型；
-ngl 999 表示调用GPU显卡运行；
8080 是web 界面访问端口，可以自己修改；
后面-host 默认即可。
7，打开浏览器，输入本地访问地址，就能看到 llama 的web ui 界面,这样表示启动就成功了
第二步，如何在外网访问本地局域网的llamafile
在内网的电脑上安装路由侠，点此下载
1，下载安装完成后，打开路由侠界面，点击【内网映射】。
2，点击【添加映射】。
3，选择【原生端口】。
4，在内网端口里填写默认端口 8080 后点击【创建】按钮，如下图。
5，创建好后，就可以看到一条映射的公网地址，鼠标右键点击【复制地址】。
6，在外网的浏览器的地址栏输入复制的外网地址就可以访问llamafile了。
