- 简介
- 目录大纲
- 最新文档
- 文集下载
[大模型]llama.cpp运行大模型容器的方案不能调用GPU的问题
说明 llama.cpp正常运行gguf模型的方式，以下是已经测试的方案。 方案 docker run -d -p 29900:8080 --privileged-true --gpus-all -v /nfsdata/server/llama.cpp/models:/models -v /nfsdata/server/llama.cpp/app:/app \ --name LLamacpp...……
虚拟世界 - 2026年6月28日 14:12
[大模型]llama.cpp容器运行的方法docker run
说明 为了解决ollama运行模型时，越来越慢的问题。ollama居然在调用qwen3.6时居然回答时间超过一分钟，硬件GPU为A100*4，很不正常！所以决定改用llama.cpp进行调用模型。 解决方案 1、下载llama.cpp镜像 查询镜像网站： https://docker.aityp.com/ ```bash docker pull swr.cn-north-4.myhuawei...……
虚拟世界 - 2026年5月15日 20:19
[大模型]Ollama pull拉取大模型时速度很慢slow download model file
说明 最近在更新大模型时，发现ollama下载模型很慢，折腾了很久，设置代理然后，设置镜像网站，等等都不行。 折腾了好久，才勉强算是有了一个方案。 对了，脚本全部由TRAE完成，自己未写一字。 解决方案 ==通过重启pull的方式进行，也就是过一段时间就重启下载== ==实现实时监控速度，低于指定值则重启下载== 脚本使用方法： bash Ollamapull.bat qwen3-next:...……
虚拟世界 - 2026年1月17日 10:49
[大模型]ollama容器离线升级ollama手动升级0.6.8
说明 前面介绍过ollama升级的过程，但是咧，太麻烦，太慢，太不可行。 经过测试，今天给出简单好用的升级方法。 升级方法 下载.tgz安装包 用浏览器下载，通过github加速的方式下载，github上搜索ollama，找到最新稳定版0.6.8版本。 拷贝到容器(登陆容器内操作) 拷贝到容器中，并用命令解压 bash tar -xzf ollama-linux-amd64.tgz -C /...……
虚拟世界 - 2025年5月16日 16:25
[大模型]ollama工具升级docker中升级ollama下载速度很慢的解决方案
原地址： https://blog.csdn.net/chinamaoge/article/details/145665465 自动安装(不推荐，不稳定) 下载脚本 bash curl -fsSL https://ollama.com/install.sh -o ollama_install.sh 修改脚本 bash sed -i 's|https://ollama.com/downloa...……
虚拟世界 - 2025年5月15日 16:18