手里有只毛毛虫

9/29/2024 AI LLM 信息技术

在安卓、苹果手机上运行3B及以下AI LLM大语言模型APP

PocketAI是一个可以在移动设备上离线本地运行小型语言模型的软件，软件内可以直接下载Meta、阿里等3B及以下的语言模型，同时支持本地导入其他语言模型。目前软件内提供： Gemma Danube Phi Qwen Llama 实测iPhone 12 Pro Max可以运行，但随着对话条数增多响应明显卡顿，未卸载语言模型切换后台任务直接卡死无响应。8G 运行内存M2芯片的iPad可以流畅运行且...

Danube Gemma Llama LLM Phi Qwen 大语言模型手机移动设备

2/4/2024 AI LLM 信息技术

本地运行大型语言模型ollama

ollama 一款可以在本地启动并运行大型语言模型。不需要有AI专业知识，不需要用到矩阵，一键运行大公司训练好的大语言模型。 docker隔离，不需要破坏环境。 GitHub：<https://github.com/ollama/ollama> 使用方法 Docker Linux下运行docker命令 docker run -d -v ollama:/root/.ollama -p 11434:...

AI Docker Llama Llama2 LLM ollama 大语言模型