软件介绍

PocketPal 是一款 AI 聊天应用 AI 助手。它允许用户直接在设备上与先进的 AI 模型进行互动，无需互联网连接，确保了对话的私密性和安全性。用户可以通过简单的操作，在界面上添加和管理不同的语言模型，支持从多个平台（如 Hugging Face）添加模型，也能加载本地模型使用。

软件特点

• 离线运行：无需互联网连接，用户即可在设备上与 AI 进行互动，随时随地享受 AI 服务，不受网络限制
• 模型多样性：支持 Danube、Phi、Gemma、Qwen 等多个小型语言模型，满足用户不同的使用需求，用户还可自由切换和下载
• 智能内存管理：当应用切换至后台时，会自动卸载模型以节省内存，再次打开应用时，模型会自动重新加载，确保应用流畅运行
• 自定义参数：用户能够调整系统提示、温度、BOS 令牌和聊天模板等模型参数，获得更个性化的对话体验
• 实时性能分析：显示每秒生成的令牌数量以及每个令牌的响应时间，帮助用户了解模型表现，以便根据需求调整设置。
• Hugging Face 集成：可在应用内直接搜索、收藏和下载 Hugging Face 上的 GGUF 格式模型，方便用户获取丰富的模型资源

使用方法

• 进入菜单，点击 Models，加载模型首次使用时需要添加模型，点击右下角加号，可以“从 Hugging Face 添加”和“添加本地模型“
  * 从 Hugging Face 添加 需要连接国际网络，否则可能无法加载内容
• 模型名称中，1.5B、7B、32B 表示模型的参数量，单位为 B（Billion，十亿）。参数量越大，模型通常越复杂，能力越强，但计算资源需求也更高
• Q2、Q4 表示量化位数。例如，Q2 表示 2 位量化，Q4 表示 4 位量化。量化通过降低参数精度来减少模型大小和计算需求，但可能影响性能。XS、M、L 表示模型规模。例如，XS（Extra Small）可能是最小配置，M（Medium）为中等配置
• 这里提供一个 DeepSeek-R1-Distill-Qwen-7B-IQ3_M.gguf（基于 DeepSeek-R1 蒸馏的 Qwen 小模型）下载地址：https://hf-mirror.com/matrixportal/DeepSeek-R1-Distill-Qwen-7B-IQ3_M-GGUF/blob/main/deepseek-r1-distill-qwen-7b-iq3_m-imat.gguf
• 下载 gguf 文件后可以通过”Add Local Model”选择此文件导入模型
• 模型文件添加完成（下载完成）后，点击对应模型的 Load 按钮加载模型，等待加载后即可使用。受限于模型的参数量以及移动端性能等各种因素，响应速度较慢，质量不高。目前仅供娱乐

软件截图

蓝奏网盘：https://laoma.lanzoul.com/iD1Ym2ocf3jg

123 云盘：https://www.123684.com/s/kRr6jv-BHrid

百度网盘：https://pan.baidu.com/s/12TLUJ26QsK3puoHZuUb88A?pwd=p8x1