Chat-With-MLX：在Mac上轻松运行各种开源模型并以RAG的方式聊天

你知道吗？在Apple Silicon Mac上运行各种开源模型，进行高效的LLMs聊天，现在变得超级简单啦！这要归功于Chat-With-MLX，一个全新的聊天UI，它利用了苹果的MLX框架，让一切变得如此轻松。无论你是想和Llama-3、Phi-3，还是其他热门模型进行互动，这个工具都能满足你的需求。

Chat-With-MLX的亮点

首先，咱们来聊聊Chat-With-MLX的几个亮点吧。这个工具最大的卖点就是它的隐私增强功能，能够让你在聊天时保持数据的安全性。再加上它的MLX Playground功能，简直就是一个全能的LLM聊天UI。最棒的是，它支持轻松集成任何HuggingFace和MLX兼容的开源模型，这样你就可以随时随地尝试各种不同的模型啦。

安装和使用指南

说到安装，Chat-With-MLX的设置也是相当简单的。你只需要通过pip安装即可：

    
bash复制
    
pip install chat-with-mlx

    

如果你更喜欢手动安装，也可以通过以下步骤来实现：

1. 克隆项目：

       
   bash复制
       
   git clone https://github.com/qnguyen3/chat-with-mlx.git
   cd chat-with-mlx
   
       

   git clone https://github.com/qnguyen3/chat-with-mlx.git cd chat-with-mlx

2. 创建虚拟环境并激活：

       
   bash复制
       
   python -m venv .venv
   source .venv/bin/activate
   
       

   python -m venv .venv source .venv/bin/activate

3. 安装依赖：

       
   bash复制
       
   pip install -e .
   
       

   pip install -e .

对于Conda用户，同样可以通过类似的步骤来安装：

1. 克隆项目并进入目录：

       
   bash复制
       
   git clone https://github.com/qnguyen3/chat-with-mlx.git
   cd chat-with-mlx
   
       

   git clone https://github.com/qnguyen3/chat-with-mlx.git cd chat-with-mlx

2. 创建并激活Conda环境：

       
   bash复制
       
   conda create -n mlx-chat python=3.11
   conda activate mlx-chat
   
       

   conda create -n mlx-chat python=3.11 conda activate mlx-chat

3. 安装依赖：

       
   bash复制
       
   pip install -e .
   
       

   pip install -e .

使用Chat-With-MLX

安装完成后，启动应用只需一个简单的命令：

    
bash复制
    
chat-with-mlx

    

如果你想添加自己的模型，可以查看项目中的指南，帮助你轻松上手。

常见问题

当然啦，任何软件都有可能遇到一些小问题。比如，当你通过某种方式下载模型时，唯一停止它的方法就是在终端中按下control + C。还有，如果你想切换文件，记得手动停止索引，否则向量数据库会把第二个文档加到当前数据库中。此外，你需要选择一个数据集模式（文档或YouTube）才能正常工作。

为什么选择MLX？

MLX是苹果为Apple Silicon设计的一个机器学习研究框架。它的Python API与NumPy非常相似，同时还支持C++、C和Swift等语言。MLX的动态图构建和统一内存模型让它在性能和易用性上都表现出色。

最后嘛，我的感觉是，Chat-With-MLX真的是一个非常强大的工具，特别适合那些想要在Apple Silicon Mac上进行机器学习研究的人。它不仅功能强大，而且使用起来也非常方便。如果你对机器学习感兴趣，不妨试试这个工具哦！