手把手教你用Charmed Kubeflow和Feast微调专属LLM

Mark Do 5 小时前暂无评论阅读 31 次

打造你的私有大模型助手

想要拥有一款专属于自己的宠物级大语言模型吗？第一步往往是最难的，但别担心——这篇完整的端到端教程将带你从零开始，最终部署一个功能完备的聊天机器人。我们将使用`nampdn-ai/tiny-webtext`数据集对模型进行微调，该数据集专门设计用于提升模型的批判性思维能力。准备好了吗？这将是一段既有趣又充满深度的技术之旅。

技术方案概览

整个流程将基于Canonical的Charmed Kubeflow完成——这是一款企业级MLOps平台，能够在自主可控的环境中支持端到端的模型微调。你可以在高性能笔记本或运行Kubernetes的家庭实验室中部署它。如果需要规模化运行，也可以构建一个完整的数据中心级AI工厂，配备多节点GPU加速器和超高性能网络 fabric。如需了解更多，可访问Canonical官网的Charmed Kubeflow产品页面，或注册托管服务，该服务在Microsoft Azure中运行Charmed Kubeflow，并提供7×24小时运营支持。

环境准备

所有必要的代码文件均收录在我的GitHub仓库中，但在开始之前，请确认你的系统满足以下要求：

一台或多台运行Ubuntu 24.04 LTS或更高版本的电脑，配备32GB内存和16核CPU，配置越高越好
稳定可靠的网络连接（需要下载较大的文件）
具备一定的Linux和Kubernetes操作基础
Hugging Face账户（用于下载所需数据集）

系统部署步骤

一切就绪后，打开终端并安装基础软件：

sudo snap install microk8s --channel 1.34-strict/stable
sudo microk8s enable storage dns
sudo microk8s enable metallb 10.64.140.43-10.64.140.49
sudo snap install juju --channel 3.6/stable
sudo microk8s.config | juju add-k8s my-k8s --client
juju bootstrap my-k8s
sudo snap install terraform
sudo apt install git -y
git clone https://github.com/canonical/charmed-kubeflow-solutions.git
pushd charmed-kubeflow-solutions
git checkout track/1.11-rc
pushd terraform/products/kubeflow

上述命令将为你搭建一个基于Canonical MicroK8s的单节点轻量级Kubernetes集群，同时集成Canonical的运维引擎Juju和Terraform。

启动Charmed Kubeflow

接下来启用核心组件：Kubeflow基础系统、Kubeflow Trainer v2、KServe模型服务器以及Feast特征存储。其他模块（如Katib、MLFlow、TensorBoard、联邦登录和Canonical可观测性栈）将暂时禁用，后续可按需开启。

DEX_USERNAME=username
DEX_PASSWORD=password
terraform init
terraform apply -auto-approve 
  -var dex_static_username="${DEX_USERNAME}" 
  -var dex_static_password="${DEX_PASSWORD}" 
  -var enable_feast=true 
  -var enable_katib=false 
  -var enable_kserve=true 
  -var enable_training_v2=true 
  -var enable_training_v1=false 
  -var enable_observability=false 
  -var enable_tensorboard=false
popd
popd

Terraform计划执行完成后，Kubernetes集群上的服务启动还需约10分钟。你可以通过juju status命令监控部署进度。当所有服务状态显示为”available”时，即可尝试登录Kubeflow控制台。