当LLM遇上实时金融风控

对话式AI聊天机器人在起草邮件或调试代码时表现出色，但在实时应用中间件场景中却并非最佳选择。如果你在结账流程中需要检查一笔金融交易是否存在欺诈风险，你不需要LLM为你写上一篇长篇分析来说明为什么某张信用卡交易看起来可疑——你需要的是一个概率评分，而且必须尽可能快地得到结果。

正是基于这一需求，TypeSafe AI最近发布了Jev，这是一个基于云的服务，利用改造后的生成式AI模型来处理分类任务。与之呼应，开源权重模型社区也推出了类似的公开可用模型，你可以自行部署运行。这些大型语言模型不再进行自然语言生成，而是完全跳过文本生成环节，直接读取你提供的上下文，在一次并行处理中评估所有输入，然后返回概率结果。

这种基于LLM的新型分类技术的出现，在我看来是一个绝佳的机会，用来展示如何使用Canonical的开源MLOps技术栈，构建一个基于开源权重Jev类模型——即”system-one-qwen3.5-4b-scorer“模型——的实时交易欺诈检测系统。

开源MLOps技术栈

Canonical的开源MLOps技术栈功能相当全面，集成了对Kubeflow、Katib、Feast、MLFlow和KServe的支持，覆盖了从预训练、微调到强化学习的全流程，并提供了一套结构化工具来辅助项目从早期研究到生产部署的完整生命周期管理。

不过对于本项目，我们只需要使用KServe。KServe是一个基于Kubernetes的推理服务器控制平面，它帮助你部署AI模型——包括大型语言模型——到Kubernetes环境中，从而充分利用Kubernetes为生产部署提供的弹性和自动化能力。在正式开始之前，请确保满足以下前置条件：

• 你的电脑上至少需要运行Ubuntu 24.04 LTS系统。
• 电脑需要配备至少32GB内存和现代CPU，以确保流畅运行。
• 我最初使用笔记本电脑CPU的集成显卡来加速模型处理，但为了让这个实验项目更具普适性，我们将使用计算机的CPU。模型运行速度会稍慢一些。
• 稳定且高速的网络连接，用于下载所需资源。
• 对Linux命令有一定的熟悉度，以便能够跟随操作。

安装KServe并搭建实验环境

首先，我们来准备系统环境。打开终端，确保已安装基础软件，然后依次运行以下命令：

sudo snap install microk8s --channel 1.34-strict/stable
sudo microk8s enable storage dns
sudo microk8s enable metallb 10.64.140.43-10.64.140.49
sudo snap install juju --channel 3.6/stable
sudo microk8s.config | juju add-k8s my-k8s
sudo snap install terraform
sudo apt install git -y
git clone https://github.com/canonical/charmed-kubeflow-solutions.git
pushd charmed-kubeflow-solutions
git checkout track/1.11
pushd terraform/products/kubeflow

恭喜你，此刻你已经成功安装了一个基于CanonicalMicroK8s的单节点超紧凑型Kubernetes集群，并配备了Canonical的操作管理引擎Juju以及Terraform。

接下来启动Charmed Kubeflow。我们只需要启用Kubeflow和KServe，因此会将Katib、MLFlow、TensorBoard、联邦登录以及Canonical可观测性栈等其他模块禁用。当然，如果你之后有需要，随时可以开启它们，但这些在当前的演示中并不必要。

DEX_USERNAME=username
DEX_PASSWORD=password
terraform init
terraform apply -auto-approve -var dex_static_username="${DEX_USERNAME}" -var dex_static_password="${DEX_PASSWORD}"

关注微信号：智享开源 ，及时了解更新信息。

原文链接：https://ubuntu.com//blog/realtime-transaction-fraud-detection-with-an-llm