基于Kubernetes环境的高扩展机器学习部署利器——KServe

随着的发布，人们越来越难以回避利用机器学习的相关技术。从消息应用程序上的文本预测到智能门铃上的面部识别，机器学习（ML）几乎可以在我们今天使用的每一项技术中找到。

如何将机器学习技术交付给消费者是企业在开发过程中必须解决的众多挑战之一。机器学习产品的部署策略对产品的最终用户有重大影响。这可能意味着，上的Siri和网络浏览器中的之间将存在重大差异。

除了流畅的用户界面和过于自信的聊天对话之外，还隐藏了部署大型语言机器学习模型所需的复杂机制。建立在一个高度可扩展的框架上，该框架旨在当模型呈指数级被应用期间提供和支持该模型。事实上，实际的机器学习模型只占整个项目的一小部分。此类项目往往是跨学科的，需要数据工程、数据科学和软件开发方面的专业知识。因此，简化模型部署过程的框架在向生产交付模型方面变得越来越重要，因为这将有助于企业节省时间和金钱。

如果没有适当的运营框架来支持和管理ML模型，企业在试图扩大生产中机器学习模型的数量时往往会遇到瓶颈。

虽然在高度饱和的MLOps工具包市场上，没有一个工具能成为明显的赢家，但正成为一个越来越受欢迎的工具，帮助企业满足机器学习模型的可扩展性要求。

一、什么是？

是一个用于的高度可扩展的机器学习部署工具包。它是一个构建在之上的编排工具，并利用了另外两个开源项目，-和Istio；稍后将对此进行详细介绍。

图片来源于（）

通过将部署统一到一个资源定义中，大大简化了机器学习模型在集群中的部署过程。它使机器学习部署成为任何机器学习项目的一部分，易于学习，并最终降低了进入壁垒。因此，使用部署的模型比使用需要Flask或服务的传统部署的模型更容易维护。

借助于，在使用HTTPs协议通过因特网公开模型之前，不需要将模型封装在或Flask应用程序中。内置的功能基本上复制了这个过程，但不需要维护API端点、配置pod副本或配置上的内部路由网络。我们所要做的就是将指向您的模型，然后由它来处理其余的部分。

除了简化部署过程之外，还提供了许多功能，包括金丝雀部署（译者注：这是一种流行的持续部署策略，其中将一小部分机队更新为应用程序的新版本）、推理自动缩放和请求批处理。这些功能将不会被讨论，因为它超出了本文的范围；然而，本文有望为进一步探索相关知识的理解奠定基础。

首先，我们来谈谈附带的两个关键技术，Istio和。

1、Istio

如果没有Istio，带来的许多功能将很难实现。Istio是一个服务网格，用于扩展部署在中的应用程序。它是一个专用的基础设施层，增加了可观察性、流量管理和安全性等功能。对于那些熟悉的人来说，Istio将取代通常在集群中找到的标准入口定义。

管理流量和维护可观察性的复杂性只会随着基于的系统的扩展而增加。Istio最好的功能之一是集中控制服务级别的通信。这使开发人员能够对服务之间的通信进行更大的控制和透明度。

有了Istio，开发人员不需要专门开发那些需要能够处理流量身份验证或授权的应用程序。最终，Istio有助于降低已部署应用程序的复杂性，并使开发人员能够专注于应用程序的重要组件。

通过利用Istio的网络功能，能够带来包括金丝雀部署、推理图和自定义转换器在内的功能。

2、

另一方面，是一个开源的企业级解决方案，用于构建无服务器和事件驱动的应用程序。构建在Istio之上，带来了类似于AWS 和Azure 提供的无服务器代码执行功能。是一个与平台无关的解决方案，用于在中运行无服务器部署。

最好的功能之一是可扩展到零的功能，当没有需求时，该功能会自动缩减部署。这是扩大或缩小ML模型部署能力的一个关键组成部分，也是最大限度地提高资源利用率和节省成本的一个组成部分。

3、我应该使用吗？

与许多其他工具一样，不是一个适合您的企业所要求的一刀切式的解决方案。它的入门成本很高，因为需要用户具备一些使用的经验。如果你刚开始使用，网上有很多资源，我强烈建议你在上查看（）之类的资源。尽管如此，即使不深入了解，也可以学习使用。

在已经利用的企业中，将是理想的选择，因为这些企业在使用方面已经拥有现有的知识。它还可能适合那些希望放弃或补充或Azure机器学习等托管服务的组织，以便对您的模型部署过程有更大的控制权。所有权的增加可以显著降低成本，并提高可配置性，以满足项目的特定要求。

尽管如此，正确的云基础设施决策将取决于具体情况，因为不同公司的基础设施要求不同。

二、预备知识

本文接下来将带您了解设置所需的步骤。您将了解安装并为您的第一个模型提供服务的步骤。

在继续之前，需要满足几个先决条件。您将需要准备以下内容：

1、集群

在本教程中，我建议使用Kind工具（）对集群进行实验。它是一个运行本地集群的工具，无需启动云资源。此外，如果您在多个集群中工作，我强烈推荐把作为一种工具，它能够帮助您在上下文之间轻松切换。

但是，在运行生产工作负载时，您需要访问功能齐全的集群来配置DNS和HTTPS。

使用Kind工具部署集群的命令如下：

kind create cluster --name kserve-demo

然后，您可以使用以下命令切换到正确的上下文：

kubectx kind-kserve-demo

2、安装

以下步骤将安装Istio v1.16、 v1.7.2和 v0.10.0。这些版本最适合本教程，因为 v1.8以后的版本将需要对入口进行DNS配置，这增加了一层超出目前范围的复杂性。

1）安装Istio：

curl -L https://istio.io/downloadIstio | ISTIO_VERSION=1.16.0 TARGET_ARCH=x86_64 sh -istioctl install --set profile=default -y

2）安装 ：

#安装Knative Serving组件
export KNATIVE_VERSION="v1.7.2"
kubectl apply -f https://github.com/knative/serving/releases/download/knative-$KNATIVE_VERSION/serving-crds.yaml
kubectl apply -f https://github.com/knative/serving/releases/download/knative-$KNATIVE_VERSION/serving-core.yaml#安装istio-controller for knative
kubectl apply -f https://github.com/knative/net-istio/releases/download/knative-v1.7.0/net-istio.yaml

3）安装证书管理器。需要证书管理器来管理HTTPs流量的有效证书。

helm repo add jetstack https://charts.jetstack.io
helm repo update
helm install cert-manager jetstack/cert-manager --namespace cert-manager --create-namespace --version v1.11.0 --set installCRDs=true

4）为模型创建一个命名空间。

kubectl create namespace kserve

5）克隆存储库。

git clone git@github.com:kserve/kserve.git

6）将定制资源定义和运行时安装到集群中的模型命名空间中。

cd kserve
helm install kserve-crd charts/kserve-crd -n kserve
helm install kserve-resources charts/kserve-resources -n kserve

我们现在已经在集群上安装了。接下来，让我们开始部署吧！

三、第一个推理服务

为了确保部署顺利进行，让我们部署一个演示推理服务。您可以在链接#1--a-处找到部署的完整源代码。

kubectl apply -n kserve -f - <

kubectl get pods -n kserve

kubectl describe pod-n kserve

kubectl get isvc -A

kubectl get svc istio-ingressgateway -n istio-system

kubectl port-forward -n istio-system service/istio-ingressgateway 8080:80

export INGRESS_HOST=localhost
export INGRESS_PORT=8080

export INGRESS_HOST=$(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
export INGRESS_PORT=$(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.spec.ports[?(@.name=="http2")].port}')

cat <"./iris-input.json"
{"instances": [[6.8,  2.8,  4.8,  1.4],[6.0,  3.4,  4.5,  1.6]]
}
EOF

SERVICE_HOSTNAME=$(kubectl get inferenceservice sklearn-iris -n kserve -o jsonpath='{.status.url}' | cut -d "/" -f 3)
curl -v -H "Host: ${SERVICE_HOSTNAME}" "http://${INGRESS_HOST}:${INGRESS_PORT}/v1/models/sklearn-iris:predict" -d @./iris-input.json

kubectl apply -n kserve -f - <          
apiVersion: "serving.kserve.io/v1beta1"
kind: "InferenceService"
metadata:name: "sklearn-iris"
spec:predictor:minReplicas: 0model:modelFormat:name: sklearnstorageUri: "gs://kfserving-examples/models/sklearn/1.0/model"
EOF

kubectl get pods -n kserve

SERVICE_HOSTNAME=$(kubectl get inferenceservice sklearn-iris -n kserve -o jsonpath='{.status.url}' | cut -d "/" -f 3)
curl -v -H "Host: ${SERVICE_HOSTNAME}" "http://${INGRESS_HOST}:${INGRESS_PORT}/v1/models/sklearn-iris:predict" -d @./iris-input.json