在上一篇中，我们探讨了AI技术如何赋能容器化生态，从智能化运维到创新应用，展现了二者融合的巨大潜力。本篇将聚焦于一个具体场景：AI模型的容器化部署，并通过代码示例，带领读者一步步完成从模型训练到推理服务的完整流程。
一、场景概述
假设我们有一个图像分类任务，需要训练一个卷积神经网络（CNN）模型来识别不同种类的猫。训练完成后，我们希望将这个模型部署为容器化的推理服务，以便其他应用可以通过API调用进行预测。
二、技术栈选择
为了实现上述目标，我们将使用以下技术栈：
- 模型训练框架： PyTorch
- 容器化工具： Docker
- 容器编排平台： Kubernetes
- 推理服务框架： FastAPI
三、代码实现
1. 模型训练
首先，我们需要使用PyTorch训练一个CNN模型。以下是一个简单的代码示例：
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
# 定义CNN模型
class CatClassifier(nn.Module):
def __init__(self):
super(CatClassifier, self).__init__()
self.conv1 = nn.Conv2d(3, 32, kernel_size=3, stride=1, padding=1)
self.pool = nn.MaxPool2d(kernel_size=2, stride=2)
self.fc1 = nn.Linear(32 * 16 * 16, 128)
self.fc2 = nn.Linear(128, 10) # 假设有10种猫
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))
x = x.view(-1, 32 * 16 * 16)
x = F.relu(self.fc1(x))
x = self.fc2(x)
return x
# 数据预处理
transform = transforms.Compose([
transforms.Resize((32, 32)),
transforms.ToTensor(),
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])
# 加载数据集
train_dataset = datasets.ImageFolder(root='path/to/train_data', transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=32, shuffle=True)
# 初始化模型、损失函数和优化器
model = CatClassifier()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)
# 训练模型
for epoch in range(10):
for images, labels in train_loader:
outputs = model(images)
loss = criterion(outputs, labels)
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 保存模型
torch.save(model.state_dict(), 'cat_classifier.pth')
2. 构建Docker镜像
训练完成后，我们需要将模型和推理代码打包成Docker镜像。首先，创建一个Dockerfile文件：
FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["python", "app.py"]
然后，创建一个requirements.txt文件，列出所需的Python库：
torch
fastapi
uvicorn
最后，构建Docker镜像：
docker build -t cat-classifier .
3. 部署到Kubernetes
接下来，我们将Docker镜像部署到Kubernetes集群。首先，创建一个deployment.yaml文件：
apiVersion: apps/v1
kind: Deployment
metadata:
name: cat-classifier
spec:
replicas: 3
selector:
matchLabels:
app: cat-classifier
template:
metadata:
labels:
app: cat-classifier
spec:
containers:
- name: cat-classifier
image: cat-classifier
ports:
- containerPort: 8000
然后，创建一个service.yaml文件，暴露服务：
apiVersion: v1
kind: Service
metadata:
name: cat-classifier
spec:
selector:
app: cat-classifier
ports:
- protocol: TCP
port: 80
targetPort: 8000
type: LoadBalancer
最后，使用kubectl命令部署应用：
kubectl apply -f deployment.yaml
kubectl apply -f service.yaml
4. 测试推理服务
部署完成后，我们可以通过API调用测试推理服务。以下是一个简单的Python代码示例：
import requests
url = "http://<service-ip>/predict"
files = {
'file': open('test.jpg', 'rb')}
response = requests.post(url, files=files)
print(response.json())
四、总结
通过以上步骤，我们成功地将一个AI模型容器化并部署到Kubernetes集群，实现了从模型训练到推理服务的完整流程。容器化技术为AI模型的部署和管理提供了极大的便利，而Kubernetes则进一步提升了服务的可靠性和可扩展性。未来，随着AI技术的不断发展，容器化AI模型部署将成为一种主流趋势。我们可以预见，越来越多的AI应用将以容器化的方式运行在云端或边缘，为各行各业带来更智能、更高效的服务体验。
