如何部署TensorFlow模型

如何部署TensorFlow模型,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

创新互联服务项目包括馆陶网站建设、馆陶网站制作、馆陶网页制作以及馆陶网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,馆陶网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到馆陶省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

TensorFlow模型部署

1. docker镜像拉取

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

2. 保存模型

# 保存模型的时候需要设置模型的版本号字段,不然部署到docker后会报找不到模型版本的错误
model.save("./data/models/zsh_test/1")

3. 部署模型

3.1 单个模型部署

# 映射restapi端口8501,grpc端口8500
# 映射模型定义的路径
# 定义模型名称
docker run -p 8501:8501 \
  -v /path/to/model/models/zsh_test:/models/zsh_test/ \
  -e MODEL_NAME=zsh_test -t tensorflow/serving
# 模型结构
~/PycharmProjects/pytorch-study/data/models
❯ tree
.
└── zsh_test
    └── 1
        ├── assets
        ├── saved_model.pb
        └── variables
            ├── variables.data-00000-of-00001
            └── variables.index

4 directories, 3 files

3.2 多个模型部署

  • 目录结构

    在模型保存文件夹models下保存多个模型,并添加models.config配置文件,配置模型基本信息。

    ~/PycharmProjects/pytorch-study/data
    ❯ tree
    .
    ├── exp_all_data.csv
    ├── exp_all_result.csv
    └── models
        ├── models.config
        ├── zsh_test
        │   └── 1
        │       ├── assets
        │       ├── saved_model.pb
        │       └── variables
        │           ├── variables.data-00000-of-00001
        │           └── variables.index
        └── zsh_test1
            └── 1
                ├── assets
                ├── saved_model.pb
                └── variables
                    ├── variables.data-00000-of-00001
                    └── variables.index
    
    9 directories, 9 files

  • 配置文件

    model_config_list:{
        config:{
          name:"zsh_test",
          base_path:"/models/zsh_test",
          model_platform:"tensorflow"
        },
        config:{
          name:"zsh_test1",
          base_path:"/models/zsh_test1",
          model_platform:"tensorflow"
        }
    }

# 部署多个模型
docker run -p 8501:8501 \
-v /path/to/model/models/:/models/ \
-t tensorflow/serving --model_config_file=/models/models.config

4. 测试API

 # http://ip:prot/version/models/model_name
 # 查看模型信息
 curl http://localhost:8501/v1/models/zsh_test
 
 response:
 {
 "model_version_status": [
  {
   "version": "1",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

# 调用模型
curl --location --request POST 'http://localhost:8501/v1/models/zsh_test:predict' \
--header 'Content-Type: application/json' \
--data '{"instances": [test_data]
}'

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。


当前名称:如何部署TensorFlow模型
网站URL:http://scyanting.com/article/gcpsjc.html