隧道穿透,运行模型服务

我在阿里云上的服务器只有cpu,没法跑当前的大模型,于是我想到用本地的mac mini 运行模型服务,再通过服务器转发出来。

step1: 内网穿透,将mac mini 上的端口映射到服务器上

step2: 服务器配置nginx 转发出来,需要注意的是 gradio 的api是通过websocket 进行的,因此需要在服务器上配置。

参考:

  1. https://blog.csdn.net/qq_43784821/article/details/130744163
    https://blog.csdn.net/qq_36588424/article/details/126592288