我在阿里云上的服务器只有cpu,没法跑当前的大模型,于是我想到用本地的mac mini 运行模型服务,再通过服务器转发出来。
step1: 内网穿透,将mac mini 上的端口映射到服务器上
step2: 服务器配置nginx 转发出来,需要注意的是 gradio 的api是通过websocket 进行的,因此需要在服务器上配置。
参考:
- https://blog.csdn.net/qq_43784821/article/details/130744163
https://blog.csdn.net/qq_36588424/article/details/126592288