轶哥

📚 Having fun with AI Agent. Always learning.

普通电脑安装使用A800/A100等专业显卡
  •   更新:2023-08-23 23:23:06
  •   首发:2023-06-28 00:25:45
  •   服务器配置
  •   10591

专业显卡在生产力应用领域不仅仅用于AI模型训练及推理,也用于空气动力学仿真、科学计算和数据分析。某些情况下塔式工作站是很多专业用户的最佳选择。

为什么选择消费级平台?

使用云服务获得专业显卡的计算能力是非常方便的,但受限于光速,使用非同一个城市的机房会有较大的延迟,部分专业应用对延迟要求很高,也不得不使用物理机搭配专业显卡。

博主在近几年一直在做垂直领域的人工智能,由于服务于政府客户,对数据安全的要求比较高,因此选择自建塔式工作站放置于工作室来进行模型调试,使用雷电4接口能够快速传输大量数据。在生产部署阶段自然也会部署于服务器机房,实现合理分工。

在服务器中使用A800/A100专业显卡非常简单,插上去就完事。但是机架服务器动辄万转的风扇产生巨大的噪音使得无法放置在普通办公室使用。

不同的人对专业应用的要求是不一样的,就像有的人明知游戏卡某些计算精度性能和专业卡有区别,内存带宽和多卡互联能力也有很大差距,但是他就是要用多张4090游戏卡来进行AI炼丹一样,他们既不使用专业软件,也不要求更高的数据吞吐能力,因此出于对成本、环境、安全性以及各方面的考虑,就是有用户希望使用普通电脑安装使用专业显卡。博主实测4090比绝大部分专业卡做AI绘图速度更快,因此4090在这个场景下就是具有性价比。总之,希望大家以包容的心态看待这个问题。

家用级别的设备稳定性是远不如企业级设备的,博主也只会在开发环境下使用消费级平台,不要试图将工作站直接放进机柜部署,否则就是给自己找事情做。

Nginx反向代理OpenAI API
  •   更新:2023-06-05 10:16:11
  •   首发:2023-04-30 11:59:48
  •   服务器配置
  •   8168

在本教程中,我们将介绍如何使用Nginx反向代理访问OpenAI API,并提供相应的测试方法。主要目标是保证Server-sent events (SSE)类型响应的流畅输出,从而提供良好的用户体验。

ssh一键部署frpc内网穿透脚本
  •   更新:2023-03-22 23:05:33
  •   首发:2023-03-13 23:22:16
  •   服务器配置
  •   3367

以下是实现自动安装frpc的Shell脚本,实现ssh的22端口内网穿透,注册systemd服务开机自动启动。

直接使用线上地址快速下载并执行Shell脚本一件部署可以使用以下命令:

使用curl:

curl -sSL https://openapi.site/install_frpc.sh | bash -s 端口号 token server_addr [server_port=7000]

使用wget:

wget -qO- https://openapi.site/install_frpc.sh | bash -s 端口号 token server_addr [server_port=7000]

其中端口号、token、server_addr为必须传入的参数,server_port为可选参数,如果没有传入则默认为7000。请根据自己的需要替换相应的参数值。

从SSH远程唤起本地浏览器打开URL
  •   更新:2022-06-23 14:55:40
  •   首发:2022-06-22 09:48:05
  •   服务器配置
  •   9649

从SSH连接的远程环境中在本地网页浏览器中打开URL,且URL是服务器的本机/内网地址。这是完全可以做到的,就像在本地进行软件开发一样。

这里介绍两种方法,一个是仅转发服务器本地端口,在本地浏览器打开运行。另一个是拦截服务器中打开浏览器相关命令,在本地浏览器中打开,且可以配合第一个方法实现本地浏览器打开服务器本地页面。

温馨提示,通过VScode的Remote-SSH插件可以像在本地开发一样编辑服务器上的代码(其它编辑器也有类似功能,例如neovim支持远程网络文件编辑),配合本文的方法可以做到本地调试服务器本地代码。

在MacOS中运行Linux图形程序
  •   更新:2022-06-23 13:12:23
  •   首发:2022-06-23 13:12:23
  •   服务器配置
  •   3798

近期分享了《从SSH远程唤起本地浏览器打开URL》,其实从远程SSH也可以直接打开带GUI的Linux应用程序的。之前分享过《Win10中通过WSL2开发基于Electron的Ubuntu应用程序》,原理上其实是一样的。

都是通过安装X11服务来实现。

此方法和虚拟机以及Wine有本质区别。应用程序可以运行在远程服务器,这样是不占用系统内存和CPU的。

本文介绍的方法是从MacOS中SSH远程到服务器调试和开发Linux平台的GUI应用程序

在MacOS中运行Linux的GUI程序需要借助开源软件XQuartz

Linux网卡优先级配置及同时访问内外网设置
  •   更新:2022-05-02 14:47:20
  •   首发:2022-05-02 12:15:11
  •   服务器配置
  •   17858

在Linux系统中,双网卡或多网卡上网并不会同时使用两者同时上网,只会优先把请求发送到优先级高的默认网关(对应网卡的内网网段除外)。插入多个网卡的时候,路由表中就会存在多个默认网关,访问外部网络的时候,系统根据路由原则,Metric值小的网卡优先级高,会优先使用该网卡上网。

在MacOS系统中,设置网卡优先级只需要在系统偏好设置-网络中设置设定网卡服务顺序,具体操作见《MacOS 同时使用内网和外网(双网卡同时联网)》。

在Windows系统中,设置网卡优先级只需要设置网卡的跃点数,具体操作见《win10链路聚合,双网卡带宽叠加负载均衡》(win11同理)。

而在Linux系统中,设置网卡优先级需要修改路由表配置,调整默认网关的Metric值。

ESXi 安装USB网卡驱动
  •   更新:2022-04-24 07:24:15
  •   首发:2021-03-02 14:26:05
  •   服务器配置
  •   29229

通过给ESXi宿主机安装USB驱动,可以实现兼容虚拟机无法驱动的硬件。如果虚拟机本身已经兼容了该硬件,可以参考《ESXI+爱快+OpenWRT 使用2.5G USB网卡 RTL8156》设置USB芯片组直通,获得更好的性能体验。

驱动下载地址: https://flings.vmware.com/usb-network-native-driver-for-esxi

注: 根据官网说明,flings是实验性的,不应该用于生产环境。

支持的ESXi版本:6.5.0,6.7.0,7.0.0,7.0.1。建议升级到ESXi 7.0 Update 1以获得最佳体验(参考《ESXi7.0.0 升级到 ESXi 7.0 Update 1》)。低版本可能导致重启后USB网卡无法正常工作且无法恢复。

Linux系统参考《Linux 2.5G USB网卡驱动安装RTL8156/8156B》。

brew安装python2
  •   更新:2022-04-17 14:56:43
  •   首发:2021-02-03 14:18:06
  •   服务器配置
  •   31368

Homebrew是MacOS中绝佳的包管理工具。通过brew安装pyton3非常容易brew install python@3,将会自动添加python3pip3命令。

关于python的安装,在Homebrew官网给出了详细的说明:https://docs.brew.sh/Homebrew-and-Python

Homebrew provided a python@2 formula until the end of 2019, at which point it was removed due to the Python 2 deprecation.

根据提示,我们知道python@2已经被移除。在2020年初,python@2仍然可以正常安装,但就在不久前,官方移除了python@2。我对Homebrew官方的操作表示支持和理解,毕竟技术的更新和迭代是不可逆转的,是需要大家一起支持的。

  上一页 下一页