lulliecat

ぼくの今使っているPCには結構リッチなGPUを搭載しています。NVIDIA RTX4070です。これはメモリが12GByteあり、小規模なLLMのモデルを高速に動かすことができます。このGPUをできるだけ活用するため、外出先からもローカルで動かしたLLMのサービスにアクセスできる環境を構築しました。