LULLIECAT

magnifier-glass
Astro
開業
Cloudflare
日記
大規模言語モデル
技術記事
Webアカデミー
WordPress
    • BLOG
    • github
    • youtube
    • x
    • Cloudflare Tunnel + Access + WARPを使って、ローカルLLMのサービスを外部から使う

      producer
      2025年1月29日
      技術記事

      ぼくの今使っているPCには結構リッチなGPUを搭載しています。NVIDIA RTX4070です。これはメモリが12GByteあり、小規模なLLMのモデルを高速に動かすことができます。このGPUをできるだけ活用するため、外出先からもローカルで動かしたLLMのサービスにアクセスできる環境を構築しました。

    round-arrow-top
    © 2024 lulliecat