Self-Hosting

Artikel

Artikel

SucheTopic
ARTIFICIAL INTELLIGENCE CI/CD CLOUD NATIVE DEVOPS HASHICORP INFRASTRUCTURE AS CODE PLATFORM ENGINEERING SECURITY
Autor
Martin Buchleitner Edmund Haselwanter Juergen Brueder Paul Strebenitzer Matthias Theuermann Marina Brooks Infralovers Team Theresa Wallas Miriam Grainer

Ollama

Kurzfassung Ollama ist ein Werkzeug, um Open-Weight-Sprachmodelle lokal zu betreiben – auf Laptop, Workstation oder Server – statt eine gehostete Cloud-API

vLLM

Kurzfassung vLLM ist eine quelloffene Library, um große Sprachmodelle mit hohem Durchsatz und effizientem Speichereinsatz zu betreiben. Ursprünglich an der UC

Zurück
Seite von
Weiter