Local LLM runner (GPU version)
Julkaisuvuosi
2024
Tekijät
Merilehto, Juhani
Tiivistelmä
Local LLM Runner is a Python-based tool that enables local execution of Large Language Models (LLMs) with GPU acceleration. It was developed for the Strategic Exercise Information and Research unit in Likes Institute, at JAMK University of Applied Sciences. The tool provides a simple command-line interface for interacting with various GGUF-format language models, with specific optimization for the OpenHermes 2.5 model.
Näytä enemmänOrganisaatiot ja tekijät
Jyväskylän ammattikorkeakoulu
Merilehto Juhani 
Julkaisutyyppi
Julkaisumuoto
Tieto- ja viestintätekninen sovellus
Yleisö
Ammatillinen
OKM:n julkaisutyyppiluokitus
I2 Tieto- ja viestintätekniset sovellukset
Julkaisukanavan tiedot
Kustantaja
Jyväskylän ammattikorkeakoulu
Avoin saatavuus
Avoin saatavuus kustantajan palvelussa
Kyllä
Julkaisukanavan avoin saatavuus
Kokonaan avoin julkaisukanava
Rinnakkaistallennettu
Ei
Muut tiedot
Tieteenalat
Tietojenkäsittely ja informaatiotieteet
Avainsanat
[object Object],[object Object],[object Object],[object Object],[object Object]
Julkaisumaa
Suomi
Kustantajan kansainvälisyys
Kotimainen
Kieli
englanti
Kansainvälinen yhteisjulkaisu
Ei
Yhteisjulkaisu yrityksen kanssa
Ei
Julkaisu kuuluu opetus- ja kulttuuriministeriön tiedonkeruuseen
Kyllä