Już od jakiegoś czasu obserwujemy rosnące zainteresowanie lokalnym uruchamianiem modeli AI na naszych własnych urządzeniach. Podejście to ma wiele zalet takich jak:
- Prywatność: Dane pozostają na urządzeniu użytkownika, co zmniejsza ryzyko wycieku informacji.
- Niezależność: Brak konieczności polegania na zewnętrznych
- Koszty: Unikanie opłat związanych z korzystaniem z usług chmurowych.
- Szybkość: Modele działają szybciej, ponieważ nie ma opóźnień związanych z przesyłaniem danych do chmury i z powrotem.
- Kontrola: Użytkownicy mają pełną kontrolę nad tym, jakie modele i dane są używane.
- Dostępność: Możliwość korzystania z modeli AI w miejscach bez dostępu do internetu.
Jeśli szukasz kilku narzędzi i platform, które umożliwiają lokalne uruchamianie modeli AI, oto kilka propozycji:
- OpenWebUI - an extensible, self-hosted AI interface that adapts to your workflow, all while operating entirely offline
- Ollama - chat & build with open models
- LM Studio - local AI, on your computer - run local AI models like gpt-oss, Qwen, Gemma, DeepSeek and many more on your computer, privately and for free.
- AI Foundry Local - run AI models on your device
- Hugging Face - a platform for sharing and using machine learning models
- n8n - an open-source workflow automation tool
- LocalAI - an open-source framework for running LLMs locally
- Awesome AI Agents - a curated list of awesome AI agents
Jak zacząć pracę z niektórym z narzędzi ? Poniżej znajdziesz zestaw poleceń dla Foundry Local, Ollama oraz LM Studio. Polecenia wykonałem w terminalu na macOS.
Foundry Local Link to heading
W celu zainstalowania Foundry Local, wykonaj następujące polecenia:
brew tap microsoft/foundrylocal
brew install foundrylocal
Następnie pobierz i uruchom model AI:
foundry model list
foundry model run qwen2.5-0.5b
foundry model info qwen2.5-0.5b
foundry model unload qwen2.5-0.5b
Proces uruchamiania modelu można monitorować za pomocą poniższych poleceń:
foundry service ps
foundry service status
Pliki modeli są przechowywane w katalogu ~/.foundry/cache/models/. Możesz sprawdzić ich rozmiar i zawartość za pomocą poniższych poleceń:
ls -altr ~/.foundry/cache/models/
du -sh ~/.foundry/cache/models/
foundry cache list
foundry cache remove qwen2.5-0.5b
Ollama Link to heading
By wyświetlić listę dostępnych modeli, użyj polecenia:
ollama list
By sprawdzić szczegóły konkretnego modelu, użyj:
ls -altr ~/.ollama/models/
du -sh ~/.ollama/models/
Z kolei by zatrzymać i usunąć model, użyj poniższych poleceń:
ollama ps
ollama stop
ollama rm gemma3:4b
LM Studio Link to heading
Aby wyświetlić listę dostępnych modeli i środowisk uruchomieniowych, użyj poniższych poleceń:
lms ls
lms runtime ls
W celu pobrania listy modeli, użyj:
ls -altr ~/.lmstudio/models/
du -sh ~/.lmstudio/models/
Z kolei by poznać status uruchomionych modeli i monitorować logi, użyj poniższych poleceń:
lms status
lms log stream