Już od jakiegoś czasu obserwujemy rosnące zainteresowanie lokalnym uruchamianiem modeli AI na naszych własnych urządzeniach. Podejście to ma wiele zalet takich jak:
- Prywatność: Dane pozostają na urządzeniu użytkownika, co zmniejsza ryzyko wycieku informacji.
- Niezależność: Brak konieczności polegania na zewnętrznych
- Koszty: Unikanie opłat związanych z korzystaniem z usług chmurowych.
- Szybkość: Modele działają szybciej, ponieważ nie ma opóźnień związanych z przesyłaniem danych do chmury i z powrotem.
- Kontrola: Użytkownicy mają pełną kontrolę nad tym, jakie modele i dane są używane.
- Dostępność: Możliwość korzystania z modeli AI w miejscach bez dostępu do internetu.
Jeśli szukasz kilku narzędzi i platform, które umożliwiają lokalne uruchamianie modeli AI, oto kilka propozycji:
- OpenWebUI - an extensible, self-hosted AI interface that adapts to your workflow, all while operating entirely offline
- Ollama - chat & build with open models
- LM Studio - local AI, on your computer - run local AI models like gpt-oss, Qwen, Gemma, DeepSeek and many more on your computer, privately and for free.
- AI Foundry Local - run AI models on your device
- Hugging Face - a platform for sharing and using machine learning models
- n8n - an open-source workflow automation tool
- LocalAI - an open-source framework for running LLMs locally
- Awesome AI Agents - a curated list of awesome AI agents
Foundry Local Link to heading
brew tap microsoft/foundrylocal
brew install foundrylocal
foundry model list
foundry model run qwen2.5-0.5b
foundry model info qwen2.5-0.5b
foundry model unload qwen2.5-0.5b
foundry service ps
foundry service status
ls -altr ~/.foundry/cache/models/
du -sh ~/.foundry/cache/models/
foundry cache list
foundry cache remove qwen2.5-0.5b
Ollama Link to heading
ollama list
ls -altr ~/.ollama/models/
du -sh ~/.ollama/models/
ollama ps
ollama stop
ollama rm gemma3:4b
LM Studio Link to heading
lms ls
lms runtime ls
ls -altr ~/.lmstudio/models/
du -sh ~/.lmstudio/models/
lms status
lms log stream