Lokálna AI je realitou

Llama 3 8B model beží aj na lepšom notebooku. Pre firmy to znamená, že môžu mať výkonnú AI bez posielania dát do cloudu. Apríl potvrdil, že Meta to s open-source myslí vážne.

Prečo je to dôležité?

Uzavreté modely (ako GPT-4) sú "čierne skrinky". Nevieme, na čom boli trénované a ako presne fungujú. Open-source modely umožňujú výskumníkom a firmám tieto modely auditovať a upravovať (fine-tuning) pre svoje potreby.

Vlastný model za pár hodín

Vďaka technikám ako LoRA (Low-Rank Adaptation) je možné "doučiť" Llamu na vašich firemných dátach za pár dolárov. V Trammex to využívame pre internú knowledge base.

Ako spustiť Llama 3 lokálne?

Najjednoduchšia cesta je cez nástroj Ollama.

# Inštalácia
curl -fsSL https://ollama.com/install.sh | sh

# Spustenie modelu
ollama run llama3

Takto máte API endpoint na localhost:11434, ktorý môžete použiť vo vašich appkách. Žiadne mesačné poplatky, žiadne sledovanie.

Kľúčové zistenia

• Sloboda: Vendor lock-in v AI sa zmenšuje.
• Kvalita: 70B model prekonáva Gemini Pro 1.0.
• Ekosystém: HuggingFace je plný tisícov variácií týchto modelov pre špecifické úlohy.