Co jsem postavil
Chtěl jsem si postavit vlastní RAG, tedy systém, ve kterém AI při odpovídání čerpá z mých dokumentů. Zároveň mi nevyhovovala bezpečnostní omezení veřejných modelů, jako jsou Fable a Astra. Proto jsem chtěl modely provozovat lokálně a mít jejich nastavení pod kontrolou.
Vybral jsem dvě karty Intel Arc Pro: B70 s 32 GB a B60 s 24 GB paměti. Dohromady mají 56 GB VRAM, tedy paměti pro modely přímo na grafických kartách.
Sestavu doplňuje Ryzen 9 9900X, 64 GB RAM a 1TB SSD. Celý počítač stál v květnu 2026 100 331 Kč s DPH. Používám Windows 11 Pro.
Jak rychle to běží
Modely spouštím přes llama.cpp. Vyzkoušel jsem Vulkan a SYCL, dvě rozhraní pro výpočty na grafické kartě. Vulkan byl ve většině testů rychlejší. Největší rozdíl měl GPT OSS 20B: na B70 psal přes Vulkan 132 tokenů za sekundu, přes SYCL jen 56. Token je krátký úsek textu.
Pro představu, takhle rychle modely psaly odpovědi přes Vulkan:
| Model | Karty | Tokenů za sekundu |
|---|---|---|
| GPT OSS 20B | B70 | 132 |
| Qwen3 Coder 30B | B70 | 121 |
| DeepSeek R1 Distill Llama 70B | B70 + B60 | 10 |
Velký model 70B se na jednu kartu nevešel. Ve zmenšené verzi Q4_K_M zabíral 39,6 GiB a přes obě karty fungoval. SYCL ho zvládl až rychlostí 11,6 tokenu za sekundu, ale pro běžné použití jsem zůstal u Vulkanu. Rychleji zpracovával zadání a nechával více volné paměti.
Co mě zdrželo
Windows ukazoval chybné údaje o připojení karet a jejich paměti. Skutečný stav jsem musel ověřit jinými nástroji a měřením.
Vulkan mezi spuštěními měnil pořadí zařízení. Jednou tak test omylem běžel na integrované grafice. Výběr karty podle názvu tenhle problém vyřešil. Starší PowerShell zase špatně odesílal českou diakritiku, takže jsem musel opravit kódování požadavků.
Závěr po prvním dni
Chat, pomoc s kódem i velký model přes obě karty fungují. Za celý den testování nedošlo k žádnému resetu ovladače. Nejvíc práce dalo nastavení a ověření, že program používá správnou kartu.
Pro moje použití se zatím nejlépe osvědčil Vulkan. Výsledky ale platí pro tuhle sestavu a verze softwaru.
Měřeno 28. 8. 2026 na Windows 11 26200.9168, s llama.cpp b10666 a ovladačem 32.0.101.8805. Benchmark měl 512 tokenů na vstupu, 128 na výstupu a pět opakování. Doplnil jsem ho testy skutečných konverzací.
Podrobné výsledky
Samotná B70: Vulkan a SYCL
Všechna čísla jsou v tokenech za sekundu. Čtení znamená zpracování zadání, psaní tvorbu odpovědi. Vyšší číslo znamená větší rychlost.
| Model | SYCL čtení | SYCL psaní | Vulkan čtení | Vulkan psaní |
|---|---|---|---|---|
| GPT OSS 20B (MXFP4) | 929 | 56,4 | 1 697 | 132,4 |
| Qwen3 Coder 30B | 1 362 | 114,2 | 1 698 | 121,1 |
| Qwen3 8B | 1 224 | 83,4 | 1 437 | 83,4 |
| Qwen3.8 27B | 336 | 22,0 | 364 | 24,6 |
| Qwen3 32B | 285 | 22,9 | 345 | 24,0 |
Model 70B přes obě karty
DeepSeek R1 Distill Llama 70B ve verzi Q4_K_M. Režim layer rozděluje mezi karty celé vrstvy modelu. Režim tensor rozděluje i výpočty uvnitř vrstev. Poměry 4:3 a 5:3 určují rozdělení práce mezi B70 a B60.
| Režim | Čtení (tokenů/s) | Psaní (tokenů/s) |
|---|---|---|
| SYCL layer, automaticky | 101,7 | 9,45 |
| SYCL layer, 4:3 | 101,4 | 9,45 |
| SYCL layer, 5:3 | 104,2 | 9,65 |
| SYCL tensor | 118,7 | 11,62 |
| Vulkan layer | 134,4 | 10,3 |
| Vulkan tensor | 169,4 | 8,85 |
Pro běžné použití jsem vybral Vulkan layer. SYCL tensor psal rychleji, ale při kontextu 16 tisíc tokenů nechával na B60 jen asi 0,5 GiB volné paměti.
Kompletní sestava
Ceny jsou z faktur z května 2026, v korunách a zaokrouhlené na celé Kč.
| Komponenta | Model | Bez DPH | S DPH |
|---|---|---|---|
| Grafická karta 1 | ASRock Intel Arc Pro B70 Creator, 32 GB | 25 489 | 30 841 |
| Grafická karta 2 | ASRock Intel Arc Pro B60 Creator, 24 GB | 15 125 | 18 302 |
| Procesor | AMD Ryzen 9 9900X | 6 769 | 8 190 |
| Chladič | Noctua NH D15S | 2 007 | 2 429 |
| Paměť | Kingston FURY Beast RGB, 2×32 GB DDR5 6000 CL36 | 14 545 | 17 600 |
| Základní deska | ASRock X870E Taichi Lite | 7 807 | 9 447 |
| SSD | Samsung 9100 PRO, 1 TB | 3 883 | 4 699 |
| Zdroj | Seasonic Focus GX 1000, ATX 3.1 | 3 268 | 3 954 |
| Skříň | Fractal Design Meshify 2 XL | 4 024 | 4 869 |
| Celkem | 82 917 | 100 331 |
Operační systém: Windows 11 Pro 25H2. Jeho cena není v součtu hardwaru zahrnutá.
