V ADEON CZ jsme měli možnost otestovat AI pracovní stanici NVIDIA DGX Spark, kterou nám k evaluaci zapůjčila společnost TD SYNNEX Czech Republic. Cílem bylo ověřit její využitelnost pro reálné scénáře ve výrobních podnicích a posoudit možnosti nasazení lokálních AI modelů bez nutnosti využívat cloudové prostředí.
NVIDIA DGX Spark je kompaktní „personal AI supercomputer“ určený pro vývojáře, datové analytiky, AI specialisty a organizace, které chtějí provozovat pokročilé AI modely lokálně. Stanice využívá architekturu NVIDIA Grace Blackwell, disponuje 128 GB sdílené paměti a podle výrobce nabízí teoretický výkon až 1 PFLOP při přesnosti FP4 s využitím sparsity (řídkosti výpočtů). Technické specifikace NVIDIA DGX Spark.
Co nás zaujalo
- Kompaktní rozměry.
- Jednoduché nasazení lokálních LLM modelů bez závislosti na veřejném cloudu.
- Možnost zpracovávat firemní data lokálně.
- Možnost rychlého prototypování AI aplikací a agentů.
- Výborná platforma pro testování AI scénářů před jejich přechodem do serverové infrastruktury.
Praktické zkušenosti z testování
Při nasazení pro jednoho uživatele a menší modely poskytovala stanice velmi dobré výsledky. V okamžiku, kdy jsme však simulovali využití více uživateli současně a provoz rozsáhlejších modelů, začala být patrná limitace výkonu. Odezvy byly znatelně pomalejší a pro námi testované scénáře s vyšším počtem paralelních požadavků již bylo zřejmé, že DGX Spark není náhradou za plnohodnotnou AI serverovou infrastrukturu.
Právě zde ale vidíme její hlavní přínos. DGX Spark je vhodnou vstupní platformou pro firmy, které chtějí začít s lokální AI, ověřit si přínos konkrétních scénářů a získat zkušenosti s provozem vlastních modelů. Pro rozsáhlejší podnikové nasazení je vhodné uvažovat o výkonnější infrastruktuře podle použitých modelů a očekávané zátěže, nicméně jako demonstrační, vývojová a pilotní platforma splňuje svůj účel velmi dobře. Více o využití umělé inteligence ve firmách i naší nabídce školení, implementace a podpory najdete v přehledu AI řešení Adeonu.
Příklady možného využití ve výrobních firmách
- Zpracování účetních a finančních dokumentů.
- AI asistent pro výzkum a vývoj (R&D) a firemní know-how.
- Analýza smluv, nabídek a výběrových řízení.
Děkujeme společnosti TD SYNNEX Czech Republic za možnost zařízení otestovat a získat praktické zkušenosti s novou generací AI pracovních stanic.
Zvažujete lokální AI ve vaší firmě? Vyplňte kontaktní formulář a probereme s vámi vhodný scénář i požadavky na infrastrukturu.
Jsem konzultant pro CAD, PDM a umělou inteligenci ve společnosti Adeon CZ. Pomáhám výrobním firmám s nasazením Autodesk Inventoru a Vaultu a s využitím AI ve firemních procesech. Vycházím ze zkušeností s konstrukcí, výrobou a automatizací. Potkat se můžeme ve zlínské kanceláři Adeonu.
