ComfyUI pradedantiesiems

Jei kada nors bandei generuoti paveikslėlius su dirbtiniu intelektu naudodamas Automatic1111 ar kitą panašų įrankį, o tada kažkas tau parodė ComfyUI ekraną su dešimtimis langelių ir linijų, tikriausiai pagalvojai – ką aš čia matau, kažkokią elektros schemą? Ramiai, taip atrodo visiems be išimties pirmą kartą. Bet būtent tas chaosas, kuris iš pradžių gąsdina, vėliau tampa didžiausiu privalumu. ComfyUI – tai node’ų pagrindu veikiantis Stable Diffusion interfeisas, kuris leidžia matyti ir kontroliuoti kiekvieną generavimo žingsnį atskirai. Nebe juoda dėžė, kur paspaudi mygtuką ir tikiesi stebuklo, o skaidri sistema, kur pats susirenki visą procesą kaip Lego konstruktorių.

Kas per žvėris tas ComfyUI

Automatic1111 ir panašūs sprendimai slepia visą techninę virtuvę už paprastų mygtukų ir slankiklių. Tai patogu, kol viskas veikia gerai, bet vos tik nori padaryti ką nors netipiško – pavyzdžiui, sujungti kelis LoRA modelius su skirtingais svoriais skirtinguose generavimo etapuose – supranti, kad tokie interfeisai tam tiesiog neskirti.

ComfyUI požiūris kitoks. Čia kiekvienas žingsnis – nuo teksto įvedimo iki galutinio paveikslėlio – yra atskiras node’as (mazgas), kurį gali sujungti su kitais laisva tvarka. Nori pridėti dar vieną sampler’į vidury proceso? Prašom. Nori pamatyti tarpinį rezultatą prieš upscale’inimą? Tiesiog prijunk peržiūros node’ą. Lankstumas – štai kodėl žmonės, kurie rimtai užsiima AI generavimu, anksčiau ar vėliau pereina būtent čia.

Yra ir kita medalio pusė – mokymosi kreivė gerokai statesnė. Bet tiesa ta, kad po savaitės naudojimo tas pats interfeisas, kuris atrodė bauginantis, pradeda atrodyti kaip logiškiausias dalykas pasaulyje. Smegenys tiesiog pripranta matyti procesą kaip srautą, o ne kaip vieną mygtuką.

Diegimas be papildomo galvos skausmo

Diegimas iš tikrųjų nėra sudėtingas, bet čia yra keletas dalykų, kuriuos verta žinoti iš anksto, kad nesigautų netikėtumų.

• Portable versija Windows sistemai – atsisiunti archyvą iš oficialaus GitHub repo, išarchyvuoji, paleidi run_nvidia_gpu.bat failą ir viskas. Nereikia jokio Python diegimo ar aplinkos konfigūravimo. Idealu tiems, kas nenori gilintis į technines detales.
• Diegimas per git clone – jei nori daugiau kontrolės arba naudoji ne Windows sistemą. Reikės Python (rekomenduojama 3.10 ar 3.11 versija), CUDA tvarkyklių, jei turi NVIDIA kortą, ir šiek tiek kantrybės su priklausomybių diegimu.
• ComfyUI Desktop – naujesnė, patogesnė versija su grafiniu diegikliu. Puikiai tinka tiems, kas bijo terminalo lango.

Vienas dažnas klausimas – kiek vaizdo atminties (VRAM) reikia. Su 6-8 GB jau galima dirbti su SD 1.5 modeliais be didesnių problemų, bet jei nori generuoti su SDXL ar dar naujesniais modeliais tipo Flux, 12 GB jau atrodo kaip protingas minimumas. Turintiems mažiau atminties – niekas nedraudžia bandyti, tiesiog generavimas užtruks ilgiau arba teks naudoti mažesnes rezoliucijas.

Node’ai – pirmasis šokas ir kaip su juo susidraugauti

Atidarius ComfyUI pirmą kartą pasitinka standartinis workflow – kelios dėžutės su linijomis tarp jų. Tai tavo pirmasis mokymosi objektas, ir jį verta studijuoti neskubant, o ne iš karto trinti ir kurti savo.

Standartiniame workflow’e paprastai matysi šiuos pagrindinius node’us:

• Load Checkpoint – čia pasirenki, kurį modelį naudosi generavimui.
• CLIP Text Encode (Prompt) – du tokie node’ai, vienas teigiamam promptui, kitas – neigiamam (ko nenori matyti paveikslėlyje).
• Empty Latent Image – čia nustatai paveikslėlio dydį ir kiek variantų (batch size) generuoti vienu metu.
• KSampler – širdis viso proceso. Čia renkasi žingsnių skaičių, sampler’io tipą, CFG reikšmę.
• VAE Decode – paverčia latentinį vaizdą į normalų paveikslėlį, kurį jau gali pamatyti.
• Save Image – na, čia be komentarų.

Pirma savaitė – tiesiog stebėk, kaip pakeitus vieną parametrą pasikeičia rezultatas. Padidink CFG reikšmę nuo 7 iki 12 ir pažiūrėk, kas atsitinka. Pakeisk sampler’į iš euler į dpmpp_2m ir palygink. Toks eksperimentavimas duoda daugiau supratimo nei bet koks straipsnis, įskaitant šitą.

Checkpoint’ai, LoRA ir kiti keisti žodžiai

Terminologija čia iš tiesų gali apkrėsti painiava, tad trumpai išsiaiškinkime, kas yra kas.

Checkpoint – tai pagrindinis modelis, kuris „žino”, kaip generuoti paveikslėlius apskritai. Yra bendrinių (kaip SD 1.5, SDXL), yra specializuotų, treniruotų konkrečiam stiliui – anime, realistiniams portretams, konceptualiam menui ir panašiai. Civitai ir Hugging Face – dvi pagrindinės vietos, kur šiuos modelius rasi.

LoRA (Low-Rank Adaptation) – mažas priedas prie pagrindinio checkpoint’o, kuris pakeičia rezultatą tam tikra kryptimi, nekeičiant viso modelio. Nori, kad kiekvienas paveikslėlis atrodytų tam tikro dailininko stiliumi arba turėtų konkretų veidą – LoRA būtent tam ir skirta. Svoris (weight) paprastai rodomas kaip skaičius nuo 0 iki 1 (kartais ir daugiau), kuris nurodo, kiek stipriai LoRA įtakoja galutinį rezultatą.

VAE – atsakingas už tai, kaip latentinis vaizdas paverčiamas į galutinį paveikslėlį. Kartais matai, kad spalvos atrodo blankios ar išplaukusios – dažnai kaltas būtent netinkamas ar trūkstamas VAE.

ControlNet – leidžia kontroliuoti kompoziciją, pozą, kontūrus pagal referencinį paveikslėlį. Tai jau šiek tiek pažengusiems, bet žinoti apie egzistavimą verta iš karto, nes anksčiau ar vėliau prireiks.

Pirmas savas workflow’as nuo nulio

Kai jau pasijunti šiek tiek patogiau su standartiniu workflow, verta pabandyti sukurti kažką savo. Ne todėl, kad tai būtinai reikalinga, o todėl, kad taip greičiausiai suprasi, kaip viskas veikia iš tikrųjų.

Pasiūlymas paprastas – pabandyk sukurti workflow’ą su dviem KSampler node’ais iš eilės. Pirmas generuoja bazinį vaizdą mažesne rezoliucija, o antras – su image-to-image logika padidina detalumą (tai vadinama hires fix arba upscale technika). Tam prireiks:

• Standartinio pirmojo generavimo bloko
• Upscale node’o (pavyzdžiui, Upscale Latent arba Upscale Image, priklausomai nuo pasirinkto metodo)
• Antro KSampler’io su žemesne denoise reikšme (kažkur apie 0.4-0.6), kad nesugriautų originalios kompozicijos

Šis pavyzdys puikiai parodo, kodėl ComfyUI toks vertingas – tą patį rezultatą standartiniuose interfeisuose pasiektum vos vienu papildomu langeliu, čia gi kiekvienas žingsnis matomas ir keičiamas atskirai. Kai supranti šitą loginę grandinę, pradedi galvoti node’ais net negalvodamas apie tai sąmoningai.

Dažniausios klaidos, dėl kurių pradedantieji plaukioja rankomis

Beveik visi susiduria su tomis pačiomis problemomis, tad geriau žinoti iš anksto.

• „Missing node types” klaida – atsiranda, kai atsiunčiamas workflow naudoja custom node’us, kurių pas tave nėra. Sprendimas – ComfyUI Manager, kuris automatiškai atpažįsta trūkstamus mazgus ir pasiūlo juos įdiegti.
• CUDA out of memory – vaizdo atminties trūkumas. Sumažink rezoliuciją, batch size arba naudok mažesnį modelį. Kartais padeda ir --lowvram paleidimo parametras.
• Netinkamas VAE priskyrimas modeliui – SDXL modeliai naudoja kitokį VAE nei SD 1.5, sumaišius gauni keistas spalvas ar artefaktus.
• Prompt’ų perkrovimas – bandymas įgrūsti trisdešimt žodžių aprašant kiekvieną detalę. Dažnai geriau veikia trumpesnis, aiškesnis promptas su tinkamu svoriu svarbiausiems žodžiams (naudojant skliaustelius, pvz., (detailed skin:1.3)).
• Workflow’o nesaugojimas atskirai – ComfyUI leidžia išsaugoti visą workflow tiesiog kaip paveikslėlio metaduomenis arba atskirą JSON failą. Verta tai daryti reguliariai, nes po valandos eksperimentavimo lengva pamiršti, ką tiksliai pakeitei.

Dar vienas dalykas, kurio niekas iš karto nepasako – ComfyUI Manager yra beveik privalomas įrankis. Per jį galima atnaujinti node’us, ieškoti trūkstamų priklausomybių ir apskritai palaikyti visą sistemą švarią. Be jo gyvenimas gerokai sunkesnis.

Kai node’ai jau nebebaisūs – kas toliau

Yra toks momentas, kai staiga supranti, kad tos linijos ir dėžutės nebekelia jokio streso, o priešingai – tampa natūralia kalba, kuria galvoji apie generavimą. Tada verta pradėti tyrinėti platesnį pasaulį: ControlNet workflow’us pozų kontrolei, IP-Adapter’ius veido ar stiliaus perkėlimui, animacijos node’us su AnimateDiff, ar net garso generavimo integracijas, nes ComfyUI bendruomenė nuolat kuria naujus custom node’us beveik kiekvienai įmanomai užduočiai.

Keli praktiniai patarimai tiems, kas nori judėti toliau greičiau:

• Sek Civitai ir OpenArt platformas – ten žmonės dalinasi paruoštais workflow’ais, kuriuos gali tiesiog importuoti ir studijuoti, kaip sujungti node’ai. Tai greičiausias mokymosi būdas.
• Nebijok griauti gatavo workflow. Paimk kažkieno kito darbą, ištrink pusę node’ų ir pabandyk atkurti nuo nulio pats – taip įsimeni struktūrą geriau nei bet kokia teorija.
• Investuok laiko į seed valdymą. Fiksuotas seed leidžia lyginti rezultatus keičiant tik vieną parametrą, o tai svarbiausias įrankis suprantant, kaip kiekvienas nustatymas veikia galutinį vaizdą.
• Neskubėk pirkti galingesnės vaizdo plokštės vien dėl ComfyUI. Dauguma eksperimentų puikiai atliekami ir su vidutinės klasės kortomis, o realus poreikis atsiranda tik pradėjus dirbti su dideliais modeliais ar video generavimu.

ComfyUI iš pirmo žvilgsnio atrodo kaip įrankis inžinieriams, o ne kūrėjams. Tiesa yra kitokia – tai įrankis tiems, kas nori suprasti, ką iš tikrųjų daro, o ne aklai spausti mygtukus tikėdamiesi gero rezultato. Kai tas supratimas ateina, kūrybinės galimybės išsiplečia neproporcingai daugiau nei bet kuriame kitame interfeise. Taigi jei tos pirmosios dešimtys node’ų dar atrodo bauginančios – tiesiog duok sau savaitę. Po jos grįžti prie senų, paprastesnių sprendimų greičiausiai jau nebenorėsi.