Stability AI og Nvidia har kombinert sin ekspertise for å forbedre ytelsen til Stability AIs tekst-til-bilde generative AI-produkt, Stable Diffusion XL (SDXL). Dette samarbeidet tar sikte på å forbedre hastigheten og effektiviteten til SDXL, i tråd med Stability AIs mål om å”åpne opp menneskelig potensial”.
Stable Diffusion er en tekst-til-bilde-modell basert på diffusjonsteknikker som kan generere detaljerte bilder. fra tekstmeldinger, samt endre eksisterende bilder med tekstveiledning og er relativt lett ettersom den kan kjøres på forbruker-GPUer med minst 8 GB VRAM. Stable Diffusion XL er en ny versjon som nylig ble lansert,
Nvidia TensorRT-integrasjon
Sentralt i den forventede ytelsesøkningen er integrasjonen av Nvidias TensorRT, et høyytelses optimaliseringsrammeverk. Stability AI har tatt initiativet til å være vert for TensorRT-versjonene av SDXL og lage de åpne ONNX-vektene som er tilgjengelige for SDXL-brukere globalt.
TensorRT er en SDK for høyytelses dyp læringsslutning som optimerer nevrale nettverksmodeller som er trent på alle større rammeverk og leverer lav latenstid og høy gjennomstrømning på Nvidia GPUer. TensorRT er integrert med PyTorch, TensorFlow, ONNX, MATLAB og applikasjonsspesifikke SDK-er som Nvidia DeepStream, Nvidia Riva, Nvidia Merlin, Nvidia Maxine, Nvidia Morpheus og Nvidia Broadcast Engine.
Imponerende ytelsesmålinger
Integrasjonsresultatene har vært bemerkelsesverdige. Ved å kombinere TensorRT med den konverterte ONNX-modellen har det vært en dobling av ytelsen på Nvidia H100-brikker. Nvidia H100 GPUer har en dedikert Transformer Engine som kan øke hastigheten på store språkmodeller med 30X i forhold til forrige generasjon, og muliggjør bransjeledende samtale-AI.
Denne forbedringen gjør det mulig å generere høyoppløselige bilder på bare 1,47 sekunder. I henhold til den offisielle kunngjøringen fra Stability AI,”har vi sett en dobling av ytelsen på Nvidia H100-brikker etter integrering av TensorRT og den konverterte ONNX-modellen.”
Stability AI har antydet flere optimaliseringer, for eksempel introduksjonen av 8-bits presisjon, som de mener vil øke både hastighet og tilgjengelighet ytterligere.
