Google uruchomił aplikację eksperymentalną, Google AI Edge Gallery, umożliwiając użytkownikom uruchamianie generatywnych modeli AI bezpośrednio na urządzeniach z Androidem. Planowana jest również wersja iOS. Thapp, publicznie dostępny na github Umieszcza potężne możliwości AI, takie jak analiza obrazu i generowanie tekstu w ręce użytkowników dla lokalnego, operacji offline, gdy modele zostaną pobrane.
Podstawową zaletą użytkowników jest zdolność do opracowywania wycinania wycinania na temat ai. Podejście to zwiększa prywatność danych, ponieważ przetwarzanie występuje lokalnie. Google opisuje aplikację jako „eksperymentalną wersję alfa” i aktywnie poszukuje informacji zwrotnych użytkowników w celu prowadzenia jej rozwoju. Ten ruch oznacza znaczący krok w kierunku uczynienia zaawansowanej sztucznej inteligencji bardziej osobistymi i dostępnymi.
Użytkownicy mogą eksperymentować z różnymi modelami i ich praktycznymi aplikacjami. Galeria ma na celu zaprezentowanie różnorodnego uczenia maszynowego i generatywne przypadki użycia AI, wykraczanie poza interakcje zależne od chmury.
Badanie możliwości AI na urządzeniu
Galeria AI Edge oferuje kilka kluczowych funkcji. Funkcja „Zapytaj obraz” pozwala użytkownikom przesyłać zdjęcia i zadawać pytania na ich temat. W przypadku zadań tekstowych „Laboratorium monitowe” zapewnia narzędzia do podsumowania treści, przepisywania tekstu i generowania kodu. Ponadto funkcja „czatu AI” obsługuje rozmowy o wielu odwrót, jak szczegółowo opisano na stronie Github projektu.
Obsługiwane modele open source obejmują qwen 2.5 Alibaba, z rozmiarem od około 500mb do 4GB. Aplikacja jest zoptymalizowana pod kątem urządzeń Android 10+ z co najmniej 6 GB pamięci RAM i nowoczesnymi chipsetami. Aby pobrać modele, użytkownicy muszą zalogować się do przytulania twarzy i zgodzić się na jej warunki.
Aplikacja dostarcza punktów odniesienia w czasie rzeczywistym, w tym czas na pierwszy token (TTFT) i prędkość dekodowania. Jednak Google ostrzega, że wydajność może się różnić w zależności od sprzętu urządzenia i wielkości modelu. Na przykład dane szkoleniowe GEMMA 3N 3N rozciągają się tylko na czerwca 2024 r., Co oznacza, że nie uwzględniono nowszych informacji. GEMMA 3N wykorzystuje technologię „osadzania warstwy” (PLE) w celu znacznego zmniejszenia zużycia pamięci.
Focus deweloperów i podstaw technicznych
Deweloperzy mogą również wykorzystać galerię AI Edge, aby przetestować własne lokalne modele liter `.Task`. Platforma jest zbudowana na interfejsach API i narzędzia Google AI Edge, wykorzystując litery do zoptymalizowanego wykonywania modelu. API wnioskowania LLM zasila duże modele języka na urządzeniu. TestingCatalog opisuje aplikację jako „praktyczną demonstrację generatywnej AI na urządzeniu i API wnioskowania LLM”. Sam Google, w poście na blogu wymienionym przez elet CIO, podkreślił aplikację jako cenne narzędzie do eksploracji tego interfejsu API.
Zasoby dla programistów obejmują karty modelowe, kod źródłowy i , z szerszym Dokumentacja Google AI Edge Dostępna również. Instalacja odbywa się za pośrednictwem najnowszy apk , ze szczegółowymi instrukcjami na temat Project Wiki . Google zachęca do wkładu społeczności za pośrednictwem Funkcja sugestie na github. Projekt jest licencjonowany na licencji Apache, wersja 2.0.
Przyjęcie społeczności i przyszłe perspektywy
Jako „eksperymentalne wydanie alfa”, Google podkreśla, że wprowadzanie użytkownika jest kluczowe. Wczesne informacje zwrotne w społeczności zauważa potencjał aplikacji w zakresie eksperymentów z AI zorientowanym na prywatność. Jednak użytkownicy wskazali również bieżące ograniczenia, takie jak ograniczenia wielkości modelu i brak interakcji głosowej.
Przyszłe aktualizacje galerii AI Edge powinny zawierać obsługę iOS, funkcje głosowe w czasie rzeczywistym i ulepszone przyspieszenie sprzętowe, zgodnie z testingCatalog. Przejście w kierunku sztucznej inteligencji dotyczy obaw użytkownika dotyczące prywatności danych i stałej łączności. To lokalne podejście do przetwarzania nie tylko wzmacnia prywatność, ale także zapewnia, że narzędzia AI pozostają funkcjonalne offline, rozszerzając ich użyteczność.