Google zaprezentowało Project Astra, nową aplikację wykorzystującą sztuczną inteligencję Google Gemini i kamery smartfonów, która pomaga użytkownikom w codziennych czynnościach. Inicjatywa ta, ogłoszona podczas przemówienia przewodniego Google I/O 2024, podkreśla ciągłe wysiłki Google mające na celu opracowanie wszechstronnych agentów AI zdolnych do zapewnienia praktycznej pomocy.
Funkcje są bardzo podobne do wersji ChatGPT działającej na multimodalnym GPT-4o model, który został ogłoszony zaledwie wczoraj przez OpenAI. Project Astra jest częścią szerszego zestawu zapowiedzi Gemini na konferencji Google I/O 2024. Obejmuje to nowe modele, takie jak Gemini 1.5 Flash do szybszych zadań, Veo do generowania wideo z komunikatów tekstowych i Gemini Nano do użytku lokalnego na urządzeniach. Okno kontekstowe Gemini Pro podwaja się do 2 milionów tokenów, zwiększając jego zdolność do wykonywania instrukcji.
Pomoc wizualna oparta na sztucznej inteligencji
Projekt Astra działa jako aplikacja AI oparta na kamerze, wykorzystująca głównie wizjer jako interfejs. Użytkownicy mogą kierować aparaty swoich telefonów na różne obiekty i werbalnie wchodzić w interakcję z sztuczną inteligencją o nazwie Gemini. Na przykład gdy użytkownik poprosił sztuczną inteligencję o zidentyfikowanie obiektu wytwarzającego dźwięk w biurze, Gemini rozpoznała głośnik i przekazała szczegółowe informacje na temat jego elementów, takie jak identyfikacja głośnika wysokotonowego i wyjaśnienie jego funkcji.
Aplikacja wykazuje także zdolności twórcze. Na prośbę o stworzenie aliteracji dla kubka kredek Gemini odpowiedziała: „Kreatywne kredki kolorują wesoło. Z pewnością tworzą kolorowe dzieła.”
Integracja urządzeń do noszenia i przywoływanie pamięci
Demonstracja obejmowała fragment, w którym sztuczna inteligencja zapamiętywała lokalizację przedmiotów, których już nie było w polu widzenia kamery zapytany o lokalizację zagubionych okularów Gemini dokładnie przypomniał sobie, że znajdowały się one na biurku w pobliżu czerwonego jabłka, a użytkownik założył wówczas okulary, które wyglądały na zaawansowaną wersję Google Glass i zmieniła się perspektywa z punktu widzenia urządzenia do noszenia. Okulary skanowały otoczenie i dostarczały informacji kontekstowych, takich jak sugestie techniczne ulepszeń diagramu systemu na tablicy.
[treść osadzona]
Zdolność sztucznej inteligencji do przetwarzania danych wizualnych w czasie rzeczywistym i przywoływania wcześniejszych obserwacji Osiąga się to poprzez ciągłe kodowanie klatek wideo, łączenie wejść wideo i mowy w oś czasu zdarzeń oraz buforowanie tych informacji w celu skutecznego przywoływania. Ten postęp technologiczny pozwala sztucznej inteligencji reagować szybko i dokładnie, zwiększając jej praktyczną użyteczność.
Interakcja wielomodalna
Astra została zaprojektowana jako multimodalna, umożliwiając użytkownikom wchodzić w interakcję poprzez rozmowę, pisanie na klawiaturze, rysowanie, fotografowanie i wideo. Google wprowadza także Gemini Live, asystenta głosowego do rozmów tam i z powrotem oraz nową funkcję w Google Lens umożliwiającą wyszukiwanie w Internecie za pomocą narracji wideo.
Google pracuje obecnie nad aplikacjami takimi jak planowanie podróży, gdzie Gemini może pomóc w tworzeniu i edytowaniu planów podróży. Zespół DeepMind wciąż bada, jak najlepiej zintegrować modele multimodalne i zrównoważyć duże modele ogólne z mniejszymi, szczegółowymi.
Przyszła dostępność i ulepszenia
While Project Astra jest wciąż na wczesnym etapie rozwoju i nie ma konkretnej daty premiery, dyrektor generalny Google DeepMind, Demis Hassabis, wskazał, że niektóre możliwości sztucznej inteligencji zostaną zintegrowane z produktami Google, takimi jak aplikacja Gemini, jeszcze w tym roku. Firma pracuje również nad poprawą ekspresji wokalnej swojej sztucznej inteligencji, mając na celu uczynienie interakcji bardziej naturalnymi i konwersacyjnymi. Potencjalne zastosowania takiej technologii, czy to w smartfonach, czy w zaawansowanych urządzeniach do noszenia, mogą znacząco poprawić komfort i produktywność użytkowników.
