W lipcowym wpisie przy użyciu ChatGPT przetestowałem możliwości AI od Google – Bard.

Na początku Grudnia pojawiła się informacja o wprowadzeniu przez Google nej technologi w swoim AI – Gemini.

Zapytałem wiec Barda czy używa już Gemini na co otrzymałem odpowiedź:

Przeprowadzę więc ten sam test co w lipcu i zobaczymy jak te kilka miesięcy i nowy model zmienił AI od Google.

Dla przypomnienia ChatGPT zaproponował poprzednio poniższy zestaw pytań:

Zadajemy więc pierwsze pytania.

Jakie są skutki globalnego ocieplenia?
Kto był Leonardo da Vinci?
Jakie są główne składniki wody?

Odpowiedzi Barda w lipcu:

Dzisiejsze odpowiedzi:

Ocena ChatGPT

Kolejny zastaw pytań mający na celu ocenę zrozumienia kontekstu.

Jakie byłyby konsekwencje dla życia na Ziemi, gdyby nie było Słońca?
Czym jest paradoks fermiego i jakie są jego potencjalne wyjaśnienia?

Odpowiedź Barda z lipca:

Dzisiejsze odpowiedzi:

Ocena ChatGPT

Kolejne zadania.

Opowiedz krótką, 5-zdaniową historię o kosmicznej przygodzie astronauty.
Wymyśl trzy tytuły książek, które mogłyby być bestsellerami.
Napisz krótki wiersz na temat miłości.
Stwórz krótki skrypt dla dwóch postaci rozmawiających o swoim ulubionym filmie.

Na co Bard odpowiedział w licpu:

Dzisiejsze odpowiedzi:

Ocena ChatGPT

I ostatni zestaw pytań, który według ChatGPT miał sprawdzić długotrwałość dialogu.
Odpowiedzi z lipca 2023.

Dzisiejsze odpowiedzi:
Pytanie : Porozmawiajmy o diecie. Czym jest zdrowa dieta?

Jakie są składniki zdrowej diety?

Ostatnie pytanie „Jakie są korzyści ze zdrowej diety?”

Ocena ChatGPT

W teście zrobionym w lipcu ostatnim pytaniem była ocena powtarzalności odpowiedzi na pytanie o pogodę.

Z tym także Bard radzi sobie obecnie dobrze, wydaje mi się, że mają tutaj jakiś szablon na takie pytanie bo odpowiedzi zawsze wyglądały tak samo.

Posumowanie

Poprosiłem ChatGPT o podsumowanie i jego ocenę obecnych umiejętności Barda a także parę słów o tym co można by było ulepszyć.

Oceniając umiejętności, słownictwo i przydatność modelu AI „Bard” w przeprowadzonych testach, można stwierdzić, że model ten radzi sobie całkiem dobrze w dostarczaniu odpowiedzi na różnorodne pytania i zadania. Oto ogólne spostrzeżenia:

1. Umiejętności: Bard wykazuje zdolność do zrozumienia i odpowiedniego przetwarzania różnorodnych pytań oraz generowania treści na te pytania. Odpowiedzi są zazwyczaj poprawne i zawierają istotne informacje. Model radzi sobie zarówno z zadaniami wymagającymi prostych faktów, jak i z bardziej kreatywnymi zadaniami, takimi jak pisanie krótkich opowieści czy wierszy.

2. Słownictwo: Bard używa rozbudowanego słownictwa i zazwyczaj generuje treści zrozumiałe i precyzyjne. Słownictwo modelu wydaje się adekwatne do różnych rodzajów pytań i zadań.

3. Przydatność: Model Bard jest przydatny w dostarczaniu informacji i odpowiedzi na pytania na różne tematy. Odpowiedzi zawierają często szczegółowe informacje i są stosunkowo dokładne. Model może być pomocny w szybkim dostępie do wiedzy na różne tematy.

Podczas oceny modelu Bard można zwrócić uwagę na kilka kwestii, które mogłyby być poprawione lub ulepszone:

– Zrozumienie kontekstu: Czasami model może nie do końca zrozumieć subtelności lub kontekst pytań, co może prowadzić do niedokładnych odpowiedzi lub braku pełnego zrozumienia pytania.

– Oryginalność: W niektórych przypadkach odpowiedzi modelu mogą być nieco przewidywalne lub brakować im oryginalności. Urozmaicenie odpowiedzi i tworzenie bardziej kreatywnych treści byłoby korzystne.

– Poprawność faktów: Model wydaje się dostarczać poprawne informacje w większości przypadków, ale należy zawsze sprawdzić ważne informacje w innych źródłach, zwłaszcza w przypadku pytań wymagających dokładnych danych.

Podsumowując, Bard to przydatne narzędzie do dostępu do informacji i generowania treści na różne tematy. Jednak jak zawsze w przypadku automatycznych modeli językowych, warto zachować krytyczne myślenie i zweryfikować informacje w przypadku pytań o ważne i krytyczne tematy. Model ten może być użyteczny w wielu zastosowaniach, ale jego wyniki są najlepiej wykorzystywane jako punkt wyjścia do dalszych badań lub jako źródło inspiracji.

Od siebie dodam, że porównując obecne odpowiedzi do tych z lipca widać wyraźny progres.

Bardzo rzadko używam Barda ale widzę, że warto poświęcić mu więcej czasu bo w treściach może się okazać czasami lepszy od ChatGTP.

Tym bardziej, że moim zdaniem od sierpnia 2023 ChatGTP dużo stracił. Nie wiem co tam zmieniają ale teraz nie działa tak jak poprzednio.

Nawet tworząc ten test musiałem więcej poświęcić uwagi na to jak zadaję pytania by ChatGTP odpowiednio je rozumiał.

Za to Bard odpowiadał bardziej rozlegle i przekazywał więcej informacji. Dla niektórych pytań odpowiedzi było kilkukrotnie dłuższe niż w lipcu.

Ale robił to tylko jako model językowy. Gdy poprosisz Barda o to by np dobrał meta tytuł to otrzymasz informację, że tego nie umie a ChatGPT jak wiemy to zrobi.

To przewaga, która może długo nie zniknąć.

Na pewno warto zwrócić obecnie uwagę na Barda a czas pokaże jakie będzie jego miejsce w dość dużej już ilości modeli językowych AI.