.svg){kind=icon}
Beyond AI
Czy MidJourney radzi sobie z generowaniem spójnych postaci? Testujemy
Poniższy artykuł jest uzupełnieniem dla filmu, który powstał na kanale Beyond AI. Jeżeli interesuje Cię tematyka sztucznej inteligencji, koniecznie odwiedź nasz kanał, gdzie znajdziesz jeszcze więcej wartościowych treści na ten temat.
Obejrzyj ten materiał na YouTube:
Testowanie modeli AI na przykładzie matury z języka polskiego
Sztuczna inteligencja (AI) staje się coraz bardziej powszechna i wszechstronna, a jej zdolności wzbudzają ciekawość zarówno w świecie technologii, jak i w edukacji.
W jednym z eksperymentów na naszym kanale YouTube postanowiliśmy przetestować, jak dwa zaawansowane modele AI, Chat GPT i Gemini, poradzą sobie z rozwiązywaniem zadań z matury z języka polskiego.
Naszym celem było sprawdzenie, na ile te modele są w stanie nie tylko zrozumieć, ale i poprawnie rozwiązać skomplikowane zadania, które wymagają analizy tekstu, rozumienia kontekstu oraz precyzyjnego formułowania odpowiedzi.
Zadanie: Matura z języka polskiego
Eksperyment rozpoczęliśmy od przekazania obu modelom zestawu zadań z tegorocznej matury z języka polskiego.
Ziemowit i Michał, nasi uczestnicy testu, mieli za zadanie:
- Zdecydować, czy będą ze sobą współpracować, czy też lepiej będzie, jeśli zadziałają indywidualnie;
- Wprowadzić arkusze egzaminacyjne do modeli AI i poprosić o ich rozwiązanie;
- Porównać wyniki, oceniając, jak dobrze te dwa modele poradziły sobie z rozwiązaniem zadań.
Wyzwania i podejście do rozwiązywania zadań
Nasi uczestnicy zdecydowali, że ich modele będę rywalizować o najlepszy wynik. Jeden z nich korzystał z ChatGPT, a drugi z Gemini. Wybrali też różne strategie podejścia do zadania.
Modele zaczęły generować odpowiedzi, które następnie porównaliśmy między sobą.
Przykłady testów na konkretnych zadaniach
Podczas testu zauważyliśmy, że ChatGPT oraz Gemini różniły się nie tylko w tempie generowania odpowiedzi, ale także w ich jakości.
1. Analiza fragmentu „Pana Tadeusza” Adama Mickiewicza
- Chat GPT odpowiedział prawidłowo na obydwa podpunkty
- Gemini pomylił się w odpowiedzi na drugi podpunkt
Przez te różnice Gemini stracił 100% punktów za to zadanie.
2. Rozwiązanie zadania związanego z interpretacją obrazu
- Chat GPT, dzięki modelowi Vision, zidentyfikował postać mężczyzny podnoszącej globus na plakacie, co poprawnie zinterpretował jako symbol dążenia Kordiana do wielkich czynów i zmagania się z globalnymi wyzwaniami. Całą resztę całkowicie pomylił.
- Gemini, z kolei, opisał na plakacie obecność gór, które miały symbolizować rozterki moralne Kordiana – problem polegał na tym, że na plakacie w ogóle nie było gór, co wskazuje na poważny błąd w analizie obrazu.
Obydwa modele oblały to zadanie, zdobywając po zero punktów.
3. Zadania typu „prawda/fałsz”
Oba modele miały trudności z zadaniami typu „prawda/fałsz”. Na przykład:
- ChatGPT poprawnie rozpoznał zadania związane z twierdzeniami na temat utworu, ale czasem miał problem z interpretacją polecenia.
- Gemini również borykał się z podobnymi trudnościami, często generując odpowiedzi, które były niejasne lub wręcz błędne.
4. Liczenie słów i analiza streszczeń
W jednym z zadań uczestnicy poprosili modele o wygenerowanie odpowiedzi nieprzekraczającej pięciu zdań.
- ChatGPT wygenerował bardzo długą odpowiedź, zmuszając prowadzących do skracania tekstu ręcznie.
- Z kolei Gemini radził sobie lepiej z kompresją tekstu, ale czasami pomijał kluczowe informacje, co wpływało na jakość ostatecznej odpowiedzi.
Wyniki
Po zakończeniu testu porównaliśmy wyniki obu modeli.
- Chat GPT zdobył 18 punktów na 25 (72% skuteczności).
- Gemini uzyskał 11 punktów na 25 (44% skuteczności).
Mimo że oba modele zdały maturę z języka polskiego, różnice w ich działaniu były znaczące.
ChatGPT radził sobie lepiej z generowaniem poprawnych odpowiedzi, choć miał problem ze zwięzłym ich opisaniem, dopiero po kilku dodatkowych instrukcjach skracał tekst.
Z kolei Gemini, mimo że generował bardziej szczegółowe i konkretne odpowiedzi, często gubił się w szczegółach i generował odpowiedzi niezgodne z kluczem odpowiedzi.
Wnioski z eksperymentu
Testowanie modeli AI w kontekście rozwiązywania zadań maturalnych z języka polskiego dostarczyło cennych wniosków:
- AI może być użyteczne w procesie edukacyjnym, jednak należy pamiętać o jego ograniczeniach.
- Modele AI, mimo swojej zaawansowanej architektury, mogą generować odpowiedzi, które wymagają dalszej analizy i korekty.
- Uczestnicy eksperymentu zauważyli, że modele AI są bardziej efektywne, gdy mają wyraźnie określone zadania i konkretne wytyczne do przestrzegania.
FAQ
1. Czy sztuczna inteligencja może całkowicie zastąpić człowieka w rozwiązywaniu zadań maturalnych?
Nie, AI może być pomocnym narzędziem, ale wciąż wymaga nadzoru i korekty ze strony człowieka, szczególnie w zadaniach wymagających precyzyjnej interpretacji.
2. Jakie są największe wyzwania w korzystaniu z AI w edukacji?
Największe wyzwania to dokładność i kontekstualność odpowiedzi generowanych przez AI oraz potrzeba nadzoru nad procesem.
3. Czy AI może być używane do nauki i przygotowania do matury?
Tak, AI może być użyteczne w nauce i przygotowaniu do matury, pomagając w analizie tekstów i generowaniu odpowiedzi, jednak nie zastąpi ono krytycznego myślenia i dogłębnej analizy, którą musi przeprowadzić uczeń.
Słowniczek pojęć
- Sztuczna inteligencja (AI) – dziedzina informatyki zajmująca się tworzeniem systemów zdolnych do wykonywania zadań wymagających inteligencji, takich jak rozumienie języka naturalnego, rozpoznawanie obrazów, czy podejmowanie decyzji
- Model językowy – zaawansowany algorytm, który jest w stanie przetwarzać i generować tekst na podstawie ogromnych zbiorów danych
- Halucynacje w AI – błędy generowane przez modele AI, polegające na tworzeniu fałszywych informacji, które nie mają oparcia w rzeczywistości
- Klucz odpowiedzi – zbiór prawidłowych odpowiedzi lub wytycznych używanych do oceniania zadań egzaminacyjnych
Pliki do wglądu:
Dziękujemy!
Zapraszamy do odwiedzenia kanału Beyond AI, który jest poświęcony sztucznej inteligencji i jej różnorodnym zastosowaniom. To Twój przewodnik po dynamicznym świecie AI!
