Jak zainstalować chat AI na komputerze i korzystać w samolocie?

Ten artykuł jest uzupełnieniem filmu opublikowanego na kanale Beyond AI, który pokazuje, jak zainstalować lokalną wersję Chata AI na komputerze bez konieczności korzystania z internetu. Aby dowiedzieć się więcej, odwiedź kanał Beyond AI i odkryj inne ciekawe treści związane ze sztuczną inteligencją.

Obejrzyj ten materiał na YouTube:

‍Wprowadzenie

Cześć, jestem Michał z Beyond AI. Pokażę wam dzisiaj, jak lokalnie na swoim komputerze zainstalować Chata AI, który będzie działał bez dostępu do internetu.

Sprawdziłem wszystkie dostępne opcje i pokażę wam tę najprostszą, która nie wymaga ani umiejętności programowania, ani żadnej specjalistycznej wiedzy technicznej.

Dlaczego lokalna instalacja?

Kiedy korzystamy z usług takich jak ChatGPT od OpenAI czy Gemini od Google, musimy być połączeni z internetem. Oczywiście cała nasza komunikacja, wszystkie dokumenty, które przesyłamy, zdjęcia, lecą na serwery OpenAI czy Google.

Jeżeli nie mamy konta płatnego i nie wyłączymy opcji, te dane, które wysyłamy, mogą być wykorzystywane do trenowania nowych wersji modeli. Nie zawsze jest to pożądana sytuacja. Nie zawsze chcemy, aby to, co robimy, było gdzieś wysyłane i być może było częścią nowego modelu, który kiedyś może być elementem jakiegoś wycieku.

Jeżeli to są wasze problemy, ewentualnie też jeżeli po prostu chcecie czasem mieć dostęp do Chata w sytuacjach, w których nie macie internetu (bo na przykład lecicie samolotem albo macie ten internet słaby, generalnie nie możecie na nim polegać), to pokażemy wam dzisiaj, co po kolei trzeba zrobić, żeby sobie taką lokalną wersję modeli LLM uruchomić.

Wymagania sprzętowe

Żeby to zrobić, przede wszystkim potrzebujecie komputer, który ma jakąś kartę graficzną lub jest to Mac z procesorem M1 lub lepszym. Na innych komputerach też oczywiście da się to zrobić, ale szybkość działania tego rozwiązania będzie zbyt wolna, żeby dało się na tym w jakikolwiek rozsądny sposób pracować. Natomiast jeżeli macie komputer z jakąś rozsądną kartą graficzną lub właśnie Maca z procesorem M1 lub lepszym, da się tak skonfigurować te modele, że szybkość jest wystarczająca do pracy na co dzień i rzeczywiście mogą one nam być pomocne.

Potrzebne oprogramowanie

Żeby w pełni wykorzystać dostępne możliwości, będziemy potrzebowali zainstalować dwie aplikacje:

1. LM Studio – bardzo fajny program, pozwalający na łatwe ściąganie i uruchamianie lokalne dowolnych modeli. LM Studio udostępnia również prostą wersję Chata, gdzie możemy sobie z tymi modelami rozmawiać. Natomiast nie ma ono na przykład możliwości ładowania dokumentów.
2. AnythingLLM – to dokładnie interfejs Chata, który może wykorzystać modele hostowane na przykład przez LM Studio i pozwala na łatwe zarządzanie dokumentami. Możemy stworzyć sobie tam wiele przestrzeni, w których załadujemy na przykład nasze dokumenty z jakiegoś projektu, albo dokumenty związane z pracą, którą w danej chwili robimy, czy z jakimiś innymi obszarami naszego życia, i potem wykorzystywać Chata do tego, żeby odpytywać się i przetwarzać te dokumenty.

Całość ma taką zaletę, że nic nie będzie wysłane do internetu. Wszystko będzie działo się lokalnie na waszym komputerze. W związku z tym zachowujecie pełne bezpieczeństwo związane z przetwarzaniem tych danych.

Instalacja LM Studio

1. Wchodzimy na stronę LM Studio i wybieramy instalkę, której potrzebujemy. Jest dostępna w wersji na Maca, Windowsy i Linuxy.

2. Po ściągnięciu przeciągamy go do folderu aplikacji i uruchamiamy.
3. W interfejsie LM Studio przechodzimy do zakładki "Search", gdzie mamy wybór wszystkich modeli, które możemy ściągnąć lokalnie i zainstalować.
4. Wybieramy model (np. Bielik – najnowszy polski model przygotowany przez grupę SpeakLeash).

5. LM Studio pokazuje, które modele zmieszczą się w pamięci naszej karty graficznej za pomocą kolorowych kwadracików.
6. Wybieramy największy model, który zmieści się w naszej pamięci, i klikamy "Download".

Korzystanie z LM Studio

1. Po ściągnięciu modelu, przechodzimy do zakładki "Chat".
2. Wybieramy jeden ze ściągniętych modeli.
3. Model ładuje się do pamięci i możemy zacząć testowanie.

Instalacja AnythingLLM

Dzięki temu programowi będziemy mogli używać chata AI z możliwością operowania na plikach.

1. Wchodzimy na stronę AnythingLLM.
2. Klikamy w "Download Anything for Desktop".
3. Wybieramy wersję dla naszego systemu operacyjnego.
4. Po instalacji przeciągamy aplikację do katalogu Applications.

Konfiguracja AnythingLLM

1. Uruchamiamy AnythingLLM, pobieramy i instalujemy zgodnie z Wizardem.
2. W LM Studio(!) przechodzimy do zakładki "Local Server" i uruchamiamy serwer lokalny.
3. Kopiujemy adres serwera i wklejamy go w AnythingLLM.
4. Wybieramy model (np. Bielik).
5. Wybieramy embedder (np. AnythingLLM embedder).
6. Wybieramy bazę wektorową.
7. Tworzymy nowy workspace.

Korzystanie z AnythingLLM

1. Mamy teraz interfejs Chata, który wykorzystuje AnythingLLM.
2. Możemy dodawać dokumenty do workspace:some text
   • Pliki lokalne
   • Strony internetowe
   • Repozytoria kodu z GitHuba
   • Transkrypcje filmów wideo
3. Po dodaniu dokumentów, klikamy "Save & Embed".
4. Teraz możemy zadawać pytania dotyczące dodanych dokumentów.

Podsumowanie

Dzięki temu rozwiązaniu możemy lokalnie zainstalować i uruchomić dowolny model, a także dodawać dokumenty, strony internetowe czy filmy YouTube, aby potem móc je w trybie offline przeszukiwać i odpowiadać na pytania na podstawie tych danych. Instancja działa wystarczająco szybko, choć przy dużej ilości dokumentów procesy wyszukiwania mogą trwać trochę dłużej.

To rozwiązanie jest szczególnie przydatne, gdy nie mamy dostępu do internetu lub nie chcemy wysyłać naszych dokumentów na zewnętrzne serwery. Polecam sprawdzenie różnych modeli, niektóre są dedykowane do konkretnych zadań, jak kodowanie czy język polski, inne są dobre ogólnie we wszystkim, jak na przykład Mistral.

Dziękuję za uwagę i zapraszam do obejrzenia lub przeczytania innych naszych odcinków!

—

FAQ

1. Czy potrzebuję połączenia z internetem, aby korzystać z lokalnej wersji chata AI?‍

Nie, po zainstalowaniu i skonfigurowaniu narzędzi takich jak LM Studio i AnythingLLM, możesz korzystać z Chata AI bez połączenia z internetem.

2. Jakie są wymagania sprzętowe do uruchomienia lokalnych modeli AI?‍

Zalecany jest komputer z dedykowaną kartą graficzną lub Mac z procesorem M1 lub nowszym. Na innych komputerach modele mogą działać wolniej.

3. Czy mogę przetwarzać dokumenty lokalne za pomocą chata AI?‍

Tak, za pomocą AnythingLLM możesz zarządzać lokalnymi dokumentami i korzystać z modeli AI do ich przetwarzania.

4. Czy lokalna wersja chata AI jest bezpieczna?‍

Tak, wszystkie operacje odbywają się lokalnie na Twoim komputerze, co zapewnia pełne bezpieczeństwo i prywatność danych.

Słowniczek pojęć

• ‍Chat AI – program komputerowy, który używa sztucznej inteligencji do prowadzenia rozmów z użytkownikami‍
• Model LLM (Large Language Model) – zaawansowany model językowy, który przetwarza i generuje tekst na podstawie ogromnych zbiorów danych‍
• Kwantyzacja – proces optymalizacji modelu AI, który zmniejsza jego rozmiar i zwiększa efektywność działania kosztem niewielkiej utraty jakości‍
• Inferencja – proces przetwarzania danych przez model AI, aby uzyskać odpowiedzi na pytania użytkownika‍
• Workspace (Przestrzeń robocza) – w kontekście AnythingLLM, przestrzeń, w której przechowywane są dokumenty i inne dane przetwarzane przez model AI

Odwiedź nasz kanał na YouTube!

Zapraszamy do subskrypcji kanału Beyond AI, Twojego przewodnika po dynamicznym świecie sztucznej inteligencji. Znajdziesz tam więcej praktycznych porad, ciekawostek i nowości związanych z AI. Do zobaczenia na kanale!