Przetwarzanie języka naturalnego – narzędzia pracy w WEBSENSA

Przetwarzanie języka naturalnego to dziedzina, która rozwija się w dynamicznym tempie. W ostatnich latach coraz więcej przedsiębiorstw decyduje się wprowadzać nowoczesne rozwiązania biznesowe, opierające się właśnie na NLP. A co właściwie kryje się pod tym pojęciem i jakie korzyści biznesowe za sobą niesie? Sprawdźcie!

Przetwarzanie języka naturalnego – co to właściwie jest?

Przetwarzanie języka naturalnego (ang. natural language processing, NLP) to dziedzina sztucznej inteligencji, łącząca w sobie elementy programowania oraz językoznawstwa. Jej głównym celem jest nauczenie komputerów odczytywania, rozumienia, interpretowania oraz manipulowania ludzkim językiem, czego efektem ma być wypełnienie luki komunikacyjnej między ludźmi a maszynami.

Sztuczna inteligencja i przetwarzanie języka naturalnego, z pomocą człowieka, sprawi, że ludzie będą mogli rozmawiać z botami Messengera tak, jakby rozmawiali z przyjaciółmi – Mark Zuckerberg, Facebook CEO (tłum. własne)

Aby stworzyć rozwiązanie z kategorii NLP należy umiejętnie połączyć kilka dyscyplin, takich jak programowanie czy lingwistyka obliczeniowa. Jest to stosunkowo wymagająca gałąź branży IT, do której stworzenia potrzeba ekspertów specjalizujących się w obszarach takich jak uczenie maszynowe, głębokie uczenie, bazy danych, analityka i wiele więcej.

Nie tylko zrozumienie poszczególnych słów

Znamy już techniczną definicję NLP, ale co termin ten oznacza w praktyce? Każdego dnia wymawiamy tysiące słów, które są interpretowane przez inne osoby. Aby komunikacja międzyludzka była w pełni zrozumiała, należy mieć na uwadze, że słowa to nie wszystko. Zawsze istnieje pewien kontekst wypowiedzi, a do tego nie bez znaczenia jest także mowa ciała, ton głosu czy emocje towarzyszące nam podczas wypowiadania poszczególnych słów.

I to właśnie główny cel rozwiązań NLP – aby, czerpiąc ze wzorców kontekstowych, móc jak najlepiej zinterpretować ludzki język, bazując nie tylko na znaczeniu poszczególnych słów, ale przede wszystkim analizie szerokiej bazy danych, uwzględniających wiele czynników, istotnych w procesie komunikacji.

NLP uwzględnia wiele czynników, istotnych w procesie komunikacji

Przykładem może być chociażby intuicyjne autouzupełnianie tekstu, które bazuje na tym, co aktualnie piszemy i jest do nas indywidualnie dopasowywane, m.in. na podstawie analizy naszych wcześniejszych wypowiedzi. Jest to stosunkowo mała rzecz, którą wiele z nas uważa wręcz za oczywistą. Jeżeli jednak przyjrzymy się bliżej temu, w jak wiele elementów naszego codziennego życia przenika obecnie przetwarzanie języka naturalnego, będziemy mogli lepiej zrozumieć jego potęgę.

Przetwarzanie języka naturalnego – jak to działa?

Tak jak wspomnieliśmy już wcześniej, przetwarzanie języka naturalnego to element sztucznej inteligencji, odpowiadający za analizę ludzkiego języka. Jego celem często jest nie tylko zrozumienie, ale także komunikowanie za pomocą ludzkiej mowy. Przykładem są tu chociażby inteligentne głośniki, takie jak Alexa czy Google Home Assistant, które wykonują wybrane polecenia oraz odpowiadają na zadawane pytania.

1. Przetwarzenie komunikatu

Najpierw system musi przetłumaczyć wypowiedziane przez nas słowa tak, aby były one w formie, którą może zrozumieć i przetworzyć. Zazwyczaj wykorzystuje w tym celu tzw. ukryte modele Markowa (ang. Hidden Markov Models, HMM), które dzięki wykorzystaniu modeli matematycznych, są w stanie określić co powiedzieliśmy i przetłumaczyć to na tekst używany przez system NLP.

HMM odsłuchuje krótkie fragmenty naszych wypowiedzi i szuka w nich fonemów (najmniejszej jednostki mowy) w celu porównania ich z wcześniej nagraną mową, dzięki czemu jest w stanie zrozumieć nasz język oraz kontekst wypowiedzi. Jest to możliwe dzięki serii zakodowanych reguł gramatycznych, opierających się na algorytmach

Jak możemy się domyślić, nie jest to zadanie łatwe, ponieważ praktycznie w każdym języku występują tzw. homonimy, czyli słowa, które brzmią podobnie, ale mają zupełnie inne znaczenie. Kiedy tylko system natknie się na jedno z tych słów, musi wybrać to właściwe, analizując kontekst danego słowa.

2. Zrozumienie komunikatu

Kiedy system rozpozna i zmodyfikuje już ludzką mowę na przyswajalną dla siebie formę, następuje najtrudniejszy proces, jakim jest zrozumienie otrzymanego tekstu. Aby było to możliwe, niezbędne są:

1. obszerna baza danych, na podstawie której system nauczy się przetwarzać nasz język;

2. zestaw algorytmów, służących do przetwarzania języka naturalnego.

Dzięki użyciu odpowiednich bibliotek do NLP, system rozbija i dokładnie analizuje zarówno składnię, jak i znaczenie danej wypowiedzi.

Do stosowanych w tym celu technik należą m.in.:

• rozbijanie dużych słów na mniejsze segmenty (tzw. morfemy),
• dzielenie dużych fragmentów tekstu na mniejsze,
• identyfikowanie i oznaczanie poszczególnych części mowy,
• analiza gramatyczna zdań,
• podzielenie fragmentów tekstu na kategorie,
• nadanie znaczenia słowom, w wyniku analizy kontekstu wypowiedzi (tzw. ujednoznacznienie).

Rozbicie oraz klasyfikacja poszczególnych słów i zdań, pozwala algorytmom na identyfikację i wyodrębnienie reguł języka naturalnego. Następnie, dzięki przetworzeniu dużej liczby danych, system jest w stanie wydobyć znaczenie wypowiedzianych słów.

Na tym etapie ogromną rolę odgrywa uczenie maszynowe oraz baza danych, jaką posłużono się podczas tworzenia całego oprogramowania. Im wyższej jakości dane, tym lepiej system może rozumieć przetwarzane słowa. Jeśli natomiast otrzyma zbyt mało informacji lub dane będą złej jakości, wówczas istnieje duże ryzyko, że program błędnie zinterpretuje znaczenie zdań. To może prowadzić do słabych, a nawet bezsensownych wyników.

3. Odpowiedź na komunikat

Ostatni krok, to działanie komputera, będące odpowiedzią na polecenie lub pytanie zadane przez człowieka. W przypadku inteligentnych głośników, może być to m.in. słowna odpowiedź na zadane pytanie (np. o pogodę czy godzinę) czy też wykonanie określonej czynności, takiej jak, przykładowo, odtworzenie wybranej piosenki czy też ustawienie budzika.

Różne rozwiązania, wspólny cel

Oczywiście nie wszystkie rozwiązania oparte na NLP działają identycznie. Niekiedy proces ten ogranicza się przykładowo do do analizy ludzkiego języka za pomocą algorytmów i reguł gramatycznych. Cechą wspólną technologii korzystających z przetwarzania języka naturalnego jest możliwość wykorzystywania ludzkiego języka na wiele sposobów, w zależności od potrzeb danego przedsiębiorstwa czy instytucji.

Przetwarzanie języka naturalnego umożliwia realizację zadań, które ludziom zajęłyby miesiące lub lata

Przypomnijmy tu chociażby wspomniane już wcześniej przykłady. Inteligentne głośniki przetwarzają ludzką mowę w celu wykonania konkretnych czynności (takich jak np. włączenie muzyki), natomiast autouzupełnianie wyrazów w smartfonach analizuje to, co piszemy, aby pomóc nam szybciej tworzyć wiadomości tekstowe. Innym ciekawym przykładem mogą być aplikacje SEO, które używają NLP do tworzenia idealnie dopasowanych słów kluczowych związanych z danym produktem.

To, co istotne to fakt, że rozwiązania wykorzystujące przetwarzanie języka naturalnego, są w stanie szybko analizować i natychmiastowo wyciągać wnioski na podstawie ogromnych zbiorów danych. W efekcie umożliwiają zatem realizację zadań, których wykonanie zajęłoby ludziom miesiące lub nawet lata.

Przetwarzanie języka naturalnego – narzędzia pracy w WEBSENSA

• inteligentne głośniki
• chatboty
• translatory języków obcych
• monitoring mediów społecznościowych
• głosowe wprowadzanie tekstu
• wyszukiwanie głosowe
• wyszukiwarki semantyczne
• autouzupełnianie i inteligentne tworzenie wiadomości
• sprawdzanie pisowni
• filtry antyspamowe
• tworzenie powiązanych słów kluczowych

Znaczenie biznesowe – jak NLP może poprawić funkcjonowanie współczesnych firm?

Rozwiązania oparte na sztucznej inteligencji, w tym także przetwarzanie języka naturalnego to przyszłość niemalże każdego nowoczesnego biznesu. Możliwości są wręcz nieograniczone i zależą od potrzeb biznesowych danej firmy. Poniżej wymieniliśmy kilka sposobów, w jakie przedsiębiorstwa mogą korzystać z tej technologii.

1. Usprawnienia dla użytkownika strony internetowej

Rozwiązania NLP mogą być zintegrowane m.in. ze stroną internetową sprawiając, że stanie się ona bardziej przyjazna dla jej użytkowników. Funkcje takie, jak automatyczne uzupełnianie i autokorekta w wyszukiwarce, znacznie ułatwiają znalezienie wybranych materiałów, co sprawia, że internauci chętniej korzystają z danej strony, a także prawdopodobnie dłużej na niej pozostaną.

2. Automatyzacja obsługi klienta

Chatboty, które również należą do rozwiązań NLP, od lat z powodzeniem działają w wielu firmach jako pierwsze źródło kontaktu z klientem lub użytkownikiem danej strony. Chatboty mają tę zaletę, że potrafią natychmiastowo udzielać odpowiedzi na często zadawane pytania. Tak naprawdę mogą pomóc na wiele sposobów, m.in. w znalezieniu odpowiednich materiałów pomocniczych, zamawianiu produktów czy też zarządzaniu kontem.

3. Wsparcie działań marketingowych

Korzystając z rozwiązań chociażby do generowania zoptymalizowanych słów kluczowych, można zyskać m.in. szeroki wachlarz możliwości do reklamowania swoich usług oraz docierania do nowych klientów. Co więcej, najnowsze techniki generowania tekstu mogą także pomóc w  tworzeniu sloganów reklamowych, ofert produktów i innych.

4. Badanie satysfakcji klientów

Obecnie klienci mają wiele możliwości podzielenia się opinią na temat usług czy produktów danej firmy. Są to m.in. fora internetowe, media społecznościowe, maile do firmy czy też różnego rodzaju ankiety. Technologie oparte na NLP mogą znacznie pomóc w segregowaniu i analizie tego typu opinii, co może przyczynić się do poprawy funkcjonowania firmy.

Nasze projekty związane z przetwarzaniem języka naturalnego

Content Moderation Platform

Content Moderation Platform to narzędzie będące częścią projektu WP Moderacje, realizowanego we współpracy z Wirtualną Polską. Opracowane przez nas rozwiązanie służy do moderacji treści publikowanych w serwisie WP. Automatycznie ocenia dodawane przez czytelników komentarze, decydując, czy powinny zostać wyświetlone na stronie. Głównym jego celem jest uniknięcie negatywnych komentarzy i mowy nienawiści w sieci. System uwzględnia nie tylko treść komentarza i jego znaczenie, ale także analizuje, czy jest wsparty ładunkiem emocjonalnym, zwracając uwagę na atrybuty takie jak znaki specjalne czy też emotikony. Dodatkowo bierze pod uwagę także dane behawioralne, pochodzące z innych systemów WP i wspomaga się nimi podczas oceny, przykładowo blokując ruch pochodzący od robotów.

Cel projektu CMP

Celem projektu jest wyręczenie ludzi w ręcznym moderowaniu komentarzy. Dzięki zautomatyzowaniu tego procesu, mogą realizować nowe, bardziej ambitne zadania, takie jak udzielanie się dyskusjach, tworzenie społeczności wokół komentarzy i inne aktywności, mające na celu budowanie przywiązania i zaangażowanie użytkowników.

To, co dla nas było niezwykle ważne w tym projekcie to zgodność oceny systemu z tą, którą wskazałby człowiek (moderator). W efekcie, zbudowany przez nas model ocenia komentarze ze zbioru walidacyjnego z ok. 95% skutecznością, co oznacza, że aż 95% ocen komentarzy pokrywa się z tymi, które przypisał im człowiek. Chcesz wiedzieć więcej o możliwościach biznesowego wykorzystania naszego systemu CMP? Przeczytaj ten artykuł, w którym opisujemy dokłądniej ten system: Content Moderation Platform.

Wyszukiwarki semantyczne

Nasz zespół ma duże doświadczenie w opracowywaniu parserów, procesorów i tłumaczy języka naturalnego, kompatybilnych z bibliotekami służącymi do tworzenia rozwiązań opartych na sterowaniu głosem. Tworzymy wyszukiwarki semantyczne, korzystające z przetwarzania języka naturalnego. To, co różni je od standardowych wyszukiwarek to przede wszystkim fakt, że są w stanie zrozumieć nawet bardzo złożone zapytania użytkowników. Ich działanie opiera się bowiem nie tylko na wyszukiwaniu treści zawierających wybrane słowa kluczowe, ale także na rozumieniu możliwych interpretacji wpisanego zapytania.

Oprogramowanie semantyczne można dowolnie modyfikować i dostosowywać w zależności od potrzeb danego przedsiębiorstwa oraz branży, w jakiej się specjalizuje. Co więcej, można je zintegrować z istniejącymi już aplikacjami mobilnymi czy też webowymi.

Wyszukiwarki semantyczne sprawdzą się w:

1. bankowości i instytucjach finansowych,

2. e-commerce,

3. sterowaniu urządzeniami,

4. wyszukiwaniach w serwisach mailowych.

Nasz zespół ma duże doświadczenie w opracowywaniu parserów, procesorów i tłumaczy języka naturalnego, kompatybilnych z bibliotekami służącymi do tworzenia rozwiązań opartych na sterowaniu głosem. Tworzymy wyszukiwarki semantyczne, korzystające z przetwarzania języka naturalnego. To, co różni je od standardowych wyszukiwarek to przede wszystkim fakt, że są w stanie zrozumieć nawet bardzo złożone zapytania użytkowników. Ich działanie opiera się bowiem nie tylko na wyszukiwaniu treści zawierających wybrane słowa kluczowe, ale także na rozumieniu możliwych interpretacji wpisanego zapytania.

Przetwarzanie języka naturalnego to dziedzina, która w ciągu najbliższych lat z pewnością będzie nadal prężnie się rozwijać. Analizując ogromny potencjał NLP oraz korzyści biznesowe, jakie za sobą niesie, można śmiało przypuszczać, że na tego typu rozwiązania będzie decydować się coraz więcej przedsiębiorców.