Text and Data Mining (TDM) to proces automatycznego analizowania i wydobywania informacji z dużej ilości tekstów i danych w celu identyfikacji wzorców, zależności i informacji, które nie byłyby łatwo dostępne w przypadku manualnej analizy. TDM wykorzystuje zaawansowane algorytmy, technologie przetwarzania języka naturalnego (NLP) i statystyki do przeszukiwania i analizy tekstu oraz danych numerycznych.
Jakie są etapy TDM?
Po pierwsze, dane są zbierane z różnych źródeł, takich jak publikacje naukowe, strony internetowe, raporty, bazy danych, media społecznościowe, czy też dowolne źródła tekstowe i liczbowe. Następnie zebrane dane są przetwarzane, oczyszczane i przekształcane w taki sposób, aby mogły być poddane analizie. W przypadku tekstu, może to obejmować usuwanie znaczników HTML, konwersję na małe litery,
usuwanie znaków specjalnych itp. W przypadku danych liczbowych, może to oznaczać normalizację lub standaryzację.
Następnie w tym etapie zaawansowane algorytmy analizują dane w poszukiwaniu wzorców, kluczowych słów, relacji itp. Ostateczne wyniki analizy mogą być przedstawiane w formie wizualizacji, raportów, tabel lub innych narzędzi, które pomagają zrozumieć i wykorzystać uzyskane informacje.
Jakie TDM ma korzyści dla podmiotów gospodarczych?
Przede wszystkim TDM umożliwia firmom analizowanie ogromnych ilości danych i tekstów w celu identyfikowania trendów, wzorców i nowych możliwości. Dzięki temu przedsiębiorstwa mogą tworzyć innowacyjne produkty i usługi, co z kolei może zapewnić przewagę konkurencyjną. Ponadto, dla firm istotne jest zrozumienie potrzeb i preferencji klientów, a TDM pozwala na analizę opinii, recenzji i
komunikatów na temat produktów i usług, co pomaga w podejmowaniu bardziej trafnych decyzji rynkowych. Analiza danych przy użyciu TDM może również przyczynić się do optymalizacji procesów wewnętrznych, zarządzania danymi oraz zwiększenia efektywności operacyjnej.
Jednakże, liczne korzyści i możliwości, które oferuje TDM, wiążą się również z pewnymi problematycznymi aspektami prawnymi. W ramach tej metody dochodzi do naruszeń danych osobowych oraz prawa autorskiego, ponieważ algorytmy bazują na tekstach chronionych utworów. Problematyka TDM stała się na tyle złożona, że została uregulowana w Dyrektywie Parlamentu Europejskiego i Rady (UE) 2019/790 z dnia 17 kwietnia 2019 r. w sprawie prawa autorskiego i praw pokrewnych na jednolitym rynku cyfrowym oraz zmiany dyrektyw 96/9/WE i 2001/29/WE (Dyrektywa DSM), która wprowadza dwie formy nowego dozwolonego użytku, a druga z nich skierowana jest właśnie do podmiotów komercyjnych. Zgodnie z dyrektywą, podmioty te będą mogły powoływać się na dozwolony użytek za wynagrodzeniem.
Podsumowanie
W miarę rozwoju technologii TDM, prawo i etyka muszą nadążyć za postępem, aby zapewnić równowagę między wykorzystaniem danych a ochroną praw i prywatności. Dla podmiotów gospodarczych, TDM staje się nie tylko narzędziem, ale również wyzwaniem, które można sprostać przy zachowaniu przestrzegania odpowiednich regulacji i etycznych zasad.
