• Il Text Mining è una tecnica di Intelligenza Artificiale (AI) che utilizza l'elaborazione del linguaggio naturale (NLP) per trasformare il testo libero, non strutturato, di documenti/database quali pagine web, articoli di giornale, e-mail, agenzie di stampa, post/commenti sui social media ecc.
• In generale, il text mining può essere classificato in due tipi:

• Il testo del linguaggio naturale non è strutturato.
• La maggior parte dei metodi di data mining gestiscono dati strutturati o semi-strutturati=> l'analisi e la modellazione di testi non strutturati in linguaggio naturale è impegnativa.
• L'estrazione di dati di testo è di fatto una tecnologia integrata di elaborazione del linguaggio naturale, classificazione dei modelli e apprendimento automatico.
• Il sistema teorico di elaborazione del linguaggio naturale non è ancora stato pienamente stabilito.
• Le principali difficoltà incontrate nel text mining sono generate da:

• Il text mining esegue alcuni compiti generali per estrarre in modo efficace testi, documenti, libri, commenti: 

Il text mining è un campo di ricerca che attraversa molteplici tecnologie e tecniche:

• La tokenizzazione refers to a process of segmenting a given text into lexical units.
• Rimuovere le parole di stop: Le parole stop si riferiscono principalmente a parole funzionali, tra cui parole ausiliarie, preposizioni, congiunzioni, parole modali e altre parole ad alta frequenza.
• Normalizzazione della forma di parola per migliorare l'efficienza dell'elaborazione del testo. La normalizzazione delle forme di parola comprende due concetti di base:

• L'annotazione dei dati rappresenta una fase essenziale dei metodi di apprendimento automatico supervisionati. Se la scala dei dati annotati è più grande, la qualità è più alta e, se la copertura è più ampia, le prestazioni del modello addestrato saranno migliori.

• Vector Space Model è il metodo di rappresentazione del testo più semplice.
• Concetti di base correlati:

Introduzione nei modelli tematici

► L'analisi semantica latente (LSA) rappresenta un pezzo di testo da un insieme di concetti semantici impliciti piuttosto che i termini espliciti nel modello di spazio vettoriale. LSA riduce la dimensione della rappresentazione del testo selezionando k argomenti latenti invece di termini espliciti come

la base per la rappresentazione del testo utilizzando la seguente matrice di decomposizione:

► L'analisi semantica latente probabilistica (PLSA) estende la semantica latente il framework di algebra dell'analisi include la probabilità.

► L'allocazione di Dirichlet latente (LDA) introduce una distribuzione Dirichlet alla distribuzione di argomenti condizionali e alla distribuzione di termini condizionali.

BERT: Rappresentazioni bidirezionali Encoder da Transformer

 

• Bert è un modello di preformazione e messa a punto che utilizza l'encoder bidirezionale di Transformer.

• La rappresentazione di ogni token di input hj viene appresa sia nel contesto sinistro, x1, · · · , xj−1 che nel contesto destro xj 1, · · · , xn.

• I contesti bidirezionali sono cruciali in compiti come l'etichettatura sequenziale e la risposta alle domande.

• I contributi del BERT:

► Bert impiega un modello molto più profondo rispetto al GPT, e l'encoder bidirezionale è costituito da fino a 24 strati con 340 milioni di parametri di rete.

► Bert progetta due funzioni oggettive non supervisionate, tra cui il modello di linguaggio mascherato e la previsione delle frasi successive.

► Bert è pre-formato su set di dati di testo ancora più grandi.

                                            L'architettura di BERT

 

 

Prevedere il sentimento di una data recensione utilizzando un modello di apprendimento automatico Naïve Bayse.