Tokenizer
in package
Polish specific tokenization code. Typically, tokenizer.php either contains a stemmer for the language in question or it specifies how many characters in a char gram
Tags
Table of Contents
- $char_gram_len : int
- How many characters in a char gram for this locale
- $stop_words : mixed
- A list of frequently occurring terms for this locale which should be excluded from certain kinds of queries. This is also used for language detection
- stopwordsRemover() : mixed
- Removes the stop words from the page (used for Word Cloud generation and language detection)
Properties
$char_gram_len
How many characters in a char gram for this locale
public
static int
$char_gram_len
= 5
$stop_words
A list of frequently occurring terms for this locale which should be excluded from certain kinds of queries. This is also used for language detection
public
static mixed
$stop_words
= ['jak', 'I', 'jego', 'że', 'on', 'było', 'dla', 'na', 'są', 'zespół', 'oni', 'być', 'w', 'jeden', 'mieć', 'tego', 'z', 'przez', 'gorący', 'słowo', 'ale', 'co', 'niektóre', 'jest', 'to', 'ty', 'lub', 'miał', 'kilka', 'stopa', 'do', 'i', 'ciągnąć', 'w', 'my', 'puszka', 'na zewnątrz', 'inne', 'były', 'który', 'zrobić', 'ich', 'czas', 'jeśli', 'będzie', 'jak', 'powiedział', 'próba', 'każda', 'powiedzieć', 'nie', 'zestaw', 'trzy', 'chcą', 'powietrze', 'dobrze', 'również', 'grać', 'mały', 'koniec', 'wkładać', 'Strona', 'główna', 'czytaj', 'ręka', 'port', 'duży', 'zaklęcie', 'dodać', 'nawet', 'ziemia', 'tutaj', 'musi', 'duży', 'wysoki', 'takie', 'śledzić', 'akt', 'dlaczego', 'zapytaj', 'mężczyźni', 'zmiana', 'poszedł', 'światła', 'rodzaj', 'z', 'potrzeba', 'dom', 'obraz', 'spróbuj', 'nas', 'ponownie', 'zwierząt', 'punkt', 'matka', 'świat', 'blisko', 'budować', 'własny', 'ziemia', 'ojciec']
Tags
Methods
stopwordsRemover()
Removes the stop words from the page (used for Word Cloud generation and language detection)
public
static stopwordsRemover(mixed $data) : mixed
Parameters
- $data : mixed
-
either a string or an array of string to remove stop words from
Return values
mixed —$data with no stop words