Материалы курса по компьютерной лингвистике (Natural Language Processing course materials)

Jupyter-ноутбуки 2021-22

1. Предобработка текста (Text preprocessing)
   Токенизация, лемматизация, стемминг, pymorphy, mystem, regex, razdel.
2. Классификация текста (мешок слов) (Bag-of-words classification)
   TFIDF, CountVectorizer, LogReg, KNN, DecisionTrees, Naive Bayes, RandomForest, косинусная близость, тональность текста
3. Поиск и исправление опечаток (Spellchecking)
   Алгоритм Норвига, расстояние Левенштейна, символьные нграммы, SymSpell.
4. Базовое языковое моделирование (Basic Language Modelling)
   Вероятность слова, Ngram language model, перплексия, генерация текста.
5. Тематическое моделирование (Topic modelling)
   Матричные разложения (SVD, NMF), LDA, перплексия, когерентность.
6. Векторные представления слов (word2vec/fastext) (Word embeddings)
   CBOW, Skip-gram, negative sampling, deep learning basics, sigmoid, softmax.
7. WSD/WSI
   Adagram, кластеризация контекстов, wordnet, алгоритм Леска.
8. RNN и извлечение именованных сущностей (Named Entity Recognition)
   LSTM, GRU, Bidirectional RNN, IOB кодировка, sequence labelling.
9. Использование предобученных моделей (Fine-tuning pretrained models)
   Transformer, BERT, HuggingFace, fine-tuning.
10. Генерация текста (GPT)
11. Машинный перевод (Machine Translation)

Архивные jupyter-ноутбуки

• NER с помощью грамматик (yargy)
• Few-shot NER (deep pavlov)
• Деревья зависимостей (Dependency trees)
• Тематическое моделирование в BigARTM
• Keyword extraction
• Определение языка
• Коллокации
• CNN (tf), CNN (pytorch)
• RNN (pytorch)
• Deep learning intro (tf), Deep learning intro (pytorch)
• Кластеризация (Clustering)
• Морфологическая дизамбигуация
• Использование предобученных моделей (pytorch)
• Viterbi/MEMM
• Sentence tokenization
• Relation extraction
• Semantic Role Labelling

Jupyter-notebooks in English

• Text preprocessing
• Basic Language modelling
• Topic modelling
• Word Embeddings