В проекте использовалась архитектура Transformer (BERT-подобная модель) для обработки естественного языка. Основные характеристики: - **Многослойный энкодер** с self-attention механизмом - **Предобучение** на masked language modeling (MLM) - **Fine-tuning** под конкретную задачу (классификация/генерация) Пример инициализации через `transformers`: ``` from transformers import BertModel, BertTokenizer model = BertModel.from_pretrained('bert-base-uncased') tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') ``` Ключевые преимущества выбора: - Отличная работа с контекстом - Поддержка transfer learning - Готовые реализации для популярных задач Для задач с ограниченными ресурсами иногда применяли облегчённые версии (DistilBERT).