Transformers in Action: Практическое руководство по архитектуре и применению

Книга «Transformers in Action» представляет собой всеобъемлющее практическое руководство по архитектуре трансформеров и их применению в современных системах искусственного интеллекта. Автор, Nicole Koenigstein, с предисловием от Luis Serrano, проводит читателя от фундаментальных основ до продвинутых тем, связанных с большими языковыми моделями (LLM).

Первая часть книги посвящена основам современных моделей-трансформеров. В ней подробно рассматривается механизм внимания (attention mechanism), много-головое внимание (multi-head attention) и принципиальные отличия трансформеров от предыдущих архитектур. Автор объясняет, как трансформеры произвели революцию в задачах машинного перевода и обработки естественного языка.

Вторая часть фокусируется на генеративных трансформерах. Здесь рассматриваются различные семейства моделей и архитектурные варианты (encoder-only, decoder-only, encoder-decoder), стратегии генерации текста, техники промптинга, а также методы выравнивания предпочтений (preference alignment) и генерации, дополненной извлечением информации (RAG).

Третья часть охватывает специализированные модели, включая мультимодальные системы, эффективные и специализированные малые языковые модели (SLM), процессы обучения и оценки LLM, оптимизацию и масштабирование больших моделей, а также этические аспекты и вопросы ответственного использования ИИ. Книга содержит подробные схемы, таблицы сравнения архитектур и практические рекомендации по применению.