Deep Learning at Scale: At the Intersection of Hardware, Software, and Data
Книга «Deep Learning at Scale» посвящена практическим аспектам масштабирования систем глубокого обучения. Автор, Саннита Малл, рассматривает глубокое обучение как комплексную дисциплину, находящуюся на пересечении аппаратного обеспечения, программного обеспечения и данных. В издании подробно разбираются фундаментальные концепции, необходимые для понимания того, как эффективно обучать и развертывать большие модели.
Первая часть книги закладывает основу, исследуя философию масштабирования, проводя параллели с природными системами и эволюцией искусственного интеллекта. Рассматриваются шесть ключевых аспектов разработки масштабируемых систем глубокого обучения. Далее читатель погружается в детали реализации моделей, вычислительные аспекты (включая представление чисел с плавающей запятой, архитектуру компьютеров и ускоренные вычисления с помощью CUDA) и методы повышения эффективности.
Практическая часть включает hands-on упражнения по реализации моделей, таких как GPT-2 и сверточные сети для компьютерного зрения, с использованием PyTorch. Особое внимание уделяется профилированию, отслеживанию экспериментов, графовой компиляции в PyTorch 2.0 и техникам оптимизации: смешанной точности, трюкам для экономии памяти и эффективным оптимизаторам. Книга служит руководством для инженеров и исследователей, стремящихся преодолеть вычислительные ограничения и вывести проекты в области ИИ на новый уровень.
