The Elements of Differentiable Programming
Эта книга представляет собой фундаментальное руководство по дифференцируемому программированию — парадигме, лежащей в основе современного машинного обучения. Авторы, исследователи из Google DeepMind, систематически излагают математические основы дифференцирования, начиная с одномерных функций и заканчивая многомерным анализом, линейными отображениями и дифференциальной геометрией.
Вторая часть книги посвящена вероятностному обучению, охватывая распределения вероятностей, метод максимального правдоподобия и его применение к задачам классификации и регрессии. Особое внимание уделяется экспоненциальным семействам распределений и их роли в построении вероятностных моделей.
Третья часть фокусируется на реализации дифференцируемых программ, рассматривая параметризованные программы, их представление в виде направленных ациклических графов (DAG), а также архитектуры feedforward сетей и многослойных перцептронов. Книга служит мостом между теоретической математикой и практическими аспектами построения и обучения нейронных сетей.
