На выставке Supercomputing 2019, проходившей не так давно в Денвере, США, компания Cerebras Systems представила суперкомпьютер, предназначенный для систем искусственного интеллекта, который построен на базе самого большого на сегодняшний день процессора. Вычислительная мощность этого суперкомпьютера, CS-1, эквивалентна вычислительной мощности системы, состоящей из сотен компьютерных стоек, заполненных графическими процессорами, потребляющими сотни киловатт энергии. При этом, размеры системы CS-1 составляют третью часть от размера стандартной стойки, а потребляет он всего 17 кВт.
“Система CS-1 является самым быстрым компьютером для искусственного интеллекта” – рассказывает Эндрю Фельдман (Andrew Feldman), основатель и руководитель компании Cerebras Systems, – “Наша система предыдущего поколения, построенная на базе тензорных процессоров Google TPU, занимает десять стоек и потребляет 100 киловатт, обеспечивая при этом всего одну треть вычислительной мощности системы CS-1”.
Суперкомпьютер CS-1 разработан с целью ускорения процесса обучения больших нейронных сетей, процесса, длительность которого в обычных условиях может исчисляться неделями. Приводимый в действие процессором в 400 тысячами вычислительных ядер, суперкомпьютер CS-1 должен справляться с подобными задачами за считанные минуты и даже секунды. Однако, особенности архитектуры этой системы не дают возможности демонстрации ее производительности при помощи стандартных тестов, к примеру MLPerf, вместо этого компания Cerebras Systems дает своим потенциальным клиентам возможность убедиться во всем самим, обучив собственные модели нейронных сетей на специально выделенном для этого компьютере CS-1.
Можно сказать, что такой подход себя оправдал, и первым из клиентов, кто уже получил в распоряжение собственный суперкомпьютер CS-1, стала Национальная лаборатория Аргонна (Argonne National Labs), а следующая система будет отправлена в распоряжение Ливерморской национальной лаборатории имени Лоуренса.
На системе CS-1 работает стандартное программное обеспечение Pytorch и Tensorflow, максимально оптимизированное под архитектуру этой системы. Более того, особенности этой архитектуры позволяют легко наращивать мощность системы, подключая несколько систем в параллель. В рамках эксперимента в компании Cerebras Systems подключили параллельно 32 системы CS-1 и получили при этом 32-кратное увеличение вычислительной мощности.
“Это отличает нашу архитектуру от архитектур на базе графических и центральных процессоров” – рассказывает Фельдман, – “Когда вы группируете графические процессоры в кластер, то его поведение отличается от поведения единой вычислительной системы. Несмотря на все усилия, поведение кластера так и остается суммарным поведением большого количества маленьких компьютеров”.
Первыми областями, в которых будут применяться суперкомпьютеры CS-1, станут исследования, направленные на поиски лекарства от рака, которые проводятся специалистами Национального онкологического института. После этого суперкомпьютер получат астрономы, которые начнут моделировать поведение черных дыр, находящихся в процессе столкновения, и гравитационных волн, которые производятся при этом столкновении. Отметим, что задача, подобная первой из упомянутых выше, уже как-то решалась в прошлом, и для ее решения в течение длительного времени было задействовано 1024 узла из 4392 узлов суперкомпьютера Theta.
