Новости неконвенциональных вычислений
Неконвенциональные вычисления (альтернативные вычисления, нестандартные вычисления, альтернативные парадигмы вычислений и т.д., https://en.wikipedia.org/wiki/Unconventional_computing) сильно оживят происходящее с LLM, вопрос только в том -- когда. Конечно, этих неконвенциональных методов вычислений предлагается сегодня множество. Вот прошлогодний обзор нескольких таких инициатив — https://www.wired.com/story/fast-forward-chatgpt-hunger-energy-gpu-revolution/. Пока для датацентров рассматривается соотношение "на один датацентр нужна одна атомная электростанция", физики думают о том, чтобы атомная электростанция запитывала, например, 1000 датацентров, или даже больше. Это неважно, что сейчас такого нет. При этом помним, что от "убогих маленьких применений" до "весь мир наш" может пройти очень немного времени, экспоненты обычно приносят много неожиданностей -- а тут именно экспоненты, запрягают очень долго, потом неожиданно быстро едут.Вообще, ООН добралась до квантовой науки и квантовых технологий -- и 2025 год обозван их международным годом, об этом даже вебсайт есть: https://quantum2025.org/en/. Этот год был выбран в честь столетия со дня предложения квантовой механики, и подзаголовок тамошнего сайта "100 лет квантовой физики -- это только начало...". Поэтому не будем тут говорить про квантовиков-затейников, о них сейчас и так много рассказывают.Всплыли обратимые вычисления, компания Vaire получила инвестиции и вышла из тени — https://spectrum.ieee.org/reversible-computing. Чип, который Vaire планирует отправить на производство в начале 2025 года, будет представлять собой обратимый сумматор, встроенный в LC-резонатор. Некоторые из ранних тестовых чипов могут быть аналогами простых классических чипов -- типа того же сумматора, но в приложениях, где требуется малое потребление энергии. Команда также работает над чипом, который будет выполнять операцию умножения-накопления, базовое вычисление в большинстве приложений машинного обучения. В течение примерно 10-15 лет Vaire планирует разработать первый обратимый чип, специализированный для вывода ИИ, он даст x4000 улучшение в энергопотреблении по сравнению с текущими технологиями. Новость тут в том, что для классических схем вдруг предложены резонаторные схемы на CMOS — и вот в 2025 году уже хотят выпустить микросхему. Теория была открыта ещё в 2012 году — https://arxiv.org/abs/1208.5889, "Resonant Clocking Circuits for Reversible Computation". LC-резонаторы (https://en.wikipedia.org/wiki/LC_circuit) — это самый простой способ реализации в КМОП, но они имеют сравнительно низкие показатели качества, что означает, что маятник напряжения будет работать с некоторым трением. Команда Vaire также работает над интеграцией с классической электронной логикой на КМОП версии резонатора микроэлектромеханических систем (MEMS), которую гораздо сложнее интегрировать в чип, но она обещает гораздо более высокие показатели качества (меньшее трение). Там ожидают что резонатор на основе MEMS в конечном итоге обеспечит 99,97% работы без трения. Забавна терминология для электроники в терминах механики (маятники, трение), но и квантовая механика -- она ж тоже механика!В обратимых вычислениях (reversible computing) даже конференция есть ежегодная — https://rc2024.mat.umk.pl/ (и вышел томик трудов за пейволом, но можно и без пейвола эти свежие работы получить, например, https://arxiv.org/abs/2405.20842 ). Сейчас там главный сюжет, похоже, что квантовые обратимые вычисления тоже должны работать — куча работ на эту тему. David Deutsch показал, что квантовый компьютер универсален по Тьюрингу, а для классической логики вроде классический компьютинг делает всё необходимое — но если идти в обратимый компьютинг, то надо опять доказывать, что другая физика даёт ту же логику, "универсальна". Поэтому большинство работ теоретиков обратимых вычислений идёт в квантовую сторону, типа https://arxiv.org/abs/2310.17422 или вот эта с конференции по предыдущей ссылке.Extropic тоже отличился — они выполнили thermo silicon tapeout своего термодинамического вычислителя несколько недель назад и активно ведут переговоры с партнёрами о производстве, радостно говоря, что "у нас не квантовые компьютеры, которые будут готовы через 10-20 лет, у нас вот прямо сейчас", https://x.com/Extropic_AI/status/1866734523704283272. Команда Jingtian Hu из харбинского института технологий, вот их работы -- https://scholar.google.co.uk/citations?hl=en&user=3GIdO3wAAAAJ&view_op=list_works&sortby=pubdate. Скажем, прошлогодняя работа https://www.nature.com/articles/s41467-024-45982-w, "Diffractive optical computing in free space". Free space -- это "через пустое место", https://en.wikipedia.org/wiki/Free-space_optical_communication. И там вовсю уже работают дифракционные процессоры, вот тоже уже прошлогодняя тамошняя статья https://link.springer.com/content/pdf/10.1186/s43593-024-00067-5.pdf, "Subwavelength imaging using a solid-immersion difractive optical processor". И тоже прошлогодняя "Broadband nonlinear modulation of incoherent
Неконвенциональные вычисления (альтернативные вычисления, нестандартные вычисления, альтернативные парадигмы вычислений и т.д., https://en.wikipedia.org/wiki/Unconventional_computing) сильно оживят происходящее с LLM, вопрос только в том -- когда. Конечно, этих неконвенциональных методов вычислений предлагается сегодня множество. Вот прошлогодний обзор нескольких таких инициатив — https://www.wired.com/story/fast-forward-chatgpt-hunger-energy-gpu-revolution/. Пока для датацентров рассматривается соотношение "на один датацентр нужна одна атомная электростанция", физики думают о том, чтобы атомная электростанция запитывала, например, 1000 датацентров, или даже больше. Это неважно, что сейчас такого нет. При этом помним, что от "убогих маленьких применений" до "весь мир наш" может пройти очень немного времени, экспоненты обычно приносят много неожиданностей -- а тут именно экспоненты, запрягают очень долго, потом неожиданно быстро едут.
Вообще, ООН добралась до квантовой науки и квантовых технологий -- и 2025 год обозван их международным годом, об этом даже вебсайт есть: https://quantum2025.org/en/. Этот год был выбран в честь столетия со дня предложения квантовой механики, и подзаголовок тамошнего сайта "100 лет квантовой физики -- это только начало...". Поэтому не будем тут говорить про квантовиков-затейников, о них сейчас и так много рассказывают.
Всплыли обратимые вычисления, компания Vaire получила инвестиции и вышла из тени — https://spectrum.ieee.org/reversible-computing. Чип, который Vaire планирует отправить на производство в начале 2025 года, будет представлять собой обратимый сумматор, встроенный в LC-резонатор. Некоторые из ранних тестовых чипов могут быть аналогами простых классических чипов -- типа того же сумматора, но в приложениях, где требуется малое потребление энергии. Команда также работает над чипом, который будет выполнять операцию умножения-накопления, базовое вычисление в большинстве приложений машинного обучения. В течение примерно 10-15 лет Vaire планирует разработать первый обратимый чип, специализированный для вывода ИИ, он даст x4000 улучшение в энергопотреблении по сравнению с текущими технологиями.
Новость тут в том, что для классических схем вдруг предложены резонаторные схемы на CMOS — и вот в 2025 году уже хотят выпустить микросхему. Теория была открыта ещё в 2012 году — https://arxiv.org/abs/1208.5889, "Resonant Clocking Circuits for Reversible Computation". LC-резонаторы (https://en.wikipedia.org/wiki/LC_circuit) — это самый простой способ реализации в КМОП, но они имеют сравнительно низкие показатели качества, что означает, что маятник напряжения будет работать с некоторым трением. Команда Vaire также работает над интеграцией с классической электронной логикой на КМОП версии резонатора микроэлектромеханических систем (MEMS), которую гораздо сложнее интегрировать в чип, но она обещает гораздо более высокие показатели качества (меньшее трение). Там ожидают что резонатор на основе MEMS в конечном итоге обеспечит 99,97% работы без трения. Забавна терминология для электроники в терминах механики (маятники, трение), но и квантовая механика -- она ж тоже механика!
В обратимых вычислениях (reversible computing) даже конференция есть ежегодная — https://rc2024.mat.umk.pl/ (и вышел томик трудов за пейволом, но можно и без пейвола эти свежие работы получить, например, https://arxiv.org/abs/2405.20842 ). Сейчас там главный сюжет, похоже, что квантовые обратимые вычисления тоже должны работать — куча работ на эту тему. David Deutsch показал, что квантовый компьютер универсален по Тьюрингу, а для классической логики вроде классический компьютинг делает всё необходимое — но если идти в обратимый компьютинг, то надо опять доказывать, что другая физика даёт ту же логику, "универсальна". Поэтому большинство работ теоретиков обратимых вычислений идёт в квантовую сторону, типа https://arxiv.org/abs/2310.17422 или вот эта с конференции по предыдущей ссылке.
Extropic тоже отличился — они выполнили thermo silicon tapeout своего термодинамического вычислителя несколько недель назад и активно ведут переговоры с партнёрами о производстве, радостно говоря, что "у нас не квантовые компьютеры, которые будут готовы через 10-20 лет, у нас вот прямо сейчас", https://x.com/Extropic_AI/status/1866734523704283272.
Команда Jingtian Hu из харбинского института технологий, вот их работы -- https://scholar.google.co.uk/citations?hl=en&user=3GIdO3wAAAAJ&view_op=list_works&sortby=pubdate. Скажем, прошлогодняя работа https://www.nature.com/articles/s41467-024-45982-w, "Diffractive optical computing in free space". Free space -- это "через пустое место", https://en.wikipedia.org/wiki/Free-space_optical_communication. И там вовсю уже работают дифракционные процессоры, вот тоже уже прошлогодняя тамошняя статья https://link.springer.com/content/pdf/10.1186/s43593-024-00067-5.pdf, "Subwavelength imaging using a solid-immersion difractive optical processor". И тоже прошлогодняя "Broadband nonlinear modulation of incoherent light using a transparent optoelectronic neuron array", https://www.nature.com/articles/s41467-024-46387-5.pdf.
В оптике вообще много чего делается, новости смотреть вот тут: https://opg.optica.org/, гибриды с классикой как пример -- https://lightmatter.co/products/passage/, и там проблема пока в переходе от масштабов "мы решили MNIST" к хотя бы "мы способны поддержать GPT-3 и понимаем, как поддержать более современные архитектуры LLM". Но пока этого ни у кого из альтернативщиков нет, ждём-с, смотрим на то, как богатеет NVIDIA на классических GPU. Масштабирование как раз проблема -- ибо если размеры "для MNIST", то классическое железо щёлкает такую задачу, как орешек за одну копейку. И нужно иметь ну очень нишевое применение, чтобы проявились преимущества пока очень дорогих нестандартных решений.
Команда Ванчурина в этом плане неконвенциональных вычислений тоже пока ничего не сделала, https://artificialneuralcomputing.com/. Там активно занимаются математикой машинного обучения, цепляясь к физике — и тоже тяготеют к термодинамическим идеям в связи с нейросетями — и от них тоже можно ждать сюрпризов. В частности, там возобновляют семинар ("клубные встречи в zoom") по математике-физике в машинном обучении: https://t.me/ANCJournalClub.
Когда рассуждаем о неконвенциональных вычислителях, я всегда вспоминаю архитектуру CYC, построенную на "ускорителях" (писал в 2022 году в https://ailev.livejournal.com/1610230.html, а подробности в тексте https://arxiv.org/abs/2308.04445 -- там больше важен опыт CYC в архитектуре системы на множестве "ускорителей" для частных случаев, уход от "general problem solver", чем собственно рассуждения про AI) и рассуждения теоремы бесплатного обеда (самое популярное изложение у Pedro Domingo в The Master Algorithm, но это древний 2015 год, а ещё опыт сообщества Julia с библиотеками оптимизации ("ускоритель" под каждый частный случай, которых миллион, а ещё суррогаты, включая нейросуррогаты), и даже MoE архитектура с модулями-экспертами из LLM для меня тоже пример такого подхода, а особенно -- ToolFormer архитектуры 2023 года, где инструменты познаются/learn -- https://arxiv.org/abs/2302.04761. Конечно, какая-то архитектура будет побеждать остальные по цене-качеству, как сейчас победила CMOS-классика, но пока плохо понятно, что это могло бы быть (квантовый год, конечно, говорит, что квантовый компьютер -- но это далеко не факт, что он). Про программирование, повторюсь, я не очень беспокоюсь: это не люди будут программировать.
Так вот вполне может быть, что универсального неконвенционального вычислителя не будет (хотя все они целятся в нейросети -- и проблема пока в том, что до масштабов современных гигантских LLM всем этим вычислителям, как до Луны), при этом ускорители будут работать и с реальным временем на базе алгоритмов differentiable programming не класса универсальных нейросетей и даже LLM, а ещё там много чего разного может появиться -- типа тех же квантовых компьютеров, оптических компьютеров, компьютерах на мемристорах и т.д. И каждый тип неконвенционального вычисления может оказаться удобней для какого-то класса задач. Проблема, как всегда, потом окажется в алгоритмике -- а алгоритмика (оценивающая сложность вычисления для какого-то алгоритма) окажется ещё и разной для разных типов вычислений. Но я бы не считал это ужасной проблемой, как сейчас это с GPU, когда "железо есть, а софта нет, разве что у NVIDIA всегда железо с софтом". Конечно, программировать софт для этих нетрадиционных компьютеров/ускорителей/вычислителей будет AI, человеку с этим зоопарком (квантовые вычисления, оптические на фотонике вычисления, дифракционные вычисления, нейроморфные/спайковые архитектуры нейросетей, вычисления на ДНК, спинтроника, термодинамические вычислители и т.д.) не справиться.
Иллюстрация неконвенционального вычислителя из Википедии: цифровой механический компьютер.
Вообще, ООН добралась до квантовой науки и квантовых технологий -- и 2025 год обозван их международным годом, об этом даже вебсайт есть: https://quantum2025.org/en/. Этот год был выбран в честь столетия со дня предложения квантовой механики, и подзаголовок тамошнего сайта "100 лет квантовой физики -- это только начало...". Поэтому не будем тут говорить про квантовиков-затейников, о них сейчас и так много рассказывают.
Всплыли обратимые вычисления, компания Vaire получила инвестиции и вышла из тени — https://spectrum.ieee.org/reversible-computing. Чип, который Vaire планирует отправить на производство в начале 2025 года, будет представлять собой обратимый сумматор, встроенный в LC-резонатор. Некоторые из ранних тестовых чипов могут быть аналогами простых классических чипов -- типа того же сумматора, но в приложениях, где требуется малое потребление энергии. Команда также работает над чипом, который будет выполнять операцию умножения-накопления, базовое вычисление в большинстве приложений машинного обучения. В течение примерно 10-15 лет Vaire планирует разработать первый обратимый чип, специализированный для вывода ИИ, он даст x4000 улучшение в энергопотреблении по сравнению с текущими технологиями.
Новость тут в том, что для классических схем вдруг предложены резонаторные схемы на CMOS — и вот в 2025 году уже хотят выпустить микросхему. Теория была открыта ещё в 2012 году — https://arxiv.org/abs/1208.5889, "Resonant Clocking Circuits for Reversible Computation". LC-резонаторы (https://en.wikipedia.org/wiki/LC_circuit) — это самый простой способ реализации в КМОП, но они имеют сравнительно низкие показатели качества, что означает, что маятник напряжения будет работать с некоторым трением. Команда Vaire также работает над интеграцией с классической электронной логикой на КМОП версии резонатора микроэлектромеханических систем (MEMS), которую гораздо сложнее интегрировать в чип, но она обещает гораздо более высокие показатели качества (меньшее трение). Там ожидают что резонатор на основе MEMS в конечном итоге обеспечит 99,97% работы без трения. Забавна терминология для электроники в терминах механики (маятники, трение), но и квантовая механика -- она ж тоже механика!
В обратимых вычислениях (reversible computing) даже конференция есть ежегодная — https://rc2024.mat.umk.pl/ (и вышел томик трудов за пейволом, но можно и без пейвола эти свежие работы получить, например, https://arxiv.org/abs/2405.20842 ). Сейчас там главный сюжет, похоже, что квантовые обратимые вычисления тоже должны работать — куча работ на эту тему. David Deutsch показал, что квантовый компьютер универсален по Тьюрингу, а для классической логики вроде классический компьютинг делает всё необходимое — но если идти в обратимый компьютинг, то надо опять доказывать, что другая физика даёт ту же логику, "универсальна". Поэтому большинство работ теоретиков обратимых вычислений идёт в квантовую сторону, типа https://arxiv.org/abs/2310.17422 или вот эта с конференции по предыдущей ссылке.
Extropic тоже отличился — они выполнили thermo silicon tapeout своего термодинамического вычислителя несколько недель назад и активно ведут переговоры с партнёрами о производстве, радостно говоря, что "у нас не квантовые компьютеры, которые будут готовы через 10-20 лет, у нас вот прямо сейчас", https://x.com/Extropic_AI/status/1866734523704283272.
Команда Jingtian Hu из харбинского института технологий, вот их работы -- https://scholar.google.co.uk/citations?hl=en&user=3GIdO3wAAAAJ&view_op=list_works&sortby=pubdate. Скажем, прошлогодняя работа https://www.nature.com/articles/s41467-024-45982-w, "Diffractive optical computing in free space". Free space -- это "через пустое место", https://en.wikipedia.org/wiki/Free-space_optical_communication. И там вовсю уже работают дифракционные процессоры, вот тоже уже прошлогодняя тамошняя статья https://link.springer.com/content/pdf/10.1186/s43593-024-00067-5.pdf, "Subwavelength imaging using a solid-immersion difractive optical processor". И тоже прошлогодняя "Broadband nonlinear modulation of incoherent light using a transparent optoelectronic neuron array", https://www.nature.com/articles/s41467-024-46387-5.pdf.
В оптике вообще много чего делается, новости смотреть вот тут: https://opg.optica.org/, гибриды с классикой как пример -- https://lightmatter.co/products/passage/, и там проблема пока в переходе от масштабов "мы решили MNIST" к хотя бы "мы способны поддержать GPT-3 и понимаем, как поддержать более современные архитектуры LLM". Но пока этого ни у кого из альтернативщиков нет, ждём-с, смотрим на то, как богатеет NVIDIA на классических GPU. Масштабирование как раз проблема -- ибо если размеры "для MNIST", то классическое железо щёлкает такую задачу, как орешек за одну копейку. И нужно иметь ну очень нишевое применение, чтобы проявились преимущества пока очень дорогих нестандартных решений.
Команда Ванчурина в этом плане неконвенциональных вычислений тоже пока ничего не сделала, https://artificialneuralcomputing.com/. Там активно занимаются математикой машинного обучения, цепляясь к физике — и тоже тяготеют к термодинамическим идеям в связи с нейросетями — и от них тоже можно ждать сюрпризов. В частности, там возобновляют семинар ("клубные встречи в zoom") по математике-физике в машинном обучении: https://t.me/ANCJournalClub.
Когда рассуждаем о неконвенциональных вычислителях, я всегда вспоминаю архитектуру CYC, построенную на "ускорителях" (писал в 2022 году в https://ailev.livejournal.com/1610230.html, а подробности в тексте https://arxiv.org/abs/2308.04445 -- там больше важен опыт CYC в архитектуре системы на множестве "ускорителей" для частных случаев, уход от "general problem solver", чем собственно рассуждения про AI) и рассуждения теоремы бесплатного обеда (самое популярное изложение у Pedro Domingo в The Master Algorithm, но это древний 2015 год, а ещё опыт сообщества Julia с библиотеками оптимизации ("ускоритель" под каждый частный случай, которых миллион, а ещё суррогаты, включая нейросуррогаты), и даже MoE архитектура с модулями-экспертами из LLM для меня тоже пример такого подхода, а особенно -- ToolFormer архитектуры 2023 года, где инструменты познаются/learn -- https://arxiv.org/abs/2302.04761. Конечно, какая-то архитектура будет побеждать остальные по цене-качеству, как сейчас победила CMOS-классика, но пока плохо понятно, что это могло бы быть (квантовый год, конечно, говорит, что квантовый компьютер -- но это далеко не факт, что он). Про программирование, повторюсь, я не очень беспокоюсь: это не люди будут программировать.
Так вот вполне может быть, что универсального неконвенционального вычислителя не будет (хотя все они целятся в нейросети -- и проблема пока в том, что до масштабов современных гигантских LLM всем этим вычислителям, как до Луны), при этом ускорители будут работать и с реальным временем на базе алгоритмов differentiable programming не класса универсальных нейросетей и даже LLM, а ещё там много чего разного может появиться -- типа тех же квантовых компьютеров, оптических компьютеров, компьютерах на мемристорах и т.д. И каждый тип неконвенционального вычисления может оказаться удобней для какого-то класса задач. Проблема, как всегда, потом окажется в алгоритмике -- а алгоритмика (оценивающая сложность вычисления для какого-то алгоритма) окажется ещё и разной для разных типов вычислений. Но я бы не считал это ужасной проблемой, как сейчас это с GPU, когда "железо есть, а софта нет, разве что у NVIDIA всегда железо с софтом". Конечно, программировать софт для этих нетрадиционных компьютеров/ускорителей/вычислителей будет AI, человеку с этим зоопарком (квантовые вычисления, оптические на фотонике вычисления, дифракционные вычисления, нейроморфные/спайковые архитектуры нейросетей, вычисления на ДНК, спинтроника, термодинамические вычислители и т.д.) не справиться.
Иллюстрация неконвенционального вычислителя из Википедии: цифровой механический компьютер.
