Автор применяет методы нейронных сетей (и основная фишка работы заключается в магическом повторении слов нейронные сети),
но не является ли эта работа по сути стандартным динамическим программированием?

У меня сложилось впечатление, что их нужно сперва тренировать, заточить под определенный выход и потом они ищут этот выход (с некоторым приближением) среди входных данных

Ни динамическое программирование ни нейронные сети не суть что-то говорящее о работе.
Это не более конкретно, чем биология и геном

И главное что я пока не понял - за счет чего достигается ускорение алгоритмов нейросетей

Я думаю, что в большинстве случаев ускорение основано на поиске приближенного, а не точного ответа. Также, после того, как сеть натренировалась она ответ выдаст быстро, но вот сколько времени уйдет на тренировку?

за счет чего ускоряется однократный проход сигнала по цепи? (если считать в лоб, то время возрастает экспоненциально с количеством узлов сети).

A ускоряется ли? Ускоряться может, если сеть реализована аппаратно, железом. Не думаю, что программные сети, реализованные кодом на обычном компе, существенно быстрее

Самая важная сеть в нейронной сети — это характер связи между нейронами. Процесс формирования таких связей называется «машинным обучением» и тоже напоминает то, как наш собственный мозг учится обрабатывать информацию. Единственная разница заключается в том, что наш мозг регулярно удаляет старые связи, но большинство нейронных сетей делают это лишь в самом конце обучения.

Поэтому исследователи из MIT решили попробовать кое-что новое: регулярно «обрезать» сеть прямо во время изучения. Они обнаружили, что этот метод в конечном итоге формирует нейтронные сети, которые так же хороши, как и стандартные — однако при этом они занимают на 90% меньше места и намного более эффективны. Кроме того, им нужно меньше времени на обучение, а результаты их работы более точны в сравнении с традиционными аналогами — все благодаря качественной связи всех нейронов друг с другом.

В ближайшем будущем ученые планируют развивать свою методику, чтобы получить поколение качественно более совершенных нейронных сетей. Эти мощные и легковесные программы можно будет интегрировать даже на пользовательские устройства и заставить работать даже на обычном смартфоне, что открывает широчайшие возможности во всех сферах компьютерных технологий — от разработки компьютерных игр до создания приложений с практически универсальным функционалом.

В то время как одни учёные совершенствуют системы машинного обучения, другие учёные совершенствуют методы обмана этих систем.

Весной 2016 года компания Microsoft была вынуждена «усыпить» своего чатбота Тэй — программу ИИ, которая моделировала личность и стиль разговора 19-летней девушки и обладала функцией самообучения. Разработчики надеялись, что Tay с каждым днём будет становится всё умнее, впитывая опыт разговоров с тысячами пользователей интернета. Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.

Спустя три года специалисты из университета штата Мичиган и лаборатории TAL AI подвели научную основу под хулиганство интернет-троллей. Они разработали систему Reverse Dialogue Generator (RDG) — «обратный генератор диалогов». Он заставляет нейросетевой чатбот сказать именно ту фразу, которую вы хотите.

Понятно, что RDG и сам представляет собой нейросеть. Если вкратце, он тоже обучается на диалогах людей, как и нормальные нейросетевые чатботы, только получает подкрепление не за выход, а за вход: если генерируемый вход соответствует заданному.

...Такой «взлом» чатботов напоминает «состязательные примеры» (adversarial examples) — специально подобранные «троянские» картинки, которые «ломают» систему машинного зрения, так что она классифицирует совершенно другое изображение....

Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.

Итак, исследователи в области искусственного интеллекта из openai создали нейронную сеть под названием DALL · E, которая генерирует изображения из текстового описания на естественном языке.

DALL · E представляет собой версию GPT-3 с 12 миллиардами параметров, обученную генерировать изображения из текстовых описаний на датасете из пар текст-изображение. Исследователи обнаружили, что DALL · E обладает огромным репертуаром генеративных возможностей, включая возможность создания антропоморфных животных и других необычных объектов, комбинирующих совершенно нетривиальные свойства, например "кресло в форме авокадо."

Можно сказать, что уже были все предпосылки к созданию DALL · E: прошлогодний триумф GPT-3 и успешное создание Image GPT сети, способной к генерации изображений на основе текста, использующей языковую модель трансформер GPT-2. Все уже подходило к тому, чтобы создать новую модель, взяв в этот раз за основу GPT-3. И теперь DALL · E показывает невиданные доселе чудеса манипулирования визуальными концепциями с помощью естественного языка!

Как и GPT-3, DALL · E — это языковая модель-трансформер, принимающая на вход текст и изображение, как последовательность размером до 1280 токенов. Модель обучена максимизировать правдоподобие при генерации токенов, следующих один за другим.

Давайте посмотрим на примеры, которые говорят сами за себя.