Автор применяет методы нейронных сетей (и основная фишка работы заключается в магическом повторении слов нейронные сети),
но не является ли эта работа по сути стандартным динамическим программированием?

У меня сложилось впечатление, что их нужно сперва тренировать, заточить под определенный выход и потом они ищут этот выход (с некоторым приближением) среди входных данных

Ни динамическое программирование ни нейронные сети не суть что-то говорящее о работе.
Это не более конкретно, чем биология и геном

И главное что я пока не понял - за счет чего достигается ускорение алгоритмов нейросетей

Я думаю, что в большинстве случаев ускорение основано на поиске приближенного, а не точного ответа. Также, после того, как сеть натренировалась она ответ выдаст быстро, но вот сколько времени уйдет на тренировку?

за счет чего ускоряется однократный проход сигнала по цепи? (если считать в лоб, то время возрастает экспоненциально с количеством узлов сети).

A ускоряется ли? Ускоряться может, если сеть реализована аппаратно, железом. Не думаю, что программные сети, реализованные кодом на обычном компе, существенно быстрее

Самая важная сеть в нейронной сети — это характер связи между нейронами. Процесс формирования таких связей называется «машинным обучением» и тоже напоминает то, как наш собственный мозг учится обрабатывать информацию. Единственная разница заключается в том, что наш мозг регулярно удаляет старые связи, но большинство нейронных сетей делают это лишь в самом конце обучения.

Поэтому исследователи из MIT решили попробовать кое-что новое: регулярно «обрезать» сеть прямо во время изучения. Они обнаружили, что этот метод в конечном итоге формирует нейтронные сети, которые так же хороши, как и стандартные — однако при этом они занимают на 90% меньше места и намного более эффективны. Кроме того, им нужно меньше времени на обучение, а результаты их работы более точны в сравнении с традиционными аналогами — все благодаря качественной связи всех нейронов друг с другом.

В ближайшем будущем ученые планируют развивать свою методику, чтобы получить поколение качественно более совершенных нейронных сетей. Эти мощные и легковесные программы можно будет интегрировать даже на пользовательские устройства и заставить работать даже на обычном смартфоне, что открывает широчайшие возможности во всех сферах компьютерных технологий — от разработки компьютерных игр до создания приложений с практически универсальным функционалом.

В то время как одни учёные совершенствуют системы машинного обучения, другие учёные совершенствуют методы обмана этих систем.

Весной 2016 года компания Microsoft была вынуждена «усыпить» своего чатбота Тэй — программу ИИ, которая моделировала личность и стиль разговора 19-летней девушки и обладала функцией самообучения. Разработчики надеялись, что Tay с каждым днём будет становится всё умнее, впитывая опыт разговоров с тысячами пользователей интернета. Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.

Спустя три года специалисты из университета штата Мичиган и лаборатории TAL AI подвели научную основу под хулиганство интернет-троллей. Они разработали систему Reverse Dialogue Generator (RDG) — «обратный генератор диалогов». Он заставляет нейросетевой чатбот сказать именно ту фразу, которую вы хотите.

Понятно, что RDG и сам представляет собой нейросеть. Если вкратце, он тоже обучается на диалогах людей, как и нормальные нейросетевые чатботы, только получает подкрепление не за выход, а за вход: если генерируемый вход соответствует заданному.

...Такой «взлом» чатботов напоминает «состязательные примеры» (adversarial examples) — специально подобранные «троянские» картинки, которые «ломают» систему машинного зрения, так что она классифицирует совершенно другое изображение....

Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.

Итак, исследователи в области искусственного интеллекта из openai создали нейронную сеть под названием DALL · E, которая генерирует изображения из текстового описания на естественном языке.

DALL · E представляет собой версию GPT-3 с 12 миллиардами параметров, обученную генерировать изображения из текстовых описаний на датасете из пар текст-изображение. Исследователи обнаружили, что DALL · E обладает огромным репертуаром генеративных возможностей, включая возможность создания антропоморфных животных и других необычных объектов, комбинирующих совершенно нетривиальные свойства, например "кресло в форме авокадо."

Можно сказать, что уже были все предпосылки к созданию DALL · E: прошлогодний триумф GPT-3 и успешное создание Image GPT сети, способной к генерации изображений на основе текста, использующей языковую модель трансформер GPT-2. Все уже подходило к тому, чтобы создать новую модель, взяв в этот раз за основу GPT-3. И теперь DALL · E показывает невиданные доселе чудеса манипулирования визуальными концепциями с помощью естественного языка!

Как и GPT-3, DALL · E — это языковая модель-трансформер, принимающая на вход текст и изображение, как последовательность размером до 1280 токенов. Модель обучена максимизировать правдоподобие при генерации токенов, следующих один за другим.

Давайте посмотрим на примеры, которые говорят сами за себя.

Китайские исследователи сообщили, что они смогли внедрить вредоносное ПО в половину узлов модели искусственного интеллекта. По их мнению, вредоносы можно успешно встраивать непосредственно в искусственные нейроны, составляющие модели машинного обучения, таким образом, чтобы их нельзя было обнаружить. При этом сама нейросеть сможет продолжить выполнение поставленных задач в обычном режиме.

«По мере того как нейронные сети становятся все более широко используемыми, этот метод станет универсальным для доставки вредоносных программ», — отмечают авторы исследования из Университета Китайской академии наук.

Эксперименты с реальными образцами вредоносных программ показали, что замена примерно 50 % нейронов в модели AlexNet на вредоносное ПО по-прежнему обеспечивает точность модели выше 93,1 %. Авторы пришли к выводу, что модель AlexNet размером 178 МБ может содержать до 36,9 МБ вредоносных программ, встроенных в ее структуру, без возможности их обнаружения с помощью стеганографии. Некоторые модели были протестированы против 58 распространенных антивирусных систем, и вредоносное ПО все равно не было обнаружено.

Согласно исследованию, это связано с тем, что AlexNet, как и многие модели машинного обучения, состоит из миллионов параметров и множества сложных слоев нейронов, включая так называемые полностью связанные «скрытые» слои. Исследователи обнаружили, что изменение некоторых других нейронов мало влияет на производительность.

В статье авторы излагают сценарий того, как хакер может разработать модель машинного обучения с вредоносными программами, и распространить ее. По их словам, чтобы обеспечить возможность внедрения большего количества вредоносных программ, ему нужно внедрить больше нейронов. Затем злоумышленнику необходимо обучить сеть с помощью подготовленного набора данных, чтобы получить хорошо работающую модель. Он даже может выбрать для этого существующие модели. После этого хакер внедряет вредоносную программу и оценивает производительность модели. Как только модель показывает нужный уровень производительности, ее можно публиковать в общедоступных репозиториях или на других ресурсах.

Вредонос при внедрении в нейроны начинает работать с помощью вредоносной программы-приемника, которую также можно использовать для загрузки самой модели через обновление.

DeepMind создала систему искусственного интеллекта под названием AlphaCode, которая, по ее словам, «пишет компьютерные программы на конкурентоспособном уровне». Систему проверили на соответствие задачам кодирования, используемым в соревнованиях среди людей, и обнаружила, что программа оказалась среди 54% ​​лучших.