Автор применяет методы нейронных сетей (и основная фишка работы заключается в магическом повторении слов нейронные сети),
но не является ли эта работа по сути стандартным динамическим программированием?

У меня сложилось впечатление, что их нужно сперва тренировать, заточить под определенный выход и потом они ищут этот выход (с некоторым приближением) среди входных данных

Ни динамическое программирование ни нейронные сети не суть что-то говорящее о работе.
Это не более конкретно, чем биология и геном

И главное что я пока не понял - за счет чего достигается ускорение алгоритмов нейросетей

Я думаю, что в большинстве случаев ускорение основано на поиске приближенного, а не точного ответа. Также, после того, как сеть натренировалась она ответ выдаст быстро, но вот сколько времени уйдет на тренировку?

за счет чего ускоряется однократный проход сигнала по цепи? (если считать в лоб, то время возрастает экспоненциально с количеством узлов сети).

A ускоряется ли? Ускоряться может, если сеть реализована аппаратно, железом. Не думаю, что программные сети, реализованные кодом на обычном компе, существенно быстрее

Самая важная сеть в нейронной сети — это характер связи между нейронами. Процесс формирования таких связей называется «машинным обучением» и тоже напоминает то, как наш собственный мозг учится обрабатывать информацию. Единственная разница заключается в том, что наш мозг регулярно удаляет старые связи, но большинство нейронных сетей делают это лишь в самом конце обучения.

Поэтому исследователи из MIT решили попробовать кое-что новое: регулярно «обрезать» сеть прямо во время изучения. Они обнаружили, что этот метод в конечном итоге формирует нейтронные сети, которые так же хороши, как и стандартные — однако при этом они занимают на 90% меньше места и намного более эффективны. Кроме того, им нужно меньше времени на обучение, а результаты их работы более точны в сравнении с традиционными аналогами — все благодаря качественной связи всех нейронов друг с другом.

В ближайшем будущем ученые планируют развивать свою методику, чтобы получить поколение качественно более совершенных нейронных сетей. Эти мощные и легковесные программы можно будет интегрировать даже на пользовательские устройства и заставить работать даже на обычном смартфоне, что открывает широчайшие возможности во всех сферах компьютерных технологий — от разработки компьютерных игр до создания приложений с практически универсальным функционалом.

В то время как одни учёные совершенствуют системы машинного обучения, другие учёные совершенствуют методы обмана этих систем.

Весной 2016 года компания Microsoft была вынуждена «усыпить» своего чатбота Тэй — программу ИИ, которая моделировала личность и стиль разговора 19-летней девушки и обладала функцией самообучения. Разработчики надеялись, что Tay с каждым днём будет становится всё умнее, впитывая опыт разговоров с тысячами пользователей интернета. Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.

Спустя три года специалисты из университета штата Мичиган и лаборатории TAL AI подвели научную основу под хулиганство интернет-троллей. Они разработали систему Reverse Dialogue Generator (RDG) — «обратный генератор диалогов». Он заставляет нейросетевой чатбот сказать именно ту фразу, которую вы хотите.

Понятно, что RDG и сам представляет собой нейросеть. Если вкратце, он тоже обучается на диалогах людей, как и нормальные нейросетевые чатботы, только получает подкрепление не за выход, а за вход: если генерируемый вход соответствует заданному.

...Такой «взлом» чатботов напоминает «состязательные примеры» (adversarial examples) — специально подобранные «троянские» картинки, которые «ломают» систему машинного зрения, так что она классифицирует совершенно другое изображение....

Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.

Итак, исследователи в области искусственного интеллекта из openai создали нейронную сеть под названием DALL · E, которая генерирует изображения из текстового описания на естественном языке.

DALL · E представляет собой версию GPT-3 с 12 миллиардами параметров, обученную генерировать изображения из текстовых описаний на датасете из пар текст-изображение. Исследователи обнаружили, что DALL · E обладает огромным репертуаром генеративных возможностей, включая возможность создания антропоморфных животных и других необычных объектов, комбинирующих совершенно нетривиальные свойства, например "кресло в форме авокадо."

Можно сказать, что уже были все предпосылки к созданию DALL · E: прошлогодний триумф GPT-3 и успешное создание Image GPT сети, способной к генерации изображений на основе текста, использующей языковую модель трансформер GPT-2. Все уже подходило к тому, чтобы создать новую модель, взяв в этот раз за основу GPT-3. И теперь DALL · E показывает невиданные доселе чудеса манипулирования визуальными концепциями с помощью естественного языка!

Как и GPT-3, DALL · E — это языковая модель-трансформер, принимающая на вход текст и изображение, как последовательность размером до 1280 токенов. Модель обучена максимизировать правдоподобие при генерации токенов, следующих один за другим.

Давайте посмотрим на примеры, которые говорят сами за себя.

Китайские исследователи сообщили, что они смогли внедрить вредоносное ПО в половину узлов модели искусственного интеллекта. По их мнению, вредоносы можно успешно встраивать непосредственно в искусственные нейроны, составляющие модели машинного обучения, таким образом, чтобы их нельзя было обнаружить. При этом сама нейросеть сможет продолжить выполнение поставленных задач в обычном режиме.

«По мере того как нейронные сети становятся все более широко используемыми, этот метод станет универсальным для доставки вредоносных программ», — отмечают авторы исследования из Университета Китайской академии наук.

Эксперименты с реальными образцами вредоносных программ показали, что замена примерно 50 % нейронов в модели AlexNet на вредоносное ПО по-прежнему обеспечивает точность модели выше 93,1 %. Авторы пришли к выводу, что модель AlexNet размером 178 МБ может содержать до 36,9 МБ вредоносных программ, встроенных в ее структуру, без возможности их обнаружения с помощью стеганографии. Некоторые модели были протестированы против 58 распространенных антивирусных систем, и вредоносное ПО все равно не было обнаружено.

Согласно исследованию, это связано с тем, что AlexNet, как и многие модели машинного обучения, состоит из миллионов параметров и множества сложных слоев нейронов, включая так называемые полностью связанные «скрытые» слои. Исследователи обнаружили, что изменение некоторых других нейронов мало влияет на производительность.

В статье авторы излагают сценарий того, как хакер может разработать модель машинного обучения с вредоносными программами, и распространить ее. По их словам, чтобы обеспечить возможность внедрения большего количества вредоносных программ, ему нужно внедрить больше нейронов. Затем злоумышленнику необходимо обучить сеть с помощью подготовленного набора данных, чтобы получить хорошо работающую модель. Он даже может выбрать для этого существующие модели. После этого хакер внедряет вредоносную программу и оценивает производительность модели. Как только модель показывает нужный уровень производительности, ее можно публиковать в общедоступных репозиториях или на других ресурсах.

Вредонос при внедрении в нейроны начинает работать с помощью вредоносной программы-приемника, которую также можно использовать для загрузки самой модели через обновление.

DeepMind создала систему искусственного интеллекта под названием AlphaCode, которая, по ее словам, «пишет компьютерные программы на конкурентоспособном уровне». Систему проверили на соответствие задачам кодирования, используемым в соревнованиях среди людей, и обнаружила, что программа оказалась среди 54% ​​лучших.

Ученые из российской компании Smart Engines нашли способ ускорить работу нейросетей на 40% - они предложили новую рабочую модель на смену существующей 8-битной; как объяснил РИА Новости гендиректор компании Владимир Арлазаров, это позволит снизить затраты на оборудование и расширить пул задач, которые выполняет искусственный интеллект.

"Глубокие нейронные сети постоянно усложняются, содержат сотни миллионов и более коэффициентов, что требуют большей вычислительной мощности. Это ограничивает возможность использования центральных процессоров в системах искусственного интеллекта. Исследователи Smart Engines решили эту проблему, предложив качественное улучшение 8-битной модели - 4,6-битные сети. Они работают быстрее 8-битной модели на 40%, но практически не уступают ей по качеству за счет более эффективного использования особенностей центральных процессоров мобильных устройств", - рассказали в компании.

"Быстрый и высокоэффективный ИИ сегодня нужен везде и всем. Каждый человек хочет, чтобы у него на мобильном телефоне был ChatGPT. И 4,6-битные модели - важный шаг на этом пути. Они позволяют, с одной стороны, снизить затраты на оборудование для уже существующих решений. С другой - решить совершенно новый класс задач компьютерного зрения на текущем оборудовании, где раньше не хватало вычислительных ресурсов", - объяснил Арлазаров.

Сегодня работа с нейросетями возможна на специализированных видеокартах, однако не все компьютеры ими оснащены. Но у каждого пользовательского устройства - будь то компьютер или смартфон - есть центральный процессор, и для него использование 8-битных нейронных сетей является мировым стандартом. Как рассказали в Smart Engines, 4,6-битные нейросети - более "легкие", их проще использовать в центральных процессорах на разных устройствах.

Цель – борьба с фейками, которые легко создавать при помощи ИИ

Министр энергетики Саткалиев ответил экс-главе "Казатомпрома" Джакишеву на призыв развивать газовую энергетику вместо АЭС (на этом этапе развития технологий)

Спойлер: аналитика Джакишева, основанная на диалогах с чатом GPT, оказалась кардинально неверна.

На факелах в Казахстане в 2023 году сожгли лишь чуть боле 300 млн кубометров газа - это почти в 30 раз меньше, чем Джакишеву описал чат GPT. Тот же, основываясь на кардинально неверных данных, призвал не сжигать миллиарды кубометров газа, а использовать их.

Но в целом природного газа у Казахстана гораздо меньше, чем хотелось бы и Джакишеву, и всем казахстанцам.

Дата-сатанисты руку приложили не иначе.

Сложные многослойные нейронные сети, используемые для машинного обучения, можно заменить осцилляторами с запаздывающей обратной связью, доказал ученый СГУ в составе международного коллектива. По данным исследователей, это открытие может значительно упростить и удешевить создание устройств, способных решать задачи искусственного интеллекта в реальном времени, сообщили РИА Новости в пресс-службе Минобрнауки РФ.

Осцилляторы – это системы, способные совершать колебания. К их числу относятся, например, маятник или электрический контур. Если добавить к осцилляторам запаздывающую обратную связь (когда система реагирует на свои прошлые состояния), их поведение становится сложнее. Такие системы могут имитировать динамику целых сетей, состоящих из множества взаимодействующих элементов.

Исследователь из Саратовского национального исследовательского государственного университета (СГУ) имени Н.Г. Чернышевского, заведующий лабораторией компьютерного моделирования в электронике СГУ Владимир Семенов вместе с коллегой из Берлинского технического университета показали, что два связанных бистабильных осциллятора с запаздыванием могут воспроизводить поведение сложной двухслойной нейронной сети.

В частности, они изучили два ключевых явления: стохастический резонанс — когда шум усиливает полезный сигнал; и распространение волнового фронта, при котором одно из двух сосуществующих состояний системы заполняет все возможное пространство.

Builder.ai получила известность около десяти лет назад благодаря своему инновационному подходу: компания обещала клиентам разработку программ без написания кода, полагаясь на свою «нейросеть» под названием Natasha AI. Однако в 2019 году скандальное расследование The Wall Street Journal раскрыло, что основная часть программирования выполнялась сотнями живых специалистов из Индии, а не ИИ, что превращало заявленную технологию в прикрытие для бизнес-модели.

На днях была раскрыта очередная афера в сфере высоких технологий: журналисты выяснили, что ИИ-стартап Builder.ai с рыночной капитализацией свыше $1 млрд оказался сплошным обманом. Более восьми лет работу чат-бота «Наташа», который по текстовым запросам якобы создавал прототипы мобильных приложений, имитировали сотни программистов из Индии. Это не первый случай, когда под видом искусственного интеллекта работает естественный — ранее в использовании аналогичной схемы был уличен даже Amazon со своей технологий Just Walk Out, а также ряд российских сервисов. О том, как афера XVIII века вновь приобрела актуальность и как инвестору не стать жертвой обмана, рассказывает генеральный директор Smart Engines, доктор технических наук Владимир Арлазаров

Описанная схема не нова — ее корни уходят в XVIII век. Еще в 1770 году венгерский изобретатель Вольфганг фон Кемпелен представил публике необычного шахматного робота. Восковая фигура в османском одеянии сидела за большим деревянным ящиком, на котором располагалась шахматная доска, и демонстрировала «автоматическую» игру.

Робот-шахматист вызывал восхищение. Оппоненты отмечали, что «турок» был невероятно сильным игроком и часто выигрывал даже у опытных соперников. Бросить вызов машине пытались Бенджамин Франклин и Наполеон Бонапарт.

Сегодня история повторяется: если в XVIII веке за шахматным автоматом скрывался один живой игрок, то теперь за громкими заявлениями об искусственном интеллекте нередко стоят тысячи низкооплачиваемых работников.

Яркий пример — скандал 2017 года вокруг сервиса Expensify, который позиционировался как автоматизированное решение для учета расходов. Оказалось, что часть обработки платежных документов выполняли не алгоритмы, а живые люди. Компания тайно отправляла платежные документы на краудсорсинговую платформу Amazon, где сотрудники со всего мира вручную перепечатывали информацию из квитанций. Интересно, что эта платформа получила название Amazon Mechanical Turk (MTurk) — как раз в честь робота-шахматиста фон Кемпелена.

В 2018 году Amazon снова угодил в скандал. Он представил систему Just Walk Out («Взял и иди»), которая работала в магазинах Amazon Fresh и должна была совершить революцию в рознице. По заявлению компании, технология полностью исключала человеческое участие: покупатели просто брали товары с полок, а на выходе получали автоматически сформированный чек — якобы благодаря работе системы компьютерного зрения и сложных алгоритмов.

Однако расследование The Wall Street Journal вскрыло знакомую схему: за фасадом искусственного интеллекта скрывались сотни индийских сотрудников, вручную просматривавших видеозаписи и сверявших товары в корзинах. Особенно показательным стало расхождение между заявленными и реальными показателями: вместо обещанных 5% случаев человеческого вмешательства (50 из 1000 покупок), по данным The Information, помощь операторов требовалась в 70% случаев.

Аналогичные примеры можно найти и в России — нередко сервисы по распознаванию документов фактически используют технологию Human-in-the-Loop («человек в процессе»), прямого потомка Amazon Mechanical Turk. Случается, что за громкими заявлениями о возможностях ИИ скрывается ручной труд краудсорсеров, которые перепечатывают данные из документов буквально за копейки.

Проблема псевдоискусственного интеллекта выходит далеко за рамки угрозы приватности пользователей. Каждый такой случай — удар по репутации всей отрасли. Компании, использующие «механических турков» под видом ИИ, не только обманывают клиентов, но и подрывают доверие к настоящим разработчикам, создающим подлинные технологии машинного обучения. Во многих задачах, таких как распознавание паспорта и других документов, ИИ уже превзошел человека и не нуждается в «костылях» из скрытых операторов.

Статистика неутешительна: 60-80% ИИ-проектов терпят неудачу. На этом фоне волна разоблачений может спровоцировать резкое охлаждение рынка. Инвесторы, обжегшиеся на псевдоинновациях, начинают с опаской смотреть на весь сектор. Уже сейчас заметны первые признаки надвигающейся «зимы искусственного интеллекта» — снижение финансирования, заморозка перспективных исследований и рост скепсиса в профессиональном сообществе.

Как и в предыдущие технологические зимы, эта может надолго замедлить прогресс — но на этот раз не из-за ограничений технологий, а из-за банального мошенничества под их прикрытием.