Ключевое слово
19 | 11 | 2019
Новости Библиотеки
Шахматы Онлайн
Welcome, Guest
Username: Password: Remember me
  • Page:
  • 1
  • 2

TOPIC: Нейронные сети (artificial neural networks)

Нейронные сети (artificial neural networks) 21 Нояб 2010 12:44 #31

  • Хайдук
  • Хайдук's Avatar
  • OFFLINE
  • Наместник
  • Posts: 38451
  • Thank you received: 86
  • Karma: 22
Зачем приспичили нейросети, а mittelspiel?


У меня сложилось впечатление, что их нужно сперва тренировать, заточить под определенный выход и потом они ищут этот выход (с некоторым приближением) среди входных данных

Нейронные сети (artificial neural networks) 21 Нояб 2010 13:41 #32

  • Vladimirovich
  • Vladimirovich's Avatar
  • OFFLINE
  • Инквизитор
  • Posts: 81685
  • Thank you received: 1155
  • Karma: 82
mittelspiel написал(а):
Автор применяет методы нейронных сетей (и основная фишка работы заключается в магическом повторении слов нейронные сети),
но не является ли эта работа по сути стандартным динамическим программированием?
Ни динамическое программирование ни нейронные сети не суть что-то говорящее о работе.
Это не более конкретно, чем биология и геном

Каждому - своё.

Нейронные сети (artificial neural networks) 21 Нояб 2010 14:21 #33

  • mittelspiel
  • mittelspiel's Avatar
  • OFFLINE
  • Посадник
  • Posts: 3974
  • Thank you received: 14
  • Karma: 1
Хайдук написал(а):
У меня сложилось впечатление, что их нужно сперва тренировать, заточить под определенный выход и потом они ищут этот выход (с некоторым приближением) среди входных данных
Это все слишком сложное, мозги затуминивает. На самом деле простейшее применение нейросети - это фиттинг обычное кривой на двухмерном графике. Поиск полиномиальных коэффициентов - это и есть поиск весов нейронов или обучение. Функция которая минимицируется в этом случае - это сумма квадратов отклонений найденного полинома от исходной кривой. Двухмерное пространство можно усложнить и превратить в многомерное - тогда задача из фиттинга кривой превратится в распознавание образов, но суть от этого не изменится. Это базовое понимание нейронных сетей которое у меня осталось после беглого просмотра учебника. Все остальное про обучение - это пыль в глаза неискушенным в математике специалистам. Такое мое понимание на данный момент.

Нейронные сети (artificial neural networks) 21 Нояб 2010 14:25 #34

  • mittelspiel
  • mittelspiel's Avatar
  • OFFLINE
  • Посадник
  • Posts: 3974
  • Thank you received: 14
  • Karma: 1
Vladimirovich написал(а):
Ни динамическое программирование ни нейронные сети не суть что-то говорящее о работе.
Это не более конкретно, чем биология и геном
Но про геном можно сказать, что это часть биологии.
Я пытаюсь понять, можно ли сказать про нейронные сети что это часть динамического программирования?

И главное что я пока не понял - за счет чего достигается ускорение алгоритмов нейросетей.

Нейронные сети (artificial neural networks) 21 Нояб 2010 15:58 #35

  • PP
  • PP's Avatar
  • OFFLINE
  • Боярин
  • Posts: 24308
  • Thank you received: 152
  • Karma: 5
mittelspiel написал(а):
И главное что я пока не понял - за счет чего достигается ускорение алгоритмов нейросетей
Я думаю, что в большинстве случаев ускорение основано на поиске приближенного, а не точного ответа. Также, после того, как сеть натренировалась она ответ выдаст быстро, но вот сколько времени уйдет на тренировку?
Что касается фитирования полинома (тут у меня уже с русским возникает проблемма
), то сделать это стандартным методом (SVD or QR decomposition) быстро и просто. Подозреваю, что сеть пытается заодно решить и задачу о том, какой степени полином стоит выбрать, чтобы избежать over-fitting. Бороться с этим позволяют стандартные статистические методы, но может нейросеть имеет свои преимущества для такой задачи. В любом случае, связи с динамическим программированием я тут не вижу. Попробую посмотреть конкретную статью, которую Вы привели. Может там связь имеется.

Нейронные сети (artificial neural networks) 21 Нояб 2010 19:35 #36

  • mittelspiel
  • mittelspiel's Avatar
  • OFFLINE
  • Посадник
  • Posts: 3974
  • Thank you received: 14
  • Karma: 1
PP написал(а):
Я думаю, что в большинстве случаев ускорение основано на поиске приближенного, а не точного ответа. Также, после того, как сеть натренировалась она ответ выдаст быстро, но вот сколько времени уйдет на тренировку?
Я так понимаю, что в этой статье речь идет о точном а не о приближенном решении.
Я так же подозреваю, что там не идет речь об обучении сети. Тут надо разделить две задачи. Одна задача - однократный проход сигнала по сети с заданными весами. Другая задача - обучение сети для поиска этих весов. Насколько я понял, в данном случае веса заданы исходно и тренировка не требуется. требуется только максимально быстро рассчитать значение сигнала после прохода по всей цепи. Меня интересуют именно такие задачи. Обучение пока не инетересует. Вот за счет чего ускоряется однократный проход сигнала по цепи? (если считать в лоб, то время возрастает экспоненциально с количеством узлов сети).

Нейронные сети (artificial neural networks) 21 Нояб 2010 20:43 #37

  • Хайдук
  • Хайдук's Avatar
  • OFFLINE
  • Наместник
  • Posts: 38451
  • Thank you received: 86
  • Karma: 22
mittelspiel написал(а):
за счет чего ускоряется однократный проход сигнала по цепи? (если считать в лоб, то время возрастает экспоненциально с количеством узлов сети).
A ускоряется ли? Ускоряться может, если сеть реализована аппаратно, железом. Не думаю, что программные сети, реализованные кодом на обычном компе, существенно быстрее

Нейронные сети (artificial neural networks) 22 Нояб 2010 17:32 #38

  • mittelspiel
  • mittelspiel's Avatar
  • OFFLINE
  • Посадник
  • Posts: 3974
  • Thank you received: 14
  • Karma: 1
Хайдук написал(а):
A ускоряется ли? Ускоряться может, если сеть реализована аппаратно, железом. Не думаю, что программные сети, реализованные кодом на обычном компе, существенно быстрее
Предпологаете или уверены?

Нейронные сети (artificial neural networks) 22 Нояб 2010 17:37 #39

  • mittelspiel
  • mittelspiel's Avatar
  • OFFLINE
  • Посадник
  • Posts: 3974
  • Thank you received: 14
  • Karma: 1
Вот простенькие слайды, из которых я понял, что нейронные сети похоже действительно не ускоряют вычисления.
www.machinelearning.ru/wiki/images/c/c2/...euralNets-slides.pdf
Ускорение достигается за счет параллелизации вычислений, но если подзадачи (нейроны) перекрываются ( то есть не независимы) то распараллеливать не получится. Таким образом, основное различие динамического программирования и нейросетей в том, что ы певом случае подзадачи перекрываюися, а во втором случае не перекрываюися.
где-то так...

Отредактировано mittelspiel (2010-11-22 21:38:10)
Last Edit: 13 Окт 2015 11:17 by Vladimirovich.

Нейронные сети (artificial neural networks) 09 Май 2019 04:55 #40

  • Vladimirovich
  • Vladimirovich's Avatar
  • OFFLINE
  • Инквизитор
  • Posts: 81685
  • Thank you received: 1155
  • Karma: 82
www.popmech.ru/technologies/news-480252-...mashinnoe-obuchenie/
Пара исследователей из Массачусетского технологического института открыла способ создания искусственного интеллекта размером всего лишь в одну десятую от текущих величин — и это без потери вычислительных способностей!

Самая важная сеть в нейронной сети — это характер связи между нейронами. Процесс формирования таких связей называется «машинным обучением» и тоже напоминает то, как наш собственный мозг учится обрабатывать информацию. Единственная разница заключается в том, что наш мозг регулярно удаляет старые связи, но большинство нейронных сетей делают это лишь в самом конце обучения.

Поэтому исследователи из MIT решили попробовать кое-что новое: регулярно «обрезать» сеть прямо во время изучения. Они обнаружили, что этот метод в конечном итоге формирует нейтронные сети, которые так же хороши, как и стандартные — однако при этом они занимают на 90% меньше места и намного более эффективны. Кроме того, им нужно меньше времени на обучение, а результаты их работы более точны в сравнении с традиционными аналогами — все благодаря качественной связи всех нейронов друг с другом.

В ближайшем будущем ученые планируют развивать свою методику, чтобы получить поколение качественно более совершенных нейронных сетей. Эти мощные и легковесные программы можно будет интегрировать даже на пользовательские устройства и заставить работать даже на обычном смартфоне, что открывает широчайшие возможности во всех сферах компьютерных технологий — от разработки компьютерных игр до создания приложений с практически универсальным функционалом.
Каждому - своё.

Нейронные сети (artificial neural networks) 21 Сен 2019 04:31 #41

  • Vladimirovich
  • Vladimirovich's Avatar
  • OFFLINE
  • Инквизитор
  • Posts: 81685
  • Thank you received: 1155
  • Karma: 82
habr.com/ru/news/t/468243/
В то время как одни учёные совершенствуют системы машинного обучения, другие учёные совершенствуют методы обмана этих систем.
Весной 2016 года компания Microsoft была вынуждена «усыпить» своего чатбота Тэй — программу ИИ, которая моделировала личность и стиль разговора 19-летней девушки и обладала функцией самообучения. Разработчики надеялись, что Tay с каждым днём будет становится всё умнее, впитывая опыт разговоров с тысячами пользователей интернета. Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.
:patstulom:
Спустя три года специалисты из университета штата Мичиган и лаборатории TAL AI подвели научную основу под хулиганство интернет-троллей. Они разработали систему Reverse Dialogue Generator (RDG) — «обратный генератор диалогов». Он заставляет нейросетевой чатбот сказать именно ту фразу, которую вы хотите.

Понятно, что RDG и сам представляет собой нейросеть. Если вкратце, он тоже обучается на диалогах людей, как и нормальные нейросетевые чатботы, только получает подкрепление не за выход, а за вход: если генерируемый вход соответствует заданному.

Шекли Страж-Птица :glasses:
...Такой «взлом» чатботов напоминает «состязательные примеры» (adversarial examples) — специально подобранные «троянские» картинки, которые «ломают» систему машинного зрения, так что она классифицирует совершенно другое изображение....

"Понимание" однако :)
Каждому - своё.

Нейронные сети (artificial neural networks) 23 Сен 2019 08:42 #42

  • Andralex
  • Andralex's Avatar
  • OFFLINE
  • Стольник
  • Posts: 131
  • Thank you received: 6
  • Karma: 2
Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.

Похожие проблемы были с голосовым помощником Алисой, которая посоветовала другой своей копии выброситься в окно.

Помнится такой пример. Если в одну камеру посадить академика, идеолога, гопника и рецидивиста. Что будет с ними через год? Неужели академик всех остальных воспитает высокоморальными людьми со светлыми общечеловеческими принципами? Как бы не так. Остальные трое станут матерыми уркаганами в партаках, ботающими по фене.

Так же и здесь, любая система, и машинного обучения - не исключение, без поддержки извне, стремится скатиться в состояние с минимальными энергозатратами. Грубо говоря, посыплются твиты "чего вам надо, кто вы такие, идитeна". :rain:

Что удивительно перекликается с добрым десятком комментариев, формулировок и следствий закона Мерфи.
...не мы первые, не мы последние...
  • Page:
  • 1
  • 2
Moderators: Grigoriy
Рейтинг@Mail.ru

Научно-шахматный клуб КвантоФорум