Комментарии: Swarm DPL http://artamonov.ru/2009/10/02/swarm-dpl/ Посмотрим, глубока ли кроличья нора Tue, 07 Feb 2012 11:27:23 +0000 hourly 1 http://wordpress.org/?v=3.3.1 Автор: Kostya http://artamonov.ru/2009/10/02/swarm-dpl/comment-page-1/#comment-57222 Kostya Sun, 18 Sep 2011 16:31:50 +0000 http://artamonov.ru/?p=258#comment-57222 Проблема даже не столько в том, что данные гоняются между нодами, а в том, что в случае Map/Reduce данные находятся в изоляции на каждой ноде. Т.е. нельзя одновременно работать с некоторым объектом xi и yi находящимися на нодах x и y соотвественно. Насколько я знаю, в данный момент нельзя сделать что-то подобное в других языках, потому что delimeted continuations поддерживаются только в скале (т.е. в языке должна быть в первую очередь поддержка DC). Чем Delimeted Continuations отличаются от обычных продолженений? В обычных продолжениях сериализуется (запаковывается) весь стек процесса, в то время как в DC фреймворк сам определит необходимые куски кода, которые нужно передавать (ненужные не будут гоняться по нодам). Проблема даже не столько в том, что данные гоняются между нодами, а в том, что в случае Map/Reduce данные находятся в изоляции на каждой ноде.

Т.е. нельзя одновременно работать с некоторым объектом xi и yi находящимися на нодах x и y соотвественно.

Насколько я знаю, в данный момент нельзя сделать что-то подобное в других языках, потому что delimeted continuations поддерживаются только в скале (т.е. в языке должна быть в первую очередь поддержка DC).

Чем Delimeted Continuations отличаются от обычных продолженений?

В обычных продолжениях сериализуется (запаковывается) весь стек процесса, в то время как в DC фреймворк сам определит необходимые куски кода, которые нужно передавать (ненужные не будут гоняться по нодам).

]]> Автор: splix http://artamonov.ru/2009/10/02/swarm-dpl/comment-page-1/#comment-31897 splix Thu, 22 Oct 2009 11:33:28 +0000 http://artamonov.ru/?p=258#comment-31897 Ну и собственно статья от GridGain по поводу того как подобную оптимизацию делать в нем: <a href="http://www.jroller.com/nivanov/entry/portable_continuations_with_gridgain" rel="nofollow">Portable Continuations with GridGain</a> Ну и собственно статья от GridGain по поводу того как подобную оптимизацию делать в нем:

Portable Continuations with GridGain

]]> Автор: Constantine http://artamonov.ru/2009/10/02/swarm-dpl/comment-page-1/#comment-31259 Constantine Fri, 16 Oct 2009 09:30:42 +0000 http://artamonov.ru/?p=258#comment-31259 Пытался придумать случай из реальной жизни, где такая схема работала бы лучше остальных... Не смог. Пытался придумать случай из реальной жизни, где такая схема работала бы лучше остальных... Не смог.

]]> Автор: splix http://artamonov.ru/2009/10/02/swarm-dpl/comment-page-1/#comment-31199 splix Thu, 15 Oct 2009 15:27:53 +0000 http://artamonov.ru/?p=258#comment-31199 Иногда получается что итоговое вычисление это несколько map-reduce операций, и при этом нужно передавать данные между нодами (из за группировки и сортировки ключей). Если их много то это заметно замедляет процесс вычисления. А вот в этой идеи получается наоборот, данные лежат на своих местах, и код (точнее состояние текущего вычисления) прыгает между нимим. Я так думаю в некоторых ситуация (когда состояние существенно меньше объема данных) это даст выигрыш. А вообще, конечно, спорно все это :) Но идея интересная. Иногда получается что итоговое вычисление это несколько map-reduce операций, и при этом нужно передавать данные между нодами (из за группировки и сортировки ключей). Если их много то это заметно замедляет процесс вычисления.

А вот в этой идеи получается наоборот, данные лежат на своих местах, и код (точнее состояние текущего вычисления) прыгает между нимим. Я так думаю в некоторых ситуация (когда состояние существенно меньше объема данных) это даст выигрыш.

А вообще, конечно, спорно все это :) Но идея интересная.

]]> Автор: Constantine http://artamonov.ru/2009/10/02/swarm-dpl/comment-page-1/#comment-31198 Constantine Thu, 15 Oct 2009 15:20:19 +0000 http://artamonov.ru/?p=258#comment-31198 Я посмотрел презентацию, но, честно говоря, так и не понял - какие преимущества дает перенос состояния между нодами? Он сравнивает с map-reduce, но так там же вычисления происходят параллельно, а здесь - последовательно. В чем выигрыш? Я посмотрел презентацию, но, честно говоря, так и не понял — какие преимущества дает перенос состояния между нодами? Он сравнивает с map-reduce, но так там же вычисления происходят параллельно, а здесь — последовательно. В чем выигрыш?

]]>