[Python] Горизонтальное масштабирование Scrapyd


Answers

Question

Какой инструмент или набор инструментов вы бы использовали для горизонтального масштабирования scrapyd, добавляя новые машины к scrapyd-кластеру динамически и имея N экземпляров на машину, если это необходимо. Не обязательно, чтобы все экземпляры делили общую очередь заданий, но это было бы потрясающе.

Скопический кластер кажется многообещающим для работы, но я хочу решение на основе Scrapyd, поэтому я слушаю другие альтернативы и предложения.