python Горизонтальное масштабирование Scrapyd


0 Answers

python scrapy scrapyd horizontal-scaling

Какой инструмент или набор инструментов вы бы использовали для горизонтального масштабирования scrapyd, добавляя новые машины к scrapyd-кластеру динамически и имея N экземпляров на машину, если это необходимо. Не обязательно, чтобы все экземпляры делили общую очередь заданий, но это было бы потрясающе.

Скопический кластер кажется многообещающим для работы, но я хочу решение на основе Scrapyd, поэтому я слушаю другие альтернативы и предложения.



Related