Что такое генераторы?

Генераторы в языке Python представляют собой специальные функции, которые позволяют создавать итераторы простым и элегантным способом с использованием ключевого слова yield вместо традиционного оператора возврата результата return. Главное отличие генератора от обычной функции заключается в том, что он не вычисляет все значения сразу и не хранит их в оперативной памяти, а выдает элементы по одному по мере необходимости.

Такой подход называется ленивыми вычислениями и обеспечивает колоссальную экономию памяти при работе с бесконечными последовательностями или огромными объемами данных, которые не помещаются в оперативную память компьютера целиком. Когда интерпретатор доходит до ключевого слова yield, выполнение функции приостанавливается, возвращается текущее значение, а внутреннее состояние функции и все локальные переменные сохраняются до следующего запроса.

Получить следующий элемент из созданного генератора можно с помощью встроенной функции next, передав ей объект генератора в качестве аргумента. Каждый вызов функции next возобновляет работу генератора с момента последней остановки до следующего появления оператора yield, а когда элементы заканчиваются, генератор возбуждает специальное исключение StopIteration.

Помимо функций с ключевым словом yield, в Python широко используются генераторные выражения, которые внешне похожи на списковые включения, но заключаются не в квадратные, а в круглые скобки. Например, запись (x * 2 for x in range(10)) создает эффективный объект генератора, который вычисляет удвоенное значение каждого числа на лету при каждой итерации цикла, не создавая промежуточный список в памяти.

Генераторы идеально подходят для чтения больших файлов построчно, обработки потоков данных в реальном времени, написания сложных конвейеров обработки информации и решения других задач, где критически важна оптимизация потребления системных ресурсов компьютера.