Инженер Hugging Face Жюльен Делаванд разработал новый инструмент, который позволяет пользователям понимать, сколько электроэнергии они тратят при взаимодействии с моделями искусственного интеллекта (AI). Это важная инициатива, учитывая растущее использование AI и его влияние на потребление энергии.
Модели AI потребляют значительное количество электроэнергии при каждом запуске. Они функционируют на графических процессорах и специализированных чипах, которые требуют большого количества энергии для выполнения вычислительных задач. В условиях увеличения спроса на эти технологии наблюдается рост потребления электроэнергии, что вызывает опасения в области экологии.
По словам Делаванда, его инструмент может помочь пользователям осознать энергозатраты. “Даже небольшая экономия энергии может масштабироваться на миллионы запросов — выбор модели или длина выходных данных могут привести к значительному воздействию на окружающую среду”, — отмечают разработчики инструмента в своем заявлении.
Инструмент Delavande предназначен для работы с Chat UI и может быть использован с такими моделями, как Llama 3.3 70B от Meta и Gemma 3 от Google. Он в реальном времени оценивает потребление энергии сообщениями, отправляемыми к модели и от нее, и предоставляет результаты в ватт-часах или джоулях. Например, при написании обычного электронного письма Llama 3.3 70B потребляет около 0,1841 Вт·ч, что эквивалентно работе микроволновой печи в течение 0,12 секунды.
Хотя оценки, предоставляемые инструментом, являются лишь приблизительными, они подчеркивают важность осознания энергетических затрат, связанных с AI. Делаванд и его команда стремятся добиться прозрачности в этом вопросе. “Однажды потребление энергии может стать таким же заметным, как этикетки с пищевой ценностью на продуктах питания!” — заявляют они.
Эта разработка приходит на фоне обеспокоенности о росте электронных отходов, вызванном распространением искусственного интеллекта. По данным исследования, опубликованного в журнале Nature Computational Science, ожидается, что с 2023 по 2030 год количество электронных отходов, связанных с AI, может достичь 5 миллионов тонн. Инструмент Делаванда предоставляет полезную информацию, которая может привести к более экологичным подходам в использовании технологий AI.