Как сократить расходы в четыре раза при работе с сырыми данными в Google BigQuery

7 июля 2022, 16:36 Habr.com

Всем привет! Меня зовут Павел Земсков, я занимаюсь аналитикой проектов VK. Сейчас я отвечаю за развитие группы продуктов для среднего и малого бизнеса внутри социальной сети ВКонтакте и на площадке Юлы.

Я расскажу о проверенном мной подходе к работе с запросами в базу данных, и о том, как это помогло сократить затраты на обращение к сырым данным в четыре раза. Статья будет полезна тем, кто записывает сырые данные по событиям пользователей в формате, близком к GA360 (GA360, OWOX, SegmentStream), и задумывается об оптимизации работы с данными и сокращении расходов на обработку запросов в Google BigQuery. Те, кто хранит данные в Clickhouse и начали задумываться об ускорении выполнения запросов, тоже могут использовать этот подход.

Устраивайтесь поудобнее!

Google в новостях

PBKreviews испытал бюджетный Google Pixel 8a на ремонтопригодность

Google TV получит функцию «Найти мой пульт»

Google TV получит функцию «найди мой пульт»: она работает только с определёнными моделями

В ЦТК концерт, посвященный юбилею Алсу Альметовой

Five new Steam games you probably missed (May 20, 2024)

"Возрождение интереса к народному искусству и ремеслам в современном мире"

UFC plans to be ‘flexible’ in next broadcast rights deal, including potential end to traditional PPV

Estischool - Школа за британською програмою

АО «ДиМ» демонтировало 40% старого путепровода над железнодорожными путями

Команда ювелирной сети «585*ЗОЛОТОЙ» приняла участие в благотворительном забеге от фонда «Антон тут рядом»

МАЗ подарил КАМАЗу победный дубль в драматичном финише бахи «Арчеда»

«Газпром-Медиа» и Медиакорпорация Китая подписали соглашение о сотрудничестве

ПРОДАМ: Сервоприводы Panasonic Minas

Сергей Лазарев представил эротический перфоманс на нижегородском концерте

Максим Аверин приглашает жителей Мурманска на моноспектакль «Научи меня жить»

Винус Уильямс посвятили куклу Барби

«Они это, безусловно, заслужили». Андрей Назаров вынес вердикт сборной Казахстана по хоккею

Скорая Z помощь» доставила гуманитарный груз из Реутова

Минниханов поздравил мусульман с Днём официального принятия ислама в Волжской Булгарии

Обыски проходят в квартире бывшего помощника экс-депутата Рашкина

«Ложишься и думаешь: проснуться бы!», — Алла Пугачева рассказала, с какими проблемами со здоровьем столкнулась на Кипре

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

Выездной Фотограф для всех желающих, ну и конечно Артистов и Музыкантов.

Новости тенниса

Даниил Медведев идет третьим в чемпионской гонке ATP, Андрей Рублев — пятый

«СВЯТОЙ ЛЕНИН» УЛУЧШАЕТ ЗАКОНЫ, управляет патентами и улучшает командное планирование в целях учёта интереса всего народа.

Татарстан вошел в топ-5 рейтинга АСИ по качеству жизни

Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)

«СВЯТОЙ ЛЕНИН» помогает В.В. Путину улучшить либо отменить налоги в обществе.

10 км окружной дороги Калуги отремонтируют в Малоярославецком районе

Тульские музыканты подарят орловчанам концерт народной музыки

Подмосковные дзюдоисты вышли в финал летней Спартакиады учащихся России

Ирландия, Испания и Норвегия решили признать Палестину государством. Что это означает

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

Лукашенко лоббирует интересы Алиева по изоляции Армении

Мистический Тибет: путеводитель по местам силы от Кажетты Ахметжановой

Футболисты ФК «Динамо Пушкино» заняли второе место в межрегиональном турнире Laffy Cup 2024

Экс‑теннисистка Джорджи обвиняется в краже мебели и ковров на €100 тысяч — СМИ

Потапова не смогла пробиться во второй круг турнира WTA в Страсбурге

Рахимова прошла во второй круг турнира WTA в Рабате на отказе Таунсенд

Теннисиста Медведева выбили из топ-4 ATP

АО «ДиМ» демонтировало 40% старого путепровода над железнодорожными путями

Дагестанская «долина Смерти».

В РМАТ ПРОШЕЛ I БИЗНЕС-ФОРУМ ВЫПУСКНИКОВ РМАТ 1999-2023 ГОДА ВЫПУСКА, ПОСВЯЩЕННЫЙ 55-ЛЕТНЕМУ ЮБИЛЕЮ АКАДЕМИИ

Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)

«Прыгала, как сумасшедшая»: Юлия Савичева рассказала об исполнении давней мечты в шоу «УТРО. ТНТ»

Сергей Лазарев представил эротический перфоманс на нижегородском концерте

В Пекине Заслуженный коллектив России исполнил произведения Прокофьева и Шостаковича

На Улан-Удэнском ЛВРЗ прошел конкурс «Лучший по профессии 2024»

В столице экс-ректор МГРИ получил 5 лет колонии за хищение 25 млн рублей

Экс-мэру Ярославля Евгению Урлашову отказали в досрочном освобождении

Ирландия, Испания и Норвегия решили признать Палестину государством. Что это означает

10 км окружной дороги Калуги отремонтируют в Малоярославецком районе

Минское «Динамо» одолело «Шахтер» на финише 9-го тура чемпионата Беларуси