Cross-Cleaner: стриминг JSON частями вместо загрузки всей базы очистки в память

Стриминговый разбор JSON в Cross-Cleaner на serde/serde_json: практическая реализация Что уже есть в коде Cross-Cleaner уже проделал большую часть работы по снижению памяти — но не на уровне парсинга, а на уровне представления данных: Arc<str>вместоStringдляcategory,program,class,sub_category,files_to_remove,directories_to_remove— с дедупликацией черезstring_interner(intern_arc); SharedPath— путь хранится какArc<[Arc<str>]>из интернированных сегм

Первые 450 знаков материала. Читать далее у источника →

Читайте также

Похожие новости

[Habr] · Забайкальский край

[Перевод] Как 4 байта выравнивания ускоряют очистку массива на 49%

«П‑с-с‑с, хочешь, чтобы функция очистки массива была на 49% быстрее? Сдвинь массив на 4 байта». Рассмотрим следующий код на Go: const words…

22.10, 18:59 · 1 мин

[Ozon Tech] · Москва

От полной выгрузки к S3 и PostgreSQL: как мы доставляем гигабайты данных в память подов

Представьте себе высоконагруженный сервис, который решает, с какого из множества складов нужно отправить товар покупателю. В пике через нег…

06.07, 18:00 · 1 мин

[Habr] · Москва

[Перевод] При работе с Delta Lake оптимизируем через кластеризацию, а не через сегментирование

Сегментирование в стиле Hive применяется для оптимизации физического диска и более качественной компоновки данных, о чём подробнее рассказа…

24.10, 15:01 · 1 мин

[Habr] · Забайкальский край

100 байт из 10 MiB: как PostgreSQL 18 читает TOAST с EXTERNAL, PGLZ и LZ4

Представим ситуацию: в PostgreSQL хранится большое значение — документ, бинарные данные, крупный JSON или другой объект размером в нескольк…

23.10, 17:09 · 1 мин

[Habr] · Забайкальский край

Управление жизненным циклом данных с pgpro_ilm

Все данные лежат на быстрых SSD, хотя заказы трёхлетней давности читают раз в квартал. Это значит, что вы платите за дорогую ёмкость там, г…

22.10, 16:43 · 1 мин