Яндекс выложил в открытый доступ формат хранения и передачи данных…

Яндекс выложил в открытый доступ формат хранения и передачи данных YaFF (Yet Another Flat Format). Его особенность в том, что приложения могут работать с данными напрямую, без обязательной десериализации — преобразования данных в объекты, понятные программе. По оценкам компании, этот процесс может занимать до 10% вычислительных ресурсов крупных дата-центров.

Технологию протестировали в рекламной рекомендательной системе Яндекса, где обрабатываются сотни тысяч запросов и десятки тысяч объектов на каждый из них. Использование YaFF позволило сократить потребление вычислительных ресурсов до 20% без изменения функциональности. Формат уже опубликован в open source и может применяться в сервисах, работающих с большими объемами данных в реальном времени.