Рабочие моменты - все статьи


Помогите решить задачку

Всем приветЕсть 1кк заказов, у заазов есть обычные параметры(длина, вес, объем и т.д) есть гео-параметры(откуда-куда)Надо - быстро найти подходящие заказы - как по фасетам так и по гео. Используется mysql 5.7. К сожалению одновременный поиск по bree & rtree не работает ( точнее работает очень медленно, т.к. выбирается выбирается только один из ...

Какие есть алгоритмы для поиска кратчайшего пути на взвешенных графах с высокой связанностью?

Извиняюсь, если не по теме. Кто знает, какие есть алгоритмы лучше Дейкстры для поиска кратчайшего пути на взвешенных графах с высокой связанностью?Скажем, сотни тысяч узлов с сотнями ребёр в каждом узле (типично, например, для соц. сетей)? Желательно не жадные до памяти.В гугле не забанен, но вываливается слишком много, хочется помощи коллективного...

Как считать количество скачиваний файлов в секунду на множестве серверов в режиме реального времени?

Привет. В одном комменте увидел, что хотите рассказов про реальные проблемы. Их есть у меня. Enterprize SAAS, multitenancy. Выгрузка каталога. Раздается nginx-ом, статикой. Кушает пара десятков тысяч приложений. Когда одновременно - это создает проблемы для канала. CDN нельзя. ДЦ, условно, один - размазать трафик по нескольким нельзя.Чтобы размазат...

Какие вещи нужно учесть при переходе от php-агрегатора на ClickHouse?

Поделитесь опытом использования ClickHouse пожалуйста.Задача: сделать разные (желательно adhoc) отчеты по большом объему событий нескольких типов.Сейчас прирост событий в среднем +2000 в сек. Php агрегирует сырые лог-файлы и пишет агрегаты в mysql. Из mysql уже строятся отчеты. Проблема в том, что каждый новый отчет требует нового кода в php-агрега...

Как каждому выводимому в лог сообщению присвоить свой уникальный идентификатор?

Приветствую.Есть большой коробочный продукт, он пишет логи, которых довольно много.Стоит задача каждому выводимому в лог сообщению присвоить свой уникальный идентификатор, чтобы службе поддержки было проще отвечать на тикеты.Сейчас в лог пишется нечто вроде1492632682.967257 [Wed Apr 19 20:11:22 2017] [emerg]: Can't create listenersХочется получить...

Как SQL-запросом найти магазины, работающие в час ночи понедельника по времени Владивостока?

Коллеги, пардон, но всю голову уже сломали: представим, что кастомер вводит в админке сайта "время работы магазина в воскресенье 11-02 по времени Москвы". Задача - SQL-запросом найти магазины, работающие в час ночи понедельника по времени Владивостока.Как?UPD: пожалуйста, не пишите "храни всё в UTC". Это очевидно, но это вообще не решает задачу (см...

1% запросов в elasticsearch кластер на bulk индексацию остаются без ответа от elastic

Всем приветимею вот такую схемуесть кластер elasticsearch 2.x перед которым стоит nginxу меня ~1% запросов в elasticsearch кластер на bulk индексацию тупо остаются без ответа от elasticт.е. вот пришел коннект в nginx, далее proxy_pass и коннект на elasticsearch пошел, запрос ушела ответа нет и у меня срабатывает на nginx в error.log connection time...

Расскажите, как вы мониторите свои проекты?

Всем привет. Коллеги, а расскажите, как вы мониторите свои проекты? Сколько метрик в минуту? Куда пишете? Какие правила ротации данных? Как горизонтально растёте? Чем алеритите? Сложные алерты есть?Я к чему спрашиваю? У меня сейчас прометей есть и он кушает около 40000 метрик в минуту и даже рисует это всё в графане, пищит алертменеджером, но. Всег...

Кто-нибудь знает автоматические методы оценки алгоритмической сложности?

Пост не совсем про хайлоад, но надеюсь достаточно "хакерский". Кто-нибудь знает автоматические методы оценки алгоритмической сложности? Мне приходит в голову 4 метода: (1) в-общем конечно можно просто мерять процессорное время gettimeofday/RDTCS, меняя условные n. Есть сомнения в том, что за несколько итераций получится определить сложность. Во-пер...

Что лучше: облако, аренда выделенных серверов или покупку собственных серверов?

Вопрос к коллегам: кто что использует:1. облака (мы отказались, хотя кажется, что дешевле и быстрее, при пересчете выяснилось что на выделенных серверах получаем лучшую себестоимость операций и конфигурации)2. аренда выделенных серверов (проблемы с хабами, но в целом мне это кажется самым оптимальным, потому что старые сдаешь обратно, новые берешь ...