Используя AMD EPYC, мы смогли получить 64 физических ядра процессора, сохранив при этом высокие тактовые частоты: базовая частота 2,9 ГГц с ускорением 3,4 ГГц. Что еще более важно, EPYC предоставляет 128 линий PCIe v4.0, что позволяет разместить 24 диска NVMe на одной машине. NVMe невероятно быстр (примерно в 5,7 раза быстрее, чем твердотельные накопители SATA в наших серверах баз данных предыдущего поколения), потому что он использует PCIe вместо SATA. Однако линии PCIe обычно очень ограничены: современные потребительские чипы обычно имеют только 16 линий, а чипы Intel Xeon имеют 48. Обеспечивая 128 линий PCI на чип (v4.0, не меньше), AMD EPYC позволила упаковать большие количество накопителей NVMe на одной машине. Подробнее о NVMe мы поговорим позже.
Начнем с того, что посмотрим на среднее время обработки запроса, поскольку оно лучше всего отражает опыт подписчиков. Перед обновлением мы обработали медианный запрос API примерно за 90 мс. Обновление уменьшило этот показатель до ~ 9 мс!
Мы ясно видим, как наши старые процессоры достигли своего предела. За неделю до того, как мы обновили наш первичный сервер базы данных, его использование ЦП (из / proc / stat) в среднем составляло более 90%:
Новые процессоры AMD EPYC занимают около 25%. Вы можете увидеть на этом графике, где мы повысили новый сервер базы данных с реплики (только для чтения) до первичной (чтение / запись) 15 сентября.
Обновление значительно снизило общую задержку нашей базы данных. Среднее время ответа на запрос (из INFORMATION_SCHEMA) составляло ~ 0,45 мс.
Запросы теперь в среднем в три раза быстрее, примерно на 0,15 мс.
Накопители NVMe становятся все более популярными благодаря своей невероятной производительности. Однако до недавнего времени было почти невозможно собрать множество из них на одной машине, потому что NVMe использует линии PCIe. Они были очень ограничены: процессоры Intel Xeon имеют всего 48 линий PCIe v3, и некоторые из них используются набором микросхем и дополнительными картами, такими как сетевые адаптеры и графические процессоры. Вы не можете разместить много дисков NVMe на оставшихся полосах.
Последнее поколение процессоров AMD EPYC оснащено 128 линиями PCIe — более чем вдвое больше, чем предлагает Intel, — и это PCIe v4! Этого достаточно, чтобы упаковать сервер 2U с накопителями NVMe (в нашем случае — 24).
Если у вас есть сервер, полный дисков NVMe, вы должны решить, как ими управлять. В нашем предыдущем поколении серверов баз данных использовался аппаратный RAID в конфигурации RAID-10, но эффективного аппаратного RAID для NVMe не существует, поэтому нам понадобилось другое решение. Одним из вариантов был программный RAID (Linux mdraid), но мы получили несколько рекомендаций для OpenZFS и решили попробовать. Нам это очень понравилось!
Информации о том, как лучше всего настроить и оптимизировать OpenZFS для пула накопителей NVMe и рабочей нагрузки базы данных, было не так много, поэтому мы хотим поделиться тем, что узнали. Вы можете найти подробную информацию о нашей настройке в этом репозитории GitHub.
Поэтому в стране будут развиваться модульные ЦОД или локальные облачные глобализации, внутренние глобализации(мои старые топики про глобализацию, но внутри страны)
я подкину еще тему
в 2020-2030 году будет тренд на ДЕглобализацию.
вот 2010-2020 годы — все шли в облака как гугл или амазон. т.е. в монополии.
но щас международные законы больше не соблюдаются.
и поэтому весь бизнес будет идти в ЛОКАЛЬНЫЕ компании и дата-цетнры. или даже покупать себе МОДУЛЬНЫЕ ДЦ быстрого изготовления. этот бизнес будет просто жесть развиваться.
поэтому как раз создавать панели на базе локальных ДЦ — которые бы становились точками входа для аудиторий — то что нужно делать. то о чем я писал в 2017 году.
представь себе когда весь рынок ВДС аккумулировался бы в панели какого-ниб ДЦ нашей страны. ДЦ бы стал местом который контролирует процессы всех ВДС хостеров.
ну это только один из примеров.
короче в это десятилетие — ждет бум развития локальных ДЦ.
именно за счет экосистем и ПО.
а не просто за счет ангаров. ангары без ПО будут просто скупаться компаниями с ПО.
а так же совет которого я не встречал на рынке.
есть такие всякие IX точки присутствия.
но нету нормального специалиста по ним в интернете.
и нету блогов нормальных с FAQ про все точки
это тоже одно из будущих направлений в бизнесе — все будет «улучшаться за счет связности». и опять же «связности на сегменте своей страны».
к примеру Хетзнер почему покупают тоже много? потому что в германии лучшая связность на европу. ни какую-ниб там польшу покупают, а именно германию. для 1 сервера разницы нет, для 1500 есть.
большинство людей думает что техподдержка это сайт от вирусов очистить, бекап настроить, движок установить, или еще что-то.
они думают что весь рынок клиентов это клиенты шареда или вдс.
но в дедиках — абсолютно другие вопросы.
там никто никогда не попросил сайт очистить от вирусов.
и с оплатами тоже самое — там не бывает должников или бедных. НИКТО в здравом уме не захочет просрочить платеж чтобы потом весь проект под удар подставить.
клиенты дата-центров, т.е. клиенты дедиков.
это не ЮЛ бомжи которые 1 сервер покупают по договору ради отчетности и которые закрываются в кризис.
клиенты дата-центров — это те люди которые зарабатывают на 100% из интернета. а не из реала.
но конечно стоит так же понимать, что уровень ритейла какого-ниб не пойдет к реселеру тоже никогда. это уже более высокий уровень.
НО МЕНЯ БЕСИТ когда все вокруг думают что к реселлерам ходят только нищие люди.
в интернете огромная куча проектов которые запросто потребляют 100 200 серверов. и такого клиента нельзя сравнивать ни с бомжом ЮЛ где сервер для сайта компании. ни с реальным катастрофическим бизнесом который работает по всей стране или хотя бы в городе.
они не крупные. но и не мелкие.
они — типичные интернет проекты которые работают ТОЛЬКО в интернете. и финансовый поток идет ИЗ интернета. а не из кассовых точек в городах.
или какие-ниб старички которые из эпохи шаред хостинга
сначала они не доверяют моим честным высказываниям
и переплачивают куда-то, например fastvps покупали хетзнер с накруткой и ндс.
или сбербанк там не могли ИП оформить что-ли?
прочие нюансы.
например бывали случаи что челик упирался и говорил что у фаствпс все работает лучше, чем напрямую в хетзнере.
но — ЭТО ОДНИ И ТЕЖЕ ТАЧКИ ))
просто в таких ДЦ как хетзнер — раз на раз не приходится. можно купить 9900k который будет стабилен. а можно купить который будет каждую неделю зависать от нагрузки.
и вот короче прошел год. и наконец фаствпс ему выдало тоже сервер который багает.
и тогда он осознал.
а потом вообще стал покупать у нас минуя все остальные «накрутки расходы прочее».
и весь свой хостинг даже перевел на режим «экономии через ИП»
даже сами хостеры
я в блогах написал огромную кучу практического опыта
но мне постоянно пишут за советов сами хостеры. например про тот же ндс, кто-то короче 3 года с 2018 года как лох платит, а потом в 2020 удивляется и пишет «а что так просто?» — да. блять. просто страну меняешь и все счета уже без ндс.
смекалки нету у людей что-ли?
короче — я решил тысячи проблем которые не смогли решить «профессионалы официальные сотрудники тех или иных компаний»
или например баги это отдельная тема
сколько багов мы уже обнаружили и отправили в ДЦ — но сотрудникам было просто наплевать на доказательства.
когда-то в ОВХ даже тикетов не было в 2014/2015
сейчас в 2020 году они отвечают и решают более менее. но все равно нужно неделю доказывать будто с дауном общаешься. не каждый такое выдержит.
а в 2016 году например 3 месяца мы доказывали, со скриншотами. и даже ВИДЕО СНЯЛИ тогда тогда сотрудник поверил.
а в 2015 году был самый эпичный баг — с весны 2015 по январь 2016 серверы просто не останавливались даже. и всем было насрать. просто в этот период — они заработали НУЛЬ. и да, они ничего не потребовали назад — просто удалили серверы багованые и все. и этот баг повторялся снова и снова каждый год — но уже на более мелкие периоды.
и короче весной того же 2015 я писал 4 тикета — с доказательствами. так как переживал что потом долги на меня повесят. но мне никто не поверил даже. и я забил. и бесплатно раздавал баги людям.
или вопросы не про товар или наличие или мощности/цены
вопросы про управление самой панелью дата-центра. многие люди не могут разобраться в панелях. в тех же облаках. поэтому мне постоянно пишут чтобы я интегрировал что-то в облака. кучу статей уже написал про фразу «закупщик в облаках».
что это значит? это значит что клиент не понимает услуги. клиент не понимает как лучше оплачивать их чтобы не забанилось там ничего и не переплатилось или не удалилось, если убогие ежемесячные счета дата-центров допустим.
многие реально не понимают ОЧЕВИДНЫХ вещей.
и вот они обращаются ко мне чтобы я все грамотно оформил и их деньги нигде не застряли, не пропали, не переплатилось ничего и не удалилось. я как бы становлюсь отвественным за их оплаты и проекты. они просто кидают мне, а я уже распределяю по дата-центрам, по облакам, по локациям, по резервам всяким. делаю обмены и подстраиваюсь ПОД КАЖДЫЙ ДЦ — ибо каждый ДЦ принимает РАЗНЫЕ оплаты и методы оплат. по идее этим должен заниматься сотрудник дц когда курирует какой-то проект от 10 серверов хотя бы даже. ссылки почитай выше что я накидал. скриншоты прочее — вот все мои клиенты такие как на тех примерах, это не штучные заказы. штучные конечно им похую они и писать ничего не будут, через billmanager купят себе и все.
2020
хороший пример «типажа» с КОЛО и моделью в кредит
hosting.kitchen/riaas/rastem-potihonku.html
ВСЕ ЕЩЕ ПРОДАЕМ
Используя AMD EPYC, мы смогли получить 64 физических ядра процессора, сохранив при этом высокие тактовые частоты: базовая частота 2,9 ГГц с ускорением 3,4 ГГц. Что еще более важно, EPYC предоставляет 128 линий PCIe v4.0, что позволяет разместить 24 диска NVMe на одной машине. NVMe невероятно быстр (примерно в 5,7 раза быстрее, чем твердотельные накопители SATA в наших серверах баз данных предыдущего поколения), потому что он использует PCIe вместо SATA. Однако линии PCIe обычно очень ограничены: современные потребительские чипы обычно имеют только 16 линий, а чипы Intel Xeon имеют 48. Обеспечивая 128 линий PCI на чип (v4.0, не меньше), AMD EPYC позволила упаковать большие количество накопителей NVMe на одной машине. Подробнее о NVMe мы поговорим позже.
Начнем с того, что посмотрим на среднее время обработки запроса, поскольку оно лучше всего отражает опыт подписчиков. Перед обновлением мы обработали медианный запрос API примерно за 90 мс. Обновление уменьшило этот показатель до ~ 9 мс!
Мы ясно видим, как наши старые процессоры достигли своего предела. За неделю до того, как мы обновили наш первичный сервер базы данных, его использование ЦП (из / proc / stat) в среднем составляло более 90%:
Новые процессоры AMD EPYC занимают около 25%. Вы можете увидеть на этом графике, где мы повысили новый сервер базы данных с реплики (только для чтения) до первичной (чтение / запись) 15 сентября.
Обновление значительно снизило общую задержку нашей базы данных. Среднее время ответа на запрос (из INFORMATION_SCHEMA) составляло ~ 0,45 мс.
Запросы теперь в среднем в три раза быстрее, примерно на 0,15 мс.
Накопители NVMe становятся все более популярными благодаря своей невероятной производительности. Однако до недавнего времени было почти невозможно собрать множество из них на одной машине, потому что NVMe использует линии PCIe. Они были очень ограничены: процессоры Intel Xeon имеют всего 48 линий PCIe v3, и некоторые из них используются набором микросхем и дополнительными картами, такими как сетевые адаптеры и графические процессоры. Вы не можете разместить много дисков NVMe на оставшихся полосах.
Последнее поколение процессоров AMD EPYC оснащено 128 линиями PCIe — более чем вдвое больше, чем предлагает Intel, — и это PCIe v4! Этого достаточно, чтобы упаковать сервер 2U с накопителями NVMe (в нашем случае — 24).
Если у вас есть сервер, полный дисков NVMe, вы должны решить, как ими управлять. В нашем предыдущем поколении серверов баз данных использовался аппаратный RAID в конфигурации RAID-10, но эффективного аппаратного RAID для NVMe не существует, поэтому нам понадобилось другое решение. Одним из вариантов был программный RAID (Linux mdraid), но мы получили несколько рекомендаций для OpenZFS и решили попробовать. Нам это очень понравилось!
Информации о том, как лучше всего настроить и оптимизировать OpenZFS для пула накопителей NVMe и рабочей нагрузки базы данных, было не так много, поэтому мы хотим поделиться тем, что узнали. Вы можете найти подробную информацию о нашей настройке в этом репозитории GitHub.
а ведь читал когда-то топик тренд что лента будет играть ключевую роль в хранении
нужно было догадаться
hosting.kitchen/ovh/ovhcloud-sotrudnichaet-s-ibm-i-atempo-chtoby-predlozhit-evropeyskim-organizaciyam-bezopasnoe-i-nadezhnoe-oblachnoe-hranilische.html
забрал abcvg.net про запас
hostsuki.pro/news/ispsystem-i-freebsd---vozvraschenie-dzhedaya.html
hosting.kitchen/cloudlinux/rodilsya-almalinux-.html
задарил minehosting.ru
в 2020-2030 году будет тренд на ДЕглобализацию.
вот 2010-2020 годы — все шли в облака как гугл или амазон. т.е. в монополии.
но щас международные законы больше не соблюдаются.
и поэтому весь бизнес будет идти в ЛОКАЛЬНЫЕ компании и дата-цетнры. или даже покупать себе МОДУЛЬНЫЕ ДЦ быстрого изготовления. этот бизнес будет просто жесть развиваться.
поэтому как раз создавать панели на базе локальных ДЦ — которые бы становились точками входа для аудиторий — то что нужно делать. то о чем я писал в 2017 году.
представь себе когда весь рынок ВДС аккумулировался бы в панели какого-ниб ДЦ нашей страны. ДЦ бы стал местом который контролирует процессы всех ВДС хостеров.
ну это только один из примеров.
короче в это десятилетие — ждет бум развития локальных ДЦ.
именно за счет экосистем и ПО.
а не просто за счет ангаров. ангары без ПО будут просто скупаться компаниями с ПО.
а так же совет которого я не встречал на рынке.
есть такие всякие IX точки присутствия.
но нету нормального специалиста по ним в интернете.
и нету блогов нормальных с FAQ про все точки
это тоже одно из будущих направлений в бизнесе — все будет «улучшаться за счет связности». и опять же «связности на сегменте своей страны».
к примеру Хетзнер почему покупают тоже много? потому что в германии лучшая связность на европу. ни какую-ниб там польшу покупают, а именно германию. для 1 сервера разницы нет, для 1500 есть.
они думают что весь рынок клиентов это клиенты шареда или вдс.
но в дедиках — абсолютно другие вопросы.
там никто никогда не попросил сайт очистить от вирусов.
и с оплатами тоже самое — там не бывает должников или бедных. НИКТО в здравом уме не захочет просрочить платеж чтобы потом весь проект под удар подставить.
клиенты дата-центров, т.е. клиенты дедиков.
это не ЮЛ бомжи которые 1 сервер покупают по договору ради отчетности и которые закрываются в кризис.
клиенты дата-центров — это те люди которые зарабатывают на 100% из интернета. а не из реала.
но конечно стоит так же понимать, что уровень ритейла какого-ниб не пойдет к реселеру тоже никогда. это уже более высокий уровень.
НО МЕНЯ БЕСИТ когда все вокруг думают что к реселлерам ходят только нищие люди.
в интернете огромная куча проектов которые запросто потребляют 100 200 серверов. и такого клиента нельзя сравнивать ни с бомжом ЮЛ где сервер для сайта компании. ни с реальным катастрофическим бизнесом который работает по всей стране или хотя бы в городе.
они не крупные. но и не мелкие.
они — типичные интернет проекты которые работают ТОЛЬКО в интернете. и финансовый поток идет ИЗ интернета. а не из кассовых точек в городах.
мне — я обучил чела и открыл ему глаза.
и так вербовать себе клиентов — МОЖЕТ ЛЮБОЙ СОТРУДНИК ДЦ
даже не может — ОБЯЗАН
сначала они не доверяют моим честным высказываниям
и переплачивают куда-то, например fastvps покупали хетзнер с накруткой и ндс.
или сбербанк там не могли ИП оформить что-ли?
прочие нюансы.
например бывали случаи что челик упирался и говорил что у фаствпс все работает лучше, чем напрямую в хетзнере.
но — ЭТО ОДНИ И ТЕЖЕ ТАЧКИ ))
просто в таких ДЦ как хетзнер — раз на раз не приходится. можно купить 9900k который будет стабилен. а можно купить который будет каждую неделю зависать от нагрузки.
и вот короче прошел год. и наконец фаствпс ему выдало тоже сервер который багает.
и тогда он осознал.
а потом вообще стал покупать у нас минуя все остальные «накрутки расходы прочее».
и весь свой хостинг даже перевел на режим «экономии через ИП»
я в блогах написал огромную кучу практического опыта
но мне постоянно пишут за советов сами хостеры. например про тот же ндс, кто-то короче 3 года с 2018 года как лох платит, а потом в 2020 удивляется и пишет «а что так просто?» — да. блять. просто страну меняешь и все счета уже без ндс.
смекалки нету у людей что-ли?
короче — я решил тысячи проблем которые не смогли решить «профессионалы официальные сотрудники тех или иных компаний»
сколько багов мы уже обнаружили и отправили в ДЦ — но сотрудникам было просто наплевать на доказательства.
когда-то в ОВХ даже тикетов не было в 2014/2015
сейчас в 2020 году они отвечают и решают более менее. но все равно нужно неделю доказывать будто с дауном общаешься. не каждый такое выдержит.
а в 2016 году например 3 месяца мы доказывали, со скриншотами. и даже ВИДЕО СНЯЛИ тогда тогда сотрудник поверил.
а в 2015 году был самый эпичный баг — с весны 2015 по январь 2016 серверы просто не останавливались даже. и всем было насрать. просто в этот период — они заработали НУЛЬ. и да, они ничего не потребовали назад — просто удалили серверы багованые и все. и этот баг повторялся снова и снова каждый год — но уже на более мелкие периоды.
и короче весной того же 2015 я писал 4 тикета — с доказательствами. так как переживал что потом долги на меня повесят. но мне никто не поверил даже. и я забил. и бесплатно раздавал баги людям.
вопросы про управление самой панелью дата-центра. многие люди не могут разобраться в панелях. в тех же облаках. поэтому мне постоянно пишут чтобы я интегрировал что-то в облака. кучу статей уже написал про фразу «закупщик в облаках».
что это значит? это значит что клиент не понимает услуги. клиент не понимает как лучше оплачивать их чтобы не забанилось там ничего и не переплатилось или не удалилось, если убогие ежемесячные счета дата-центров допустим.
многие реально не понимают ОЧЕВИДНЫХ вещей.
и вот они обращаются ко мне чтобы я все грамотно оформил и их деньги нигде не застряли, не пропали, не переплатилось ничего и не удалилось. я как бы становлюсь отвественным за их оплаты и проекты. они просто кидают мне, а я уже распределяю по дата-центрам, по облакам, по локациям, по резервам всяким. делаю обмены и подстраиваюсь ПОД КАЖДЫЙ ДЦ — ибо каждый ДЦ принимает РАЗНЫЕ оплаты и методы оплат. по идее этим должен заниматься сотрудник дц когда курирует какой-то проект от 10 серверов хотя бы даже. ссылки почитай выше что я накидал. скриншоты прочее — вот все мои клиенты такие как на тех примерах, это не штучные заказы. штучные конечно им похую они и писать ничего не будут, через billmanager купят себе и все.