Что такое хоп стенд
Домашнее пиво для начинающих
Делал так не раз.С Жатецким хмелем-самое оно. Evgeniys, 13 Июля 13, 13:21
заражения бояться не нужно?
Отец-героин, 28 Июля 13, 10:35
заражения бояться не нужно?
Отец-героин, 28 Июля 13, 10:35
заражения бояться не нужно?
Отец-героин, 28 Июля 13, 10:35
В номере BYO http://byo.com/component/k2/item/2808-hop-stands за март/апрель 2013 вышла интересная статья на обсуждаемую тему (выдержку после окончания кипячения автор называет hop stand).
Если кратко, то автор выделяет 3 диапазона температур для задачи хмеля после окончания кипячения (hop stand или вирпул, если есть последний):
1. Выдержка при 88-100°C позволит эфирным маслам с более высокой температурой кипения (например, кариофиллен кипит при 93°C) быстрее раствориться в сусле и способствует небольшой изомеризации горьких альфа-кислот (утилизация 5-15%).
2. Выдержка при 71-77°C снизит испарение аромамасел, но не не придаст горечи вследствие отсутствия изомеризации альфа-кислот.
3. Выдержка при 60-66°C снизит испарение аромамасел с низкой температурой кипения (мирцен, хумулен), и не придаст горечи, но может потребовать более продолжительного времени.
2. Выдержка при 71-77°C снизит испарение аромамасел, но не не придаст горечи вследствие отсутствия изомеризации альфа-кислот.
Посл. ред. 29 Июля 13, 08:51 от victorchik
В чём недостаток пития «созревшего»? Mitch, 29 Июля 13, 09:56
Посл. ред. 29 Июля 13, 11:11 от Mitch
Посл. ред. 31 Июля 13, 00:10 от Maistra
Преимущества «хмелевой паузы» в домашнем пивоварении
Автор блога Bear Flavoured рассказал о преимуществах использования в домашнем пивоварении технологии hop stand — паузы охмеления без кипячения, но при высокой температуре и без использования гидроциклона. Pivo.by публикует перевод материала.
Фото: What’s Brewing in Charlottesville?
Я занимаюсь пивоварением в домашних условиях, и когда я впервые услышал о технологии под названием «вихревое охмеление» или «вирпул» (whirlpool hopping), у меня сразу же возник вопрос: «Как же мне сделать этот вихрь?» Как правило, в коммерческих пивоварнях после варки сусло перекачивается для охлаждения в специальный вихревой чан (whirlpool vessel) — гидроциклон. Но, как и большинство пивоваров-любителей, я использую простой медный погружной чиллер, и в моём варочном котле даже нет крана. Вряд ли у меня получится организовать что-то наподобие водоворота.
Поэтому мой первый совет тем, кто занимается пивоварением дома и только начал осваивать эту технологию: в отсутствие вихревого чана просто выдержать так называемую «хмелевую паузу». Можно аккуратно перемешивать сусло, используя специальную лопатку, продезинфицированную ложку или даже насос — вся суть этой технологии заключается не столько в движении сусла по кругу, сколько во времени. Вихревое охмеление (whirlpool hop) или хмелевая пауза (hop stand) следуют за варкой, и хмель контактирует с суслом при высокой температуре, но при отсутствии кипения. Это позволяет в полной мере использовать эфирные масла и придать напитку желаемый вкус и аромат.
Так что же нужно сделать? Выключить огонь, высыпать хмель в сусло и оставить на 30–60 минут. Когда температура сусла достигнет 70–80 °C, включить чиллер и следовать стандартной процедуре. Вот и всё! Довольно просто. Вы спросите, зачем нужны эти хлопоты? И не создаст ли это пивовару дополнительные проблемы?
Здравый смысл подсказывает, что после варки нужно постараться охладить сусло как можно быстрее, чтобы снизить риск заражения, горячей аэрации, холодного помутнения и образования ДМС. Если мы даём пиву постоять 30–60 минут после варки, то зачем вообще тогда нужен погружной или противоточный чиллер? И, более того, разве мы не испортим хмель, добавив его не при температуре кипения, которая обеспечивает изомеризацию? Почему бы просто не просушить хмель чуть больше?
Спасибо за столь уместные вопросы.
На самом деле риск заражения не наступает примерно до температуры 76 °C, возможно, даже ниже, поэтому несколько минут при такой температуре не нанесут особого вреда. На мой взгляд, чтобы получить горячую аэрацию, нужно очень сильно постараться. Это случается настолько редко, что некоторые даже считают её мифом. Даже при лёгком помешивании сусла, чтобы не давать хмелю оседать на дно, аэрация практически отсутствует; по крайней мере, её уровень будет не выше чем при обычном охлаждении. (Через несколько минут, когда сусло немного остынет, оно в любом случае подвергнется той ещё аэрации). Несомненно, для пива с ярко выраженным хмелевым вкусом помутнение является серьёзной проблемой, однако оно не произойдёт только потому, что вы выдержали хмелевую паузу. Все эти частички хмеля, плавающие в сусле после того, как вы всыпали в него невероятное количество этого ароматного растения, с намного большей вероятностью вызовут помутнение, чем несчастные 30 минут, на которые вы оставили их в сусле. И, наконец, что насчёт ДМС? Опираясь на собственный опыт, скажу, что никогда не видел, чтобы от паузы в охлаждении сусла происходило образование ДМС. И не припомню, чтобы где-нибудь видел рассказ другого пивовара-любителя об этом. Если вы используете светлый ячменный солод либо по какой-то причине особенно обеспокоены ДМС, увеличьте время варки на 30 минут.
Фото: What’s Brewing in Charlottesville?
А сейчас о хорошем: хмелевая пауза нужна для того, чтобы усилить вкус и аромат напитка, которые улетучиваются при варке. При любой варке. Раньше многие понимали: чем позже добавить хмель при варке, тем больше вкуса он придаст по сравнению с горечью. Добавление хмеля за пяти минут даст больше хмелевого вкуса, чем добавление за 15 минут, в то время как добавление за 30 минут даст одну только горечь, не говоря уже о добавлении за 60 минут до окончания варки. Хмелевая пауза — это не что иное, как продолжение этой стратегии, так как в горячем сусле продолжается извлечение эфирных масел. Кипячение даже в течение пяти минут способно пагубно повлиять на эфирные масла, в то время как выдерживание в горячем сусле — нет. Или, по крайней мере, не в такой степени. Разные виды масел улетучиваются при разных температурах:
Мирцен — 167 °C
Гумулен — 99 °C
Кариофиллен — 29 °C
Фарнезен — 95–125 °C
* Существуют определённые споры и заблуждения по поводу температуры испарения мирцена. Он испаряется даже при комнатной температуре, однако более высокие температуры ускоряют этот процесс. Более подробную информацию можно найти на форуме HomeBrewTalk.
Кроме того, делать хмелевую паузу можно при различных диапазонах температур, либо добавить одну порцию хмеля сразу же после варки, а вторую порцию хмеля — как только сусло немного охладится. Коммерческие пивоварни, добавляющие весь хмель в вихревой чан, получают удивительно высокий уровень горечи, так как альфа-кислоты продолжают изомеризоваться до тех пор, пока температура не упадет примерно до 80 °C. Если вы хотите получить определённый показатель IBU, могут возникнуть некоторые вопросы с рецептурой (лично я к этому не стремлюсь, потому что считаю показатели IBU в целом бессмысленными). Автор статьи в журнале BYO предлагает определить 10%-ную величину использования альфа-кислот. Лично я хмель, добавляемый во время хмелевой паузы, учитываю в Beer Smith как добавление за 10 минут до окончания варки, и думаю, что это довольно близко. При этом я не ставлю перед собой цели достичь конкретного показателя IBU и корректирую рецепт по вкусу в следующий раз.
Конечно же, всё это имеет смысл только в том случае, если вихревое охмеление происходит сразу же после варки, пока сусло ещё достаточно горячее для изомеризации альфа-кислот. В целом я поступаю так: выключаю горелку, добавляю хмель, закрываю котёл крышкой и оставляю сусло примерно на 30 минут, помешивая время от времени. Когда 30-минутная хмелевая пауза подходит к концу, сусло, как правило, охлаждается до температуры около 82 °C. Тогда я включаю чиллер и охлаждаю сусло до температуры внесения дрожжей.
Однако если вы не хотите придать напитку горечь во время хмелевой паузы, этот метод можно скорректировать, учитывая, что при падении температуры ниже 80 °C изомеризация альфа-кислот происходить не будет. К примеру, можно включить чиллер на несколько минут, пока температура не снизится до 75–80 °C. Более низкая температура, в теории, должна снизить испарение эфирных масел. Само собой, меньшая температура (ниже 70 °C) ещё больше снижает ваши шансы на потерю чувствительных к нагреву масел, но лично я не уверен, что это действительно необходимо.
Конечно же, есть ещё вариант раздельного добавления, который я, по-видимому, буду использовать в будущем для сортов пива с наиболее насыщенным хмелевым вкусом. Добавьте часть хмеля сразу же после выключения огня, оставьте на 20–30 минут (или до тех пор, пока температура не опустится примерно до 80 °C), а затем добавьте остальной хмель, и оставьте ещё на 20–30 минут. Затем охладите до температуры внесения дрожжей. Так вы сможете взять лучшее от двух описанных методов.
Фото: Bear Flavored
Температуру и сроки выбирайте самостоятельно, и помните, что есть несколько методов, которые обязательно дадут хорошие результаты. Вам нужно будет адаптировать вашу пивоваренную систему, которая наверняка отличается от моей и уж точно — от коммерческих пивоварен. Вам также придётся внести корректировки согласно рецепту, по которому вы варите, и вашим вкусам.
Когда я впервые прочёл об этом приёме, я отнёсся к нему скептически, предположив, что так поступают те, у кого достаточно хмеля для того, чтобы добавлять его при любом удобном случае (я сейчас говорю о тех, кто выбирает заторное охмеление). Однако чем более насыщенный хмелевой вкус я хотел получить, тем меньше хмеля я добавлял при варке. Чтобы получить ярко выраженный хмелевой вкус, я добавлял хмель в первое сусло, совсем немного за 60 минут до окончания варки, а затем при выключении огня и хмелевой паузе. Если ваша цель — извлечь как можно больше вкуса и аромата, стоит ли стремиться получить чуть более высокий IBU при добавлении за 15 или 10 минут до конца варки? Этого можно достичь, чуть увеличив количество хмеля, добавляемого за 60 минут до окончания варки либо добавляемого в первое сусло. От хмеля мне в первую очередь нужен вкус, а горечь отрегулировать просто. Я делаю то, что максимально приближает меня к натуральному вкусу хмеля.
«Хмелевая пауза» в домашнем пивоварении
Автор блога Bear Flavoured поделился секретами пивоварения по технологии Hop stand в домашних условиях.
Технология пивоварения Hop stand – означает пауза охмеления без кипячения, при этом с высокой температурой и без использования гидроциклона, то есть без изменения вихревого потока воздуха. Данная технология имеет множество достоинств, которые позволяют с лёгкостью применять её в домашних условиях.
Используя особую лопаточку, продезинфицированную ложку или даже насос, можно потихоньку перемешивать сусло. Суть данной технологии состоит не сколько в движении по кругу сусла, а именно в выдерживании времени. Охмеление вихрем или хмельная пауза следуют сразу после варки, происходит контактирование хмеля с суслом при высоких температурах, но при этом не должно быть кипения. Этим самым в полной мере себя проявят имеющиеся в хмеле эфирные масла, придающие напитку желаемый вкус и пьянящий аромат.
Как же получить такой результат?
Для этого необходимо зажечь огонь, в сусло всыпать хмель и оставить в таком виде на полчаса – час. Когда сусло достигнет 70-80°C по температуре, далее следует включить чиллер и действовать как обычно в пивоварении. На этом вся сложность и заканчивается!
Сразу возникают вопросы, – для каких целей эти хлопоты? и не возникнут ли проблемы у пивовара в процессе приготовления напитка? Правильное мышление даёт подсказки, что после варки необходимо постараться охладить сусло как можно скорее, чтобы риск заражения был минимален, уменьшить горячий поток воздуха, не появилось помутнения, и не образовался сернистый газ – диметилсульфид (ДМС).
Если же пиву дают отдохнуть после варки в течении 30-60 минут, то для какой надобности нужен противоточный или погружной чиллер? И разве не испортится хмель при добавлении его не в кипящую массу, которая обеспечивает необходимые изменения? Почему бы не дать хмелю просушить больше по времени?
На самом деле при температуре 76 °C приблизительно, возможно и ниже, риск заражения не наступает, поэтому несколько минут при такой температуре не будут лишними, а наоборот будут очень даже кстати. Чтобы добиться горячего потока воздуха, нужно постараться. Этот процесс такой редкий, что некоторые не верят, что такого можно достичь. Даже если слегка мешать хмель, не давая ему осесть на дно, достичь насыщения воздухом практически невозможно. По крайней мере, это не даст особых отличий при самом простом охлаждении. (Через некоторое время, когда сусло немного снизит температуры, оно в любом случае будет испускать пар и насыщаться кислородом).
Помутнение для пива с ярким вкусом – естественно является серьёзным нарушением, но если была соблюдена хмелевая пауза, то прозрачность напитка будет на высоте. Это будет достигнуто благодаря тому, что ароматное растение было оставлено в сусле хотя бы на 30 минут, в противном случае после высыпания в него невероятное количество хмеля, все эти плавающие частички с наибольшей вероятностью вызовут помутнение.
Что касается диметилсульфида, от паузы охлаждения никогда не было замечено его образование. Если используется при варки светлый ячменный солод, то чтобы не беспокоится о возможном появлении ДМС, просто нужно немного увеличить процесс варки по времени, примерно минут на 30.
При варке улетучивается самое главное в напитке – его терпкий вкус и чарующий аромат, именно хмелевая пауза позволяет сохранить эти качества пива. При чём улитучивание происходит при любой варке, как ни стараться всё сохранить. Ранее всё пивовары-любители подчинялись закону: чем позднее в чан положить хмель, готовя пиво, тем больше можно ждать вкуса, чем горечи. Если добавить за пять минут – это даст больше вкуса, чем если положить ароматное растение за 15 минут, а если вообще за 30 минут до окончания варки, то вообще останется одна только горечь.
Хмелевая пауза – это продолжение сего действа, в горячем сусле происходит наоборот нечто магическое, позволяющее вытянуть как можно больше эфирных масел. Кипячением можно способствовать большему улетучиванию масел, даже при 5 минутах. В то время как выдерживание в горячем сусле позволит всё сохранить, или, по крайней мере, не потерять в таком количестве. Различные виды эфиров рассеиваются в воздуха при разных температурах, например:
Помимо этого, хмелевую паузу можно осуществлять при самых разных диапазонах температур, добавляя различные порции хмеля на этапах отличающиеся количеством тепла в сусле. Промышленные пивоварни, которые добавляют сразу весь хмель в вихревой чан, получают довольно горький продукт, это связано со структурными изменениями компонентов состава, и это происходит до тех пор пока не произойдёт снижение температуры, хотя бы до 80°C. Если хочется добиться определённых показателей IBU, может отличаться ингредиентный состав и соотношение в рецепте. Некоторые пивовары хмель добавляемый во время хмелевой паузы, рассматривается как добавленный за 10минут до окончания варки в Beer Smith. И далее корректируют свой рецепт по вкусу, не стараясь стремиться к показателю IBU.
Конечно же это имеет наибольший смысл в случае произведения вихревого охмеления сразу же после варки, пока сусло ещё горячее и позволит альфа-кислотам претерпеть некоторые изменения в их структурных формах. В целом некоторые поступают следующим образом: отключают подачу тепла, добавляют хмель, котёл накрывают крышкой и оставляют примерно на 30 минут сусло, периодически помешивая. Когда истекает время, и хмелевая пауза подходит к концу, производят охлаждение сусло до 82°C.После включают чиллер и охлаждают чиллер до температур позволяющих проявлять дрожжам свою ферментативную активность. Но если имеется желание придать напитку горький вкус, тогда такой способ несколько можно скорректировать, учитывая тот факт, что температуры ниже 80 градусов не будут способствовать изомеризации кислот. Например, можно на несколько минут включить чиллер пока температура не станет снижаться до 75°C. Температуры ниже, в свою очередь снизят количество испарившихся эфирных масел.
Хорошие результаты можно получить несколькими способами, это необходимо помнить, и учитывать тот факт что температуру и сроки выдерживания хмеля в сусле для себя выбирает каждый самостоятельно. Каждый сам под себя адаптирует свою систему пивоварения, явно отличающуюся от многих любителей, и тем более от промышленно масштабных пивоварен. Также индивидуальны рецептуры, с внесёнными своими собственными корректировками, которые соответствуют именно вкусам и пожеланиям.
Многие, впервые узнав о таком интересном способе пивоварения, сначала относятся несколько скептически. Они думают, что подобную процедуру могут себе позволить обладатели большого количества хмеля, чтобы суметь добавить его в любой момент. Однако, чем более углублено происходит познание метода, тем более начинают убеждаться в обратном, в экономичном использовании хмеля. Потому что, как оказалось, чем более насыщенный вкус хочется получить, тем меньше нужно взять ароматного растения. Некоторые делятся тем, что для получения более ярко выраженного хмелевого вкуса, добавление производили в первое сусло за 60 минут до конца варки, а затем ещё при выключении огня и выдерживании хмелевой паузы.
Если же цель перед пивоваром стоит извлечь как можно больше вкуса и насыщенного аромата, то стоит стремиться достичь IBU немного высокий, при добавлении хмеля до окончания варки за 15 или 10 минут. Также этого достичь можно, несколько увеличив количество хмеля, который будет добавляться за 60 минут до конца пивоварения, любо того который добавляют в первое сусло.
Многие пытаются от присутствия хмеля в напитке добиться именно чарующего аромата и приятного вкуса, нежели горечи, её как раз то можно и отрегулировать. Благодаря вихревому охмелению и выдерживанию паузы охмеления получается достичь максимально приближенный к натуральному вкусу хмеля.
Hop Stands
One of the best ways to bring more hop flavor and aroma to your homebrew is adding hops at flameout and allowing extended contact time with the hot wort before chilling. This process, which is popular among craft brewers creating hoppy beers and is being used more in recent years among homebrewers, is known as whirlpool hopping, or performing a hop stand.
Whirlpool hopping gets the best traits of adding hops in the fleeting minutes of the boil and of dry hopping as the hot wort (below boiling temperatures) allows for the contribution of essential oils that are not released in dry hopping temperatures, while also minimizing the vaporization of these essential oils as will happen in boiling temperatures. This process will add some bitterness to the beer, as alpha acids isomerize at temperatures above 175 °F (79 °C). However, the isomerization rate will be lower than in boiling temperatures at or above 212 °F (100 °C), and is generally considered a smoother bitterness than early boil additions. For recipes in Brew Your Own, we calculate a 10% conversion of alpha acids to iso-alpha acids for flameout hops that will be put through a hop stand prior to cooling.
Hop stands are usually performed anywhere from 10 to 90 minutes, depending on the results you are looking for. A longer stand will extract more bitterness (assuming the wort temperature stays above 175 °F/79 °C). For IPAs, a 90-minute stand may make sense, whereas a style in which you are just looking for subtle hop aroma and little to no contributed bitterness, a
15-minute hop stand may do the trick.
As the temperature of your post-boil wort changes, so will the affect it has on your hops. Right off the burner, in a temperature range of 190–212 °F (88–100 °C), essential oils will most easily solubilize in the wort and a greater bitterness will be contributed. Once the wort temperature cools into a sub-isomerization range from 160–170 °F (71–77 °C) bitterness will no longer be contributed from the hops, but the essential oils will be soaked up with little vaporization. When the temperature gets even cooler the vaporization of essential oils will lower even more, but the time required to extract these oils will also increase. The easiest way to perform a hop stand is to allow your wort to cool for as long as you want your hop stand to last (before cooling it to fermentation temperatures with a wort chiller or in an ice bath) but if you are specifically looking for a consistent hop stand temperature around 200 °F (93 °C) to add bitterness you can keep your kettle on low heat. Alternatively, if you want the cooler hop stand, you could use your chiller to bring the wort down to that temperature and then perform your hop stand.
While they are most often considered when brewing hop-forward beer styles, hop stands can be a tool in the homebrewer’s repertoire for many styles. For beers in which bitterness is low but hop aroma is desired, you can forego most of the bitterness hop additions you would traditionally add and instead pick up the desired IBUs from the hop stand. Craft brewers who perform hop stands generally add the hops either in the kettle or a separate whirlpool vessel and create a wort vortex immediately following the boil. This whirlpool vortex is not necessary for homebrewers, however it can be achieved if you use a pump to keep it circulating. Otherwise, after adding the hops, give your wort a good swirl and put the cover on the kettle and let the hops do their thing.
Just like all other hop additions, performing a hop stand should not prevent you from also dry hopping or adding hops near the end of the boil. Both of these additions have their benefits too, so think about what you are trying to achieve and consider each separately, or combined.
Стенд для нагрузочного тестирования: от DEV до PROD
Содержание
Меня зовут Василий Кудрявцев, и вот уже 10 лет я занимаюсь нагрузочным тестированием, а из них последние 1,5 года – в компании РТЛабс.
И сегодня мы поговорим не об инструментах или общих подходах (для этого есть курсы – один из крупных веду я, а еще у многих есть коллеги-эксперты и тот самый чатик в телеге на 3400+ участников), а об области, которую обычно обходят стороной или собирают на коленке — тестовые стенды для нагрузочного тестирования.
Здесь, на Госуслугах, мы пока только конструируем мечту каждого нагрузочника — свой отдельный, выделенный, рабочий (!) тестовый стенд. Особенно это мечта актуальна для небольших продуктовых команд.
Тем не менее, за последний год мы увеличили количество проводимых тестов почти в 10 раз и команду раза в два. Где же мы проводим более 1000 нагрузочных тестов в год без отдельного стенда, спросите вы? Ответ: мы использовали все стенды по максимуму, под шум (крики) продуктовых команд! 🙂
Я попробовал обобщить личный опыт последних лет, успехи прорыва в результативности тестов и, соответственно, в повышении производительности, которого мы смогли достичь в компании за последнее время.
Договоримся о терминологии
НТ — нагрузочное тестирование, для меня это синоним тестирования производительности. В НТ входят всевозможные подвиды тестов, направленные на проверку показателей производительности системы: время отклика, пропускная способность, % успешных операций или доступность, утилизация ресурсов.
Максимальная производительность — уровень пропускной способности системы, после которого система перестаёт удовлетворять предъявленным к ней требованиям — по времени отклика, доступности, утилизации ресурсов.
Тест определения максимальной производительности — ступенчатое повышение нагрузки на систему до достижения этого самого уровня.
Как у нас организована нагрузка
Инструменты:
Протоколы – наиболее часто это REST-ы и web по http, бывают и скрипты нагрузки на БД / очереди
Запуск тестов в Jenkins
Мониторинг в Grafana + Clickhouse
Для мониторинга генераторов нагрузки — Prometheus
Redis и Postgres для хранения тестовых данных, FTP для больших файлов
В общем, всё как у взрослых людей. В следующих статьях расскажем об этом подробнее, если интересно. А сейчас едем дальше.
3+ регулярно нагружаемые крупные системы:
Единый портал государственных услуг (ЕПГУ)
Единая система идентификации и аутентификации (ЕСИА)
Система межведомственного электронного взаимодействия (СМЭВ, шина данных)
…и еще с десяток периодически нагружаемых прикладных систем и сервисов
Основные типы тестов:
Проверка стабильной нагрузки — короткий тест с заданным tps
Стресс-тесты — проверка работы под большой нагрузкой в течение короткого времени
Классическая максимальная производительность
Команда инженеров:
1 лид и 4 нагрузочника разного опыта и происхождения, со средним опытом в НТ =
Вернемся к нагрузочным стендам
Разделим типы стендов на несколько категорий и поймём, что же можно на них тестировать и какие риски / ограничения нужно держать в уме:
DEV — стенд разработки
UAT — стенд регрессионного функционального тестирования
LT — отдельный стенд нагрузочного тестирования
PROD — стенд на базе инфраструктуры Продуктивного контура
Каждый опишем с нескольких сторон по такой схеме:
Summary — короткое резюме от меня
Жиза — как мы используем этот стенд
Что можно — какие тесты можно проводить
Команда — кто здесь понадобится нагрузочнику, насколько самостоятельно выполнение тестов
Advice — совет напоследок обзора стенда
Summary: Отличное место для нагрузки пилотных решений или новых микросервисов, но задержаться на нём для исследований бывает сложно. Особенно, если архитектура монолитная.
Жиза: Не самый активный стенд именно для нагрузки, но супер-массовые новые сервисы сначала тестим здесь — социальные выплаты, сервисы для выборов, онлайн-запись в школы. Конечно же, в микросервисах, особенно часто в кубере. Здесь не проверить какой-нибудь scaling, но 50-70% проблем на данном стенде мы закрывали, хоть пользовались им не так часто, как стоило бы.
Отступление в рамках темы
Отдельного внимания здесь в описании DEV заслуживает наше детище для Системы межведомственного электронного взаимодействия (СМЭВ). Изначально мы планировали собрать стенд LT, но заказчики-разработчики пожелали проверять новые решения и тюнинг/рефакторинг старых здесь и сейчас. У нас вышел эдакий Монстр, которого мы прозвали DEV-LT! По необходимости могли и мощностей накинуть для достижения нужных цифр, но и не ждали отлаженных новых релизов и прочих pipeline-ов для проверки разных гипотез.
В итоге за пару месяцев мы протестили отказоустойчивость при отключении разных сервисов системы, протюнили с десяток компонент и повысили общую производительность системы раза в три (с учётом пост-тестов на других стендах, конечно же). Это был суровый марафон, но глаза горели у всех!
Что можно: стресс-тесты и общая максимальная производительность всего комплекса здесь бессмысленны. Только точечный тюнинг и проверка отдельных компонентов тестами со стабильными потоками (количество открытых соединений / thread-ов) или подачей стабильной нагрузки.
Команда: Если времени мало, то практически в онлайне с разработчиком. Если побольше — в режиме чатика. Очень удобно поработать devops-ом: сделать «кнопку» для разработчика и дать ему «пофрустрировать» самому до желаемого результата. Не забудьте про мониторинг, чтобы он получал удовольствие! Главное вовремя остановить, не доводить до уровня «хочу 100к tps выжать, 12 ночи всего, запускаю ещё тест!»
Pros and cons:
+ экономит время тюнинга на поздних этапах, что особенно актуально для багов по производительности (все мы знаем, они бывают ОЧЕНЬ дорогими)
+ можно запускать «на коленке» и получать реальный value
– не подходит для основательных выводов по максималке / не применить к PROD — нужны дополнительные тесты на других контурах
– стенд обычно шаток и разработчики любят его ломать, а иногда его потом сложно восстановить
– сложно с тестированием интеграций, DEV, как правило, изолирован
Advice: Совет подойдёт и для других стендов — «одно изменение за раз!». Разработчики любят побежать азартно вперёд, и применить много «оптимизаций» между тестами за один раз. Потом приходится часто искать, что именно улучшило или ухудшило производительность. Поэтому лучше стараться делать одно улучшение/изменение за раз и оценивать тестом, хотя бы коротким.
UAT (стенд регрессионного функционального тестирования) — относительно стабильный контур по сборкам, но слабый по железу
Жиза: С этого стенда мы начинали в РТЛабс проводить регулярное НТ — в данном случае проверка релизов на не-ухудшение производительности. В частности, на небольшом железе мы сравниваем «выдерживание» ступени стабильной нагрузки по основным показателям производительности. Дефектов обычно находится не так много, как хотелось бы, потому что у этого стенда всегда много «но» по сравнению с PROD. И это несмотря на то, что по конфигурации компонентов он к нему ближе, чем любой другой.
Что можно: Лучше проводить тесты стабильной нагрузки 10-60 минут. Длительность зависит от вашей ступени стабильной нагрузки, за которую вы сможете адекватно оценить показатели производительности. Если у вас быстрая система с 100-500+ tps и временем отклика в пределах секунды (шина данных, например), то хватит и коротких тестов. Если что-то пользовательское с множеством сценариев — лучше погонять подольше и заодно оценить надежность.
Команда: Как правило, лучший друг нагрузочника — это функциональщик. В данном случае вдвойне, так как это его стенд! Он подскажет, когда и сборка более-менее стабильна и когда можно поломать стенд тестами. С дефектами тут сложнее, чем на DEV — у нас по крайней мере были наводки и на инфраструктурные сбои, а разбор может быть не таким быстрым, как хотелось бы.
Pros and cons:
+ хороший стенд для старта нагрузочного тестирования в плане стабильности и отладки (в том числе на новых готовящихся версиях системы). И для того, чтобы потом куда-то переезжать с тестами на другие стенды
+ обычно неплохая поддержка со стороны ФТ и сопровождения, так как релизы должны ехать в PROD без простоев. А вы, в том числе, занимаете время подготовки релиза 🙂
– придётся выбирать время для тестов, чтобы не мешать ФТ
– сильную нагрузку целиком на систему не подать ввиду слабости стенда по железу, то есть сложно оценить максимальную производительность в целом
Advice: Не убивайте стенд, пожалейте функциональщиков! Не только проведением нагрузки днём, но и забиванием БД тестовыми или созданными в тестах данными. Проработайте процедуры очистки.
LT (отдельный стенд нагрузочного тестирования)
На какой хватит средств какой построите, такой и будет! Но в любом случае он лучше остальных стендов, потому что СВОЙ.
Summary: Здесь всё понятно — идеальный стенд практически для любых целей НТ. Не надо сидеть по ночам / ждать пока он освободится (в пределах одной тестируемой системы, конечно). В некоторых банках даже построили интеграционные стенды НТ. Правда пока я не видел стенд, выдерживающий 100% нагрузку по профилю с Прода, со всех каналов-систем.
Жиза: Выше я рассказывал о том, как мы применяем стенд DEV-LT. Пока мы видим неплохую пользу в совмещении целей для этого контура с учетом имеющейся инфраструктуры PROD для больших тестов (об этом ниже).
Из опыта других компаний могу сказать, что отдельный контур это действительно долго, дорого и замечательно. Причём для стабильного стенда крупной системы «долго» — это скорее всего минимум год, а «дорого» — не только закупка оборудования, но ещё и отдельная команда админов разного профиля. Ведь у вас небольшой PROD, а значит нужны инженеры СПО, ППО, DBA и т.д.
При этом на других стендах можно и нужно ловить 80-90% проблем. Это значит, что в микросервисной архитектуре огромные стенды становятся всё менее полезными.
Что можно: ВСЁ. Ну, правда. Интеграционные нагрузочные тесты можно проводить с эмуляторами, хорошо идут регрессионные тесты, стресс-тест/максималка/надежность/отказоустойчивость и любые другие, которые вы ещё себе придумаете между релизами.
Команда: Если хотите работать эффективно, а не чинить стенд неделями, когда ребята с PROD / тестовых контуров смогут уделить вам время, то только отдельная команда. Если стенд небольшой, можно не выделять отдельно системных администраторов / DBA на задачи одного этого стенда. Но инженеры ППО точно нужны — системы нужно и поднимать с нуля и поддерживать (поднимать) после регулярных тестов и релизов, которые будут их ломать.
Pros and cons:
+ подходит для всех нужных нагрузочных тестов (с интеграционным НТ может быть сложно, но возможно!)
+ не нужно ждать очередь на стенд, есть время для улучшений / экспериментов
+ можно готовить нужные наборы тестовых данных, тестировать объемы
– дорого и долго — и по подготовке железа, и в поддержке
– команде сопровождения нужно долго набираться опыта
– бывает сложно отслеживать все изменения на PROD / тестовых контурах, чтобы тестовый стенд НТ был актуален
Advice: Не надейтесь, что стенд НТ взлетит быстро, особенно если команда собирается с нуля. Исключения — небольшие и простые системы, по ним и PROD просто и быстро собрать.
И раз уж у вас отдельный стенд — пробивайте получение копии БД с PROD (урезанной, обезличенной), это повысит качество тестирования.
Ещё совет— не делайте прогнозирование / домножение результатов, полученных на стенде НТ, для PROD, если у вас LT сильно меньше по ресурсам. Горизонтальное масштабирование — непростая штука. Да простят меня мастера-архитекторы – иногда позволяю себе «умножить на 2» производительность, полученную на стенде НТ, который в 2 раза слабее Прода по ресурсам, при микросервисной архитектуре и не загруженности всех узлов по метрикам серверов. Можно предположить, что на Прод будет не хуже.
Сравнение производительности простой web-ки на node.js при увеличении ресурсов машины в 2 раза.
Как-то студенты курса по НТ проводили простой эксперимент по оценке влияния повышения ресурсов сервера, на котором крутилась простая веб-страничка c node.js под капотом, практически ничего не делающая. Результат налицо. Теперь храню эту картинку и показываю всем, кто любит «умножать на 10».
PROD (стенд на базе инфраструктуры Продуктивного контура) – опасно, но крайне эффективно
Жиза: Чтобы быть уверенными в высокой доступности новых, серьёзных по нагрузке сервисов, финальные тесты мы проводим здесь. Особенно это актуально, когда у нас мало времени, например, при запуске срочных выплат населению страны последних пары лет.
Пользователи Госуслуг засыпают, а мы собираемся на ночной zoom и аккуратно тестируем на PROD-инфраструктуре. Тюним на месте, записываем изменения конфигов «на лету» себе в тикеты «на утро». Отдельно заказываем новые VM туда, где понимаем, что не успеем дотюниться до запуска сервиса.
Конечно, для этого нужна аккуратная и дотошная подготовка скриптов для очистки мусора после тестов и выверенный чёткий план тестирования с автоматизацией запуска тестов.
Что можно: Конечно, не всё. В первую очередь это стресс-тесты — короткие, точные, до первых узких мест, чтобы затем произвести тюнинг. Можно сразу в онлайне, чтобы не уходить потом на ещё одни работы. Не получится использовать инфраструктуру PROD, если у вас интенсивная пользовательская нагрузка 24/7 и нет микросервисов, которые вы можете изолировать от влияния на пользователей на 99%+.
Для тех, кто по каким-то причинам не хочет в этом участвовать, есть отличный аргумент — или мы сейчас проконтролируем что будет, или будем смотреть на это в онлайне, на живых пользователях и чинить, теряя SLA.
Pros and cons:
+ не только НТ, но и тренировка для команды
+ в нехватке времени можно тюнить на лету (конечно, сохраняя улучшения в репозиториях)
– требуется хорошая подготовка плана и скриптов очистки
– не для каждого сервиса возможно НТ на инфраструктуре PROD
Advice: Все же помнят хорошую практику: всё что выкатывается на PROD должно тестироваться? Это же касается и ваших скриптов НТ, тестовых данных, скриптов очистки от мусора после НТ. Всё должно быть протестировано на младших контурах, считайте, что это такой же релиз.
Ну и конечно, так как НТ на PROD — это часто ночные работы, не замучайте команду в ночь перед запуском важных сервисов. Если не успеваете, лучше ребятам поспать ночь и с утра уже готовиться к проблемам на PROD, быстрее будут реагировать.
Во всём нужна мера, потому что, как говорил один мой знакомый менеджер: «Работа отнимает всё отведенное на неё время».
Вместо заключения
Как видите, у каждого стенда НТ найдутся свои нюансы, а главное – своя польза. Уже давно прошли те времена, когда подрядчик требовал нагрузочный стенд, а заказчик закупал его месяцами, тратя огромные деньги. С новыми средствами НТ и микросервисной архитектурой тесты можно проводить на разных этапах и на разных стендах достаточно быстро.
Я бы описал рекомендованный путь становления процессов НТ в компании по части стендов так:
UAT – отсюда можно стартовать регрессионное НТ
DEV – для новых сервисов, которые будут нагружены
PROD – когда отдельного стенда НТ нет, а ожидается новая большая нагрузка
LT – когда уже научитесь тестировать, поймете систему и действительно сможете использовать дорогое удовольствие с пользой
Конечно, эти стенды у вас могут называться по-другому, типы тестов тоже. Я старался использовать плюс-минус общепринятые понятия. На закрепление терминологии не претендую.
Пишите в комментариях про ваш опыт использования тестовых стендов для НТ. Буду рад почерпнуть что-то новое, в том числе по поводу плюсов и минусов каждого.