что такое смок тестирование
Smoke-тестирование
Согласно определению ISTQB Smoke-тестирование – это набор тестов, который охватывает основные функции компонента или системы, чтобы определить, правильно ли они работают, до начала запланированного тестирования.
Иными словами – это минимальный набор тестов, прохождение которых показывает, что продукт готов к дальнейшему тестированию. Smoke-тестирование можно также назвать «Проверкой сборки», так как с помощью Smoke-тестов мы проверяем работоспособность и стабильность сборки.
Преимущества Smoke-тестирования
У дымового тестирования много достоинств. Из самых важных:
Различие между Smoke, Sanity и Регрессионным тестированием.
Как выполняется смоук-тестирование
Smoke-тестирование выполняется при каждой новой сборке. Для этого определяется минимальный набор тест-кейсов для критически важного функционала. На этапе написания тест-кейсов определяют Priority и Severity кейса. В Smoke-прогон входят кейсы с Priority High и Severity Critical, как правило, это основные пользовательские сценарии, набор кейсов для проверок интеграционных модулей. К примеру, у нас в системе используются сторонние модули для скачивания документов, отображения карт, отправки писем, регистрации через интеграционную систему – эти кейсы добавлены в Smoke-прогон.
С помощью них проверяется их рабочее состояние и дается гарантия, что все критически важные функции работают правильно. Задача – проверить, подключен ли модуль, выполняет ли он свою основную функцию. К примеру, при проверке модуля скачивания документов нужно убедиться, что документ скачивается, а что конкретно в нем отображено – это проверка в рамках регресса. Исходя из Smoke мы поняли, что модуль в общей сборке корректен и подключен к системе.
Основная цель дымового тестирования – раннее обнаружение проблем в сборке. Если в сборке присутствуют ошибки, то дальнейшее тестирование будет лишь тратой времени и ресурсов.
Как правило Smoke-тестирование выполняется вручную, но если приложение обновляется часто и есть повторяющиеся от сборки к сборке текст-кейсы, то их можно автоматизировать для экономии времени и ресурсов.
Для выполнения сценариев удобнее всего пользоваться заранее составленным чек-листом, где описан процесс, ожидаемый результат и дана информация о результате прохождения. Последнее особенно важно фиксировать. Это даст понимание о том, что работает, а что нет. Только при положительном прохождении всех сценариев Smoke-тестирование считается успешно пройденным, а сборка передается далее на тестирование.
Если же обнаружены проблемы, то сборка отклоняется и передается обратно разработчикам для исправления. После внесения исправления тестировщик снова должен провести смоук-тестирование.
Все результаты Smoke-прогона тестировщики фиксируют в системе управления. На основании этой информации формируются диаграммы Smoke-прогона.
Пример Smoke-тестирования
Например, в тестируемом приложении есть следующие основные пользовательские сценарии:
Для такого приложения тестировщик в ходе Smoke-тестирования должен проверить все основные пользовательские сценарии. Например:
Заключение
Таким образом, Smoke-тестирование или проверка сборки проводится для того, чтобы до запуска продукта убедиться, что всё работает стабильно и отвечает требованиям заказчика. Оно проводится при каждой новой сборке. У этого вида тестирования много преимуществ: оно помогает заметить дефекты на раннем этапе, повысить качество системы и экономит время.
Что такое смок тестирование
Что пишут в блогах
Стоимость в цвете — 2500 рублей самовывозом (доставка еще 500-600 рублей, информация по ней будет чуть позже)
Заказать — https://shop.testbase.ru/buy/book. Пока самовывоз (см ниже где и когда!!). С почтой разберемся чуть позже.
Где: Кострома / онлайн
2 декабря буду выступать в Костроме. Приходите увидеться очно, или подключайтесь онлайн.
Онлайн-тренинги
Что пишут в блогах (EN)
Blogposts:
Разделы портала
Про инструменты
Оригинальная публикация: http://habr.com/post/358142/
Оригинал. Перевод разбавлен размышлениями и дополнениями автора из своего опыта
О чём это всё
Будучи инженером по тестированию, вы, вероятно, слышали о таких видах тестирования как «дымовое» (smoke), «санитарное тестирование» (sanity), «ре-тест» и регрессионное тестирование. Вполне возможно, многие из этих видов используются вами на ежедневной основе.
В этой статье я хотел бы внести ясность и объяснить разницу между этими видами тестирования и попробовать разобраться, провести границы (хоть и условные) где заканчивается один вид тестирования, и начинается другой.
Для новичков в тестировании (и даже опытных тестировщиков) разделение этих понятий может быть затруднительно. И в самом деле, как отличить где начинается санити-тестирование и заканчивается smoke? Насколько сильно нам надо ограничить проверку части функциональности системы или её компонентов, чтобы назвать это «дымовым» тестированием? Является ли ввод логина/пароля в пользовательскую форму входа на сайт дымовым тестом, или сам факт её появления на странице сайта уже является пройденным тестом?
Строго говоря, вы всё равно сможете проводить тестирование, даже при том что не сможете точно сказать, в чём же разница. Можно даже не задумываться о разграничении, каким именно видом тестирования вы сейчас заняты. Но всё же, чтобы расти над собой в профессиональном смысле, нужно знать что вы делаете, зачем, и насколько правильно вы это делаете.
Ликбез
Ниже приведены краткие определения видов тестирования, которые мы сегодня сравниваем:
Оба эти вида тестирования нацелены на то, чтобы избежать потерь времени и усилий, чтобы быстрее определить недостатки ПО и их критичность, а так же то, заслуживает ли оно перехода в фазу более углублённого и тщательного тестирования или же нет.
Для лучшего понимания ниже представлена сравнительная таблица этих понятий и области применения:
| Дымовые (Smoke) | Санити (Sanity) | Регрессионные (Regression) | Ре-тест (Re-test) |
|---|---|---|---|
| Исполняются с целью проверить что критически важные функциональные части AUT работают как положено | Нацелено на установление факта того, что определённые части AUT всё так же работают как положено после минорных изменений или исправлений багов | Подтверждают, что свежие изменения в коде или приложении в целом не оказали негативного влияния на уже существующую функциональность/набор функций | Перепроверяет и подтверждает факт того, что ранее заваленные тест-кейсы проходят после того, как дефекты исправлены |
| Цель — проверить «стабильность» системы в целом, чтобы дать зелёный свет проведению более тщательного тестирования | Целью является проверить общее состояние системы в деталях, чтобы приступить к более тщательному тестированию | Цель — убедиться что свежие изменения в коде не оказали побочных эффектов на устоявшуюся работающую функциональность | Ре-тест проверяет что дефект исправлен |
| Перепроверка дефектов не является целью Smoke | Перепроверка дефектов не является целью Sanity | Перепроверка дефектов не является целью Regression | Факт того что дефект исправлен подтверждает Re-Test |
| Дымовое тестирование выполняется перед регрессионным | Санитарное тестирование выполняется перед регрессионным и после smoke-тестов | Проводится на основании требований проекта и доступности ресурсов (закрывается автотестами), «регресс» может проводиться в параллели с ре-тестами | — Ре-тест выполняется перед sanity-тестированием — Так же, приоритет ре-теста выше регрессионных проверок, поэтому должно выполняться перед ними |
| Может выполняться автоматизированно или вручную | Чаще выполняется вручную | Лучший повод для автоматизации данного вида тестирования, т.к. ручное может быть крайне затратным по ресурсам или времени | Не поддаётся автоматизации |
| Является подмножеством регрессионного тестирования | Подмножество приёмочного тестирования | Выполняется при любой модификации или изменениях в уже существующем проекте | Ре-тест проводится на исправленной сборке с использованием тех же данных, на том же окружении, но с различным набором входных данных |
| Тест-кейсы часть регрессионных тест-кейсов, но покрывающие крайне критичную функциональность | Санитарное может выполняться без тест-кейсов, но знание тестируемой системы обязательно | Тест-кейсы регрессионного тестирования могут быть получены из функциональных требований или спецификаций, пользовательских мануалов, и проводятся вне зависимости от того, что исправили разработчики | Используется тот же самый тест-кейс, который выявил дефект |
Ну а по существу?
Приведу пример разграничения понятий на моём текущем проекте.
Пример: у нас есть веб-сервис с пользовательским интерфейсом и RESTful API. Будучи тестировщиками, мы знаем:
Тогда можно сделать ряд утверждений о том, какие типы тестов нужно использовать в какой момент времени:
При этом, если это api принимает так же post-запросы, то очевидно что в другой набор тестов sanity нужно включить именно эти запросы. По аналогии с UI мы будем проверять все страницы приложения.
Подведём итог
Надеюсь, что после чтения данной статьи, у вас появится ясность в определении какой вид тестирования вы используете на каком этапе, и в чём разница между этими видами тестирования. Как и было упомянуто вначале, граница между этими понятиями весьма условная и остаётся на ваше усмотрение в рамках проекта.
Тестирование дыма
Что такое тестирование дыма?
SMOKE TESTING — это тип тестирования программного обеспечения, который определяет, является ли развернутая сборка стабильной или нет. Цель Smoke Проверяет это, чтобы подтвердить, может ли команда QA продолжить дальнейшее тестирование. Дымовые тесты — это минимальный набор тестов, запускаемых на каждой сборке.
Дымовое тестирование — это процесс, в котором сборка программного обеспечения развертывается в среде QA и проверяется для обеспечения стабильности приложения. Он также называется «Тестирование проверки сборки» или «Проверка достоверности».
Проще говоря, мы проверяем, работают ли важные функции, и в тестируемой сборке нет демонстраторов.
Это мини и быстрый регрессионный тест основных функций. Это простой тест, который показывает, что продукт готов к тестированию. Это помогает определить, является ли сборка дефектной, что делает дальнейшее тестирование пустой тратой времени и ресурсов.
Испытания на дым пригодны для дальнейшего формального тестирования. Основной целью тестирования дыма является выявление ранних серьезных проблем. Дымовые тесты предназначены для демонстрации стабильности системы и соответствия требованиям.
Сборка включает в себя все файлы данных, библиотеки, многократно используемые модули, инженерные компоненты, необходимые для реализации одной или нескольких функций продукта.
В этом уроке вы узнаете
Когда мы проводим тестирование на курение
Тестирование дыма проводится всякий раз, когда новые функциональные возможности программного обеспечения разрабатываются и интегрируются с существующей сборкой, развернутой в среде QA / staging. Это гарантирует, что все критические функции работают правильно или нет.
Любой сбой указывает на необходимость обработки системы обратно в команду разработчиков. Всякий раз, когда происходит изменение в сборке, мы проводим тестирование дыма, чтобы обеспечить стабильность.
Кто будет делать тестирование дыма
После выпуска сборки в среду QA, инженеры QA / ведущие специалисты по QA проводят тестирование дыма. Всякий раз, когда появляется новая сборка, команда QA определяет основные функциональные возможности приложения для тестирования дыма. Команда QA проверяет наличие showtoppers в тестируемом приложении.
Тестирование, проводимое в среде разработки кода, чтобы убедиться в корректности приложения перед выпуском сборки для QA, это называется тестированием Sanity. Обычно это узкое и глубокое тестирование. Это процесс, который проверяет соответствие разрабатываемого приложения его основным функциональным требованиям.
Проверка работоспособности определяет завершение этапа разработки и принимает решение о том, сдать или нет программный продукт для дальнейшей фазы тестирования.
Почему мы проводим тестирование на курение?
Тестирование дыма играет важную роль в разработке программного обеспечения, поскольку оно обеспечивает правильность работы системы на начальных этапах. Этим мы можем сэкономить усилия по тестированию. В результате, тесты дыма приводят систему в хорошее состояние. Как только мы закончим тестирование дыма, только мы начнем функциональное тестирование.
Пример 1: Окно регистрации: возможность перехода к следующему окну с действительным именем пользователя и паролем при нажатии кнопки «Отправить».
Пример 2. Пользователь не может выйти из веб-страницы.
Как сделать тестирование дыма?
Тестирование дыма обычно выполняется вручную, хотя есть возможность выполнить то же самое с помощью автоматизации. Это может варьироваться от организации к организации.
Ручное тестирование дыма
В общем, тестирование дыма проводится вручную. Это подходы варьируется от одной организации к другой. Дымовое тестирование проводится для обеспечения того, чтобы навигация по критическим путям соответствовала ожидаемым и не мешала функционированию. После того, как сборка выпущена в QA, необходимо выполнить тесты с высоким приоритетом функциональности и проверить их на предмет выявления критических дефектов в системе. Если тест пройден, мы продолжаем функциональное тестирование. Если тест не пройден, сборка отклоняется и отправляется обратно в команду разработчиков для исправления. QA снова начинает тестирование дыма с новой версией сборки. Дымовое тестирование выполняется на новой сборке и будет интегрировано со старыми сборками для поддержания правильности системы. Прежде чем проводить тестирование на дым, команда QA должна проверить правильность версий сборки.
Тестирование дыма автоматизацией
Вместо того, чтобы повторять тестирование вручную всякий раз, когда развертывается новая сборка программного обеспечения, для сборки выполняются записанные тесты дымового теста. Он проверяет, все ли основные функции все еще работают должным образом. Если тест не пройден, они могут исправить сборку и немедленно повторно развернуть сборку. Благодаря этому мы можем сэкономить время и обеспечить качественную сборку в среде QA.
Используя автоматизированный инструмент, инженер-тестировщик записывает все шаги, выполняемые вручную при сборке программного обеспечения.
Цикл испытаний дыма
Ниже блок-схема показывает, как выполняется тестирование дыма. Как только сборка развернута в QA и пройдены тесты дыма, мы приступаем к функциональному тестированию. Если тест дыма не пройден, мы прекращаем тестирование, пока проблема в сборке не будет устранена.
Цикл испытаний дыма
Преимущества тестирования дыма
Вот несколько преимуществ, перечисленных для тестирования дыма.
Что произойдет, если мы не проведем тестирование дыма
Если мы не проводим тестирование дыма на ранних стадиях, дефекты могут возникнуть на более поздних стадиях, где это может быть экономически эффективным. И Дефект, обнаруженный на более поздних стадиях, может показать пробки, где он может повлиять на выпуск результатов.
Образец примера тестов дыма
| T.ID | СЦЕНАРИИ ИСПЫТАНИЙ | ОПИСАНИЕ | ТЕСТОВЫЙ ШАГ | ОЖИДАЕМЫЙ РЕЗУЛЬТАТ | ФАКТИЧЕСКИЙ РЕЗУЛЬТАТ | ПОЛОЖЕНИЕ ДЕЛ |
|---|---|---|---|---|---|---|
| 1 | Действительные учетные данные для входа | Проверьте функциональность входа в систему веб-приложения, чтобы убедиться, что зарегистрированному пользователю разрешено входить с именем пользователя и паролем. | 1. Запустите приложение 2. Перейдите на страницу входа в систему 3. Введите действительное имя пользователя 4. Введите действительный пароль 5. Нажмите на кнопку входа | Логин должен быть успешным | как и ожидалось | Проходить |
| 2 | Добавление функциональности предмета | Возможность добавить товар в корзину | 1. Выбрать список категорий 2. Добавить товар в корзину | Товар должен быть добавлен в корзину | Товар не добавляется в корзину | Потерпеть поражение |
| 3 | Функциональность выхода | Проверьте выход функциональности | 1. выберите кнопку выхода | Пользователь должен иметь возможность выйти. | Пользователь не может выйти | Потерпеть поражение |
Резюме:
В программной инженерии тестирование Smoke должно выполняться на каждой сборке в обязательном порядке, поскольку это помогает находить дефекты на ранних стадиях. Тестирование дыма — последний шаг перед тем, как сборка программного обеспечения войдет в системную стадию. Дымовые тесты должны выполняться на каждой сборке, включенной в тестирование. Это относится к новым разработкам и основным и второстепенным версиям системы.
Перед проведением дымового тестирования команда QA должна убедиться в правильности сборки версии тестируемого приложения. Это простой процесс, который требует минимального времени для проверки стабильности приложения.
Дымовые тесты могут минимизировать усилия по тестированию и могут улучшить качество приложения. Тестирование дыма может быть сделано или вручную или автоматизацией в зависимости от клиента и организации.
Эта статья предоставлена Павани Ичапурапу
Дымовое и санитарное тестирование: понятия и характерные отличия
Обычно люди запутываются в значениях дымового и санитарного тестирования. Прежде всего, эти два понятия очень разные, да и QA выполняет их на разных этапах цикла тестирования.
Дымовое тестирование (англ. smoke testing)
Дымовое тестирование– это особый вид проверки программного обеспечения, направленный на тщательный анализ работоспособности разрабатываемого веб-продукта, а именно наиболее важных и критических моментов. Итоги подобных проверок применяются для того, чтобы понять, можно ли характеризовать созданное ПО как максимально стабильную сборку для последующего тестирования.
Выполнение дымового тестирования проводиться тогда, когда QA-отдел внутри компаний по обеспечению качества получает в работу новую версию ПО, изначально считая ее не до конца доработанной и исправной. При подобной проверке крайне важно убедиться в том, что все самые важные параметры тестируемого продукта функционируют корректно и согласно заявленным ожиданиям.
Философия подобного вида тестирования основывается на том, что тестировщики должны как можно ранее найти источник и причины возникновения багов и отклонить проверяемую версию на последующую доработку программистам.
Дымовые тесты очень важны, так как позволяют не проводить сложные проверки уже на стадии официального релиза, дабы не выпустить потребителям некачественное ПО.
Базовая задача такого рода тестов заключается в быстрой проверке работоспособности и стабильности программного обеспечения в целом, без надобности проведения тщательных проверок в будущем.
Ключевые преимущества дымовых тестов
Санитарное тестирование (англ. sanity testing)
Санитарное тестирование – очень специфическая проверка работоспособности отдельных функциональных элементов, систем, веб-архитектур и расчетов. Она выполняется с единственной целью – дать 100% понятие того, что создаваемая система работает именно так, как того и требовалось.
Подобный тип тестирования нередко выполняется до старта полного цикла проведения регрессионных проверок, но только после окончания дымового тестирования.
Традиционно, санитарные проверки выполняются тогда, когда исправлен незначительный дефект внутри системы или ранее выполнялись работы по частичном редактировании логики работы ПО.
Как только изменения были внесены в код, новая сборка программного обеспечения передается на проверку в отдел тестирования. После установки сборки QA-специалисты могут выполнять эффективную проверку отредактированной функциональности вместо полной регрессии программного обеспечения, которое занимает существенно больше времени.
Если исправленные баги и редакции кода работают неверно, тогда тестировщик не имеет права принимать сборку на тест. Отметим, что любые дефекты, найденные на такой ранней стадии, смогут сэкономить массу времени на процессе проверки недоработанной сборки.
Ключевые особенности санитарного тестирования
Преимущества санитарного тестирования
Недостатки
Сравнение дымового и санитарного тестирования
| Дымовое тестирование | Санитарное тестирование |
|---|---|
| Выполняется исключительно на начальных стадиях разработки ПО еще до начала проведения регрессионных проверок | Осуществляется на сборках, которые успешно прошли дымовое тестирование и им еще предстоит полный цикл регрессионных проверок |
| Сборка может быть как стабильной, так и нестабильной | Сборка отличается максимально стабильной работой |
| Мотивы подобного тестирования основываются на надобности знакомства с новыми версиями ПО | Базовая цель – тестирование рациональности работы внедренных конфигураций для последующего тщательного тестирования |
| Критические ошибки при дымовом тестировании моментально приводят к отказу от использования этой сборки ПО | Найденные ошибки позволяют переместить сборку в список отклоненных, с которыми еще предстоит иметь дело |
| Проводиться в равной степени что QA-специалистами, что отделом разработки | Традиционно работа тестировщика |
| Состоит из определенной документации и работы по заранее созданным сценариям | Четко выраженного акцента на работе по сценариям нет |
| Выполняется как вручную, так и с помощью запрограммированных автотестов | Проводится исключительно вручную |
Наглядные примеры использования данных тестов
Детально рассмотрим реальные примеры проведения подобных видов проверок на основе настоящих тестовых случаев.
Пример дымового тестирования
Допустим, в проверяемом ПО есть 5 модулей, а именно:
То есть, внутри данных модулей QA проводит тестирование, проверяя основную функциональность этих модулей, а точнее:
Пример санитарного тестирования
Снова представим, что есть 5 модулей:
При тестировании был найден дефект на странице авторизации. К примеру, поле для ввода пароля воспринимает комбинацию исключительно из 6 символов, что категорически не соответствует ТЗ, где указанно, что пароль может быть от 4 символов.
Тестер сообщил разработчику о найденном дефекте, чтобы он исправил его. Ошибка была исправлена, и модуль возвращается на тест QA-специалистам, которые также должны проверить работу и остальных 4 модулей. Они должны убедится в том, что тестирование исправленного бага не повлияло на корректную функциональность остальных систем и логик.
Но важно понимать, что при таком подходе тестируется только экстремальная функциональность модулей, нет никакого углубления в проверку деталей из-за отсутствия времени. Это и есть процедура санитарного тестирования.
Данные тесты проводятся только тогда, когда сборка ПО успешно прошла дымовые проверки и валидацию для последующих испытаний.