что такое тул в тестировании
test tool
Смотреть что такое «test tool» в других словарях:
HTTP Test Tool — (htt) is an open source scriptable protocol test tool for HTTP protocol based products like web servers, web browsers, web applications or ICAP.Software products are per se not error free. Add new features, fix errors and upgrade library versions … Wikipedia
Computer-Aided Test Tool — (CATT) is used to create automatic test cases by SAP consultants and ABAP programmers. It is also frequently used to upload master data or to make changes to master data records. The transactions run without user interaction. You can check system … Wikipedia
Test automation — Compare with Manual testing. Test automation is the use of software to control the execution of tests, the comparison of actual outcomes to predicted outcomes, the setting up of test preconditions, and other test control and test reporting… … Wikipedia
Test script — A test script in Software Testing is a set of instructions that will be performed on the System Under Test to test that the system functions as expected. These steps can be executed manually or automatically.There are various means for executing… … Wikipedia
Test management — is the activity of managing some tests. A test management tool is a Software used by Quality Assurance team to manage the tests (automatic or not) that have been previously specified. It is often associated with an Automation software. Test… … Wikipedia
Test Manager — is a software tool designed by Marc Elian Bégin, from CERN. It was first created to help the gLite Grid middleware team at CERN to better manage the execution and visualisation of results of different tests, written in different languages and… … Wikipedia
Test and tagging — is a generic name given to the process of visually inspecting and electrically testing in service electrical equipment for personal use and/or safety. Colloquially, it is also referred to as; tagging, test tag, test and tag, electrical tagging,… … Wikipedia
Test Of English for International Communication — Le diplôme du TOEIC version or (score entre 860 et 990, ici 875) Le Test Of English for International Communication (TOEIC) est un examen permettant de déterminer avec quelle facilité un locuteur non anglophone utilise l anglais tant au niveau de … Wikipédia en Français
Test of english for international communication — Le diplôme du TOEIC version or (score entre 860 et 990, ici 875) Le Test Of English for International Communication (TOEIC) est un examen permettant de déterminer avec quelle facilité un locuteur non anglophone utilise l anglais tant au niveau de … Wikipédia en Français
Test call generator — Test Call Generators are Revenue Assurance solutions that replicate events on a Telecoms network to identify potential revenue leakage and to help achieve regulatory compliance. Both Cellular and Fixed Line Telecom operators utilise Test Call… … Wikipedia
Что такое тул в тестировании
А почем небольшая? Что тогда большие?
Действительно какой-то странный перевод, Алекс.
А как перевести тогда слово «утилита»?
Василий, уточни, пожалуйста, вопрос.
А почем небольшая? Что тогда большие?
А почем небольшая? Что тогда большие?
А почем небольшая? Что тогда большие?
Хорошо, пусть будет так:
Действительно какой-то странный перевод, Алекс.
А как перевести тогда слово «утилита»?
Действительно какой-то странный перевод, Алекс.
А как перевести тогда слово «утилита»?
Слово «утилита» само по себе требует перевода или расшифровки. Я бы не стал включать его в перевод, имхо.
Я вспоминаю еще Norton Utility на заре существования PC.
А все же, нет ли противоречий между «тулом» и «утилитой»? Правильно ли я понимаю, что «тул» может быть больше «утилиты»?
Я вспоминаю еще Norton Utility на заре существования PC.
А все же, нет ли противоречий между «тулом» и «утилитой»? Правильно ли я понимаю, что «тул» может быть больше «утилиты»?
А все же, нет ли противоречий между «тулом» и «утилитой»? Правильно ли я понимаю, что «тул» может быть больше «утилиты»?
🐛 🛠 Изучаем инструменты тестировщика
Инженеру QA приходится изучать производственные процессы и продумывать сценарии тестирования с учетом всех влияющих на программный продукт факторов. Такая работа требует большого количества рутинных действий, огромной внимательности и готовности постоянно учиться: в этом помогают средства управления тестированием, диаграммы связей и множество специальных плагинов на любой вкус. Расскажем о наиболее популярных среди профессионалов инструментах.
Управление тестированием
Для ручного тестирования существуют специальные средства коллективной работы, позволяющие управлять командой и задачами. Вся коммуникация осуществляется прямо в программе:
Скриншоты и работа с ними
Для тестировщика важна наглядность. Очень легко пропустить важную информацию в потоке однотипных данных. Создание и анализ скриншотов с помощью специальных инструментов – важная часть работы инженера QA:
Генераторы данных
Для тестирования часто используют текстовые файлы с одними и теми же наборами данных. Со временем баги “привыкают” к тестам и перестают находиться. Для решения проблемы тестировщики применяют специальные инструменты:
Визуальное отображение и интеллект-карты
Интеллект-карты (диаграммы связей) полезный инструмент в работе тестировщика. Человеческий мозг хорошо обрабатывает визуальную информацию, поэтому с их помощью можно строить связи и находить много общего в результатах тестирования. Как мы уже писали, наглядность для инженера QA чрезвычайно важна:
Чек-листы
В часто повторяющихся процессах со временем возникают пробелы. Чтобы ничего не упустить и не потерять, чек-лист – отличный инструмент. Тестировщик может им пользоваться для контроля, остальные участники процесса – для понимания происходящего:
Валидаторы HTML/CSS
Валидатор анализирует данные по URL приложения. Он проверяет правильность разметки веб-документов в HTML, совместимость с мобильными устройствами, работоспособность ссылок и многое другое:
Обучение тестировщика – процесс непрерывный. Индустрия постоянно предлагает новые инструменты, но не стоит пугаться, если их набор кажется слишком большим и непонятным. Читайте мануалы и пробуйте, а разложить все по полочкам и выбрать подходящий набор поможет время или факультет тестирования ПО GeekBrains. Под руководством опытных наставников вы разберете, в каких ситуациях и для какого тестирования подойдет то или иное средство.
Тулзы ручного тестировщика приложений на базе Windows
Я занимаюсь тестированием десктоп приложений на базе Windows и в данный момент слежу за качеством одной отечественной ММОРПГ. Со временем я оброс некоторыми тулзами, позволяющими улучшить процессы ручного тестирования. В данной статье не хочу трогать полноценную автоматизацию (зависящую от ЯП, игрового движка и желания куашника лезть в эти дебри), а больше рассказать про ПО, которым я сам пользуюсь и которое не так часто всплывает в подобных темах (зачастую упор на мобилках и вэбе).
Virtual Box
Когда использовать: инсталляционное тестирование.
По данным Steam на апрель 2021 наиболее популярной ОСью является Windows 10 64 bit (92.38%). Следом за ней идут Windows 7 64 bit (2.33%) и Windows 8.1 64 bit (1.08%). Среди языков наиболее популярные: английский (39.27%), упрощенный китайский (18.83%) и русский (11.18%). Если с языками в рамках одной ОСи и можно поиграться, то иметь несколько разных ОСей на одной машине и переключаться между ними, прогоняя тесты, – удовольствие, скажем честно, на любителя.
Здесь нам и приходят на помощь средства виртуализации, где имхо самым простым и удобным будет Virtual Box. Позволяет прямо здесь и сейчас раскатать несколько образов систем разных разрядностей, языков, объемов ПЗУ и ОЗУ. Создать клон виртуальной машины или сделать снимок системы, к которому можно откатываться после прогона тестов. Образы виртуального диска можно копипастить и использовать на разных физических машинах. Из минусов, в виртуалку не прокинуть видеокарту, в Virtual Box данного функционала попросту нет. link_virtualbox
NetBalancer и Tmeter
Когда использовать: стресс тестирование.
То, что замечательно работает при 500 Мбит, может быть абсолютно неюзабельным при 1 Мбит. Как проводить подобные тесты? Можно, конечно, понизить пропускную способность сетевой карты средствами windows, урезав, скажем, значение до 10 Мбит и поиграть с дуплексом. Или потыкаться в настройках роутера. Но хочется все же более точных цифр и статистики.
Решение для богатых — NetBalancer. Решение для чуть менее богатых – Tmeter. Оба приложения позволяют редактировать скорость всего трафика или выставить ограничения на конкретный процесс, задавать правила и фильтры, отображать кол-во полученных и посланных байт в риалтайме. Оба выводят виджет с графиками, имеют приятный интерфейс и гибкую настройку.
Преимущество, на мой взгляд, у NetBalancer`а – есть возможность выбрать запущенное приложение и сохранить всю его статистику по трафику с указанием времени. Но да, за него придется немного забашлять разрабам. Tmeter бесплатный, но со статистикой у него похуже: подробного и посекундного сбора у него нет, только общие цифры. Небольшая оговорка: следует помнить, что все эти проверки синтетические и могут отличаться от реальных условий.
link_netbalancer и link_tmeter
AutoHotKey
Когда использовать: когда угодно.
При нажатии сочетания клавиш ctrl+shift+v поле будет выглядеть так:
Если не лень, можно заморочиться и писать целые сценарии, кликая мышью по координатам и нажимая различные клавиши/сочетания клавиш (но мы же понимаем, что это такое и лучше юзать нормальную автому).
Process monitor и DebugView
Когда использовать: когда угодно/анализ данных для баг репорта.
Допустим, вы запускаете игру и ловите синий экран смерти. С чего начать диагностику? Безусловно, пойдем изучать журнал windows и тыкать клиентские логи приложения. Но в дополнение к этому я бы выделил сразу две тулзы: Process monitor и DebugView. Первая выводит список всех процессов с указанием времени, позволяет сохранить их в табличку в csv/xml. Быстро, просто и удобно. Вторая перехватывает и выводит на экран, либо сохраняет в файл, вызовы OutputDebugString и DbgPrint, которые изначально заложил в код разработчик. Обычно применяется в том случае, когда проблема невоспроизводима на машине разработчика, а встроенный логгер по какой-либо причине неприменим (напр., по причине падения приложения или его отсутствия). Разработчик обильно обкладывает проблемное место отладочной печатью и отправляет приложение тестировщику, который воспроизводит ошибку и возвращает логи обратно — через несколько итераций проблема обычно находится. (за корректировку описания спасибо @AndreyDmitriev) link_prmonitor и link_debugview
MSI Afterburner
Когда использовать: когда угодно/нагрузочное тестирование.
Как быстро понять, привели ли изменения в проекте к улучшению производительности и увеличению кол-ва кадров в секунду? А если бы еще можно было подключить к этой программе свои скрипты – так вообще была бы сказка. Ну так есть такое! MSI Afterburner. Можно вывести на экран не просто кол-во кадров, а всю инфу с нагрузкой на железо (ОЗУ, ЦПУ, ГПУ, ̶М̶Г̶У̶). А также поиграться с настройкой видюхи! Вольтаж, память, регулировка скорости вентиляторов и кучу всякого разного. Еще раз отмечу, что MSI Afterburner позволяет запускать сторонние приложения на свои события. Так, например, я делаю питонячим скриптом скрины экрана в местах, где ФПС значительно проседает. link_msiab
Intel Graphics Perfomance Analyzers
Когда использовать: когда графическое приложение в конкретном месте безбожно тормозит.
Не совсем для всех и каждого. Приложение подойдет для мониторинга производительности программ с упором на графическую составляющую. Включает в себя целый список программных средств: GPA System Analyzer, Frame Analyzer, Trace Analyzer. Позволяет запустить прилажку, поставить ее на «паузу», захватить фрейм, собрать по нему объемную информацию и передать на анализ, скажем, техартистам, которые уже и будут заниматься оптимизацией. Еще никогда процесс сбора подобной информации не был так прост. Кому захочется почитать подробнее, вот хорошая статья на русском. link_intel_gpanalyzers
Самописные тулзы
Когда использовать: когда угодно.
Не хотел трогать автоматизацию, но считаю, что стоит упомянуть о самописных тулзах, которые можно использовать каждый день и на всех этапах тестирования. Отправка запросов, работа с БД, парсинг json`ов, анализ любых внутренних данных – в свои тулзы можно запихнуть все, что нужно и все, что угодно. Вариаций может быть масса. Я же использую Python и библиотеку pysimplegui, у которой есть отличный cookbook с примерами. А с помощью auto-py-to-exe легко и просто гуишка упаковывается в исполняемый файл.
Отладочные команды для куа отдела – это, конечно, круто. Но GUI оболочка под них (какой бы она не была) зарекомендовала себя как инструмент не только для куа, но и для ГД, арта, звука, продюсеров и других отделов. Конечно, можно попросить сделать это прогеров и потратить их время, но можно сделать все это и самостоятельно.
Разумеется, это не полный список, но и время у всех нас не резиновое. Скидывайте в комментарии ваши рабочие инструменты, интересно почитать, где и что можно усовершенствовать и дополнить. И спасибо за внимание!
Полезные функции DevTools для тестировщиков
P.S.: Очередность пунктов в списке не говорит об их важности.
Как мне кажется, на данный момент большинство компаний, которые делают продукты для мобильных устройств, имеют парк, из необходимых для полного тестирования их продукта, девайсов. Однако далеко не все считают необходимым тратить деньги на подобное. И, необходимость протестировать свой продукт на том или ином устройстве, не всегда зависит от того делают ли данный продукт для мобилок или нет. В связи с этим есть необходимость проверять свои сайты на мобильных устройствах без их физического присутствия. Минус данного подхода заключается в том, что большинство этих эмуляторов являются коммерческими.
Второй подпункт позволяет без всяких эмуляторов отследить все запросы и поведение Вашего продукта на устройствах android, просто подключив его к компьютеру и произведя небольшое количество манипуляций. Также плюс этого способа заключается в том, что можно настроить доступ к локальным серверам через такой тип подключения.
Продолжим рассматривать возможности DevTools для мобильных устройств. В вышеуказанных двух пунктах говорится о возможности изменять (подменять) геолокацию нахождения устройства и параметры юзер агента. Думаю, что многим тестировщикам частенько приходится воспроизводить какие-либо баги, которые были выловлены клиентами продукта не имея на то соответствующих технических возможностей. Подмена User-Agent поможет воспроизвести тот или иной баг, который был воспроизведен из какой-либо версии браузера или ОС. Закончив тестирование, никогда не забывайте возвращать данные User-Agent в исходное положение.
Подмена User-Agent
Определение JS пути к строке.
Этот пункт будет больше интересен тем, кто занимается автоматизацией тестирования. Скопировав полный путь к определенной строке в формате JS, можно ссылаться на него в автоматизированном тесте. Безусловно, данный способ не самый популярный для автоматизаторов, потому что этот путь может часто меняться, но на первых порах, когда еще не будет выработан скилл, помогающий с закрытыми глазами строить нужные селекторы для тестов, то эта возможность в DevTools может Вам помочь.
Считаю очень полезным умением для тестировщика представлять, как может выглядеть та или иная кнопка на сайте или какое-либо поле. В данном пункте рассматривается добавление фонового окраса для поля. Помимо этого, для элементов можно изменять и другие параметры (шрифт, размер, цвет и т.д.), для того чтобы можно было сразу указать разработчику или дизайнеру, как Вы видите этот элемент в контексте страницы либо, по просьбе заказчика изменить кнопку в “live” режиме.
Пример изменения размера поля элемента
Не будем забывать про тестирование производительности, данный пункт будет интересен именно с точки зрения ускорения загрузки Вашего web-сайта. Если количество неиспользуемого кода, который каждый раз “пробегает” при загрузке той или иной страницы, очень велико, то при помощи действий, описанных в статье, будет возможность найти весь неиспользуемый код и указать его, как артефакт в баг репорте.
Отчет о покрытии кода
Немного интересного про debug JavaScript.
Такую возможность добавили в DevTools относительно недавно (с 65 версией). Она позволяет сохранять все изменения, которые были внесены в те же CSS стили, о которых я говорил выше. И при перезагрузке страницы они сохранятся, чтобы, например, была возможность посмотреть, как ведет себя измененная кнопка при загрузке страницы.
Выбор скорости соединения
Тоже очень полезная вещь, которую я не смог найти ни в одной статье про DevTools для тестировщиков. Здесь можно настроить именно те столбцы, которые необходимы для анализа запросов на сайте в Вашем конкретном случае.
Список возможных столбцов в Network
Думаю, этот пункт было бы логично связать с восьмым в этом списке. Тоже очень полезная вещь, как мне кажется, которая может помочь уловить плавающий баг, либо отследить ненормальное или нелогичное поведение во время загрузки страницы.
С развитием рекламы в сети появились и различные приложения, которые эту рекламу блокируют, для удобства пользования браузерами. Для того, чтобы проверить как себя поведет страница, если будет заблокирован тот или иной запрос, можно воспользоваться блокировкой интересующего запроса, хороший пример описан в источнике.
Бонусы:
Здесь я бы хотел оставить те ссылки (с небольшими пометками), которыми я лично еще не пользовался, но которые, по моему мнению, были бы полезны для изучения и последующего применении тестировщиком на практике:
Безусловно DevTools не ограничивается тем функционалом, который я описал выше. Есть очень интересные вкладки, которые называется performance и audit, но я не стал нагружать еще этой информацией, так как считаю это темой для отдельной статьи, если в целом это интересно будет прочитать и познакомиться с этими вкладками в DevTools.