что делают с запросами
Общая схема выполнения запросов
Запросы в системе «1С:Предприятие 8» предназначены для выборки информации из базы данных. По сути, запрос — это обращение к системе с просьбой выбрать определенную информацию из базы данных, а часто не только выбрать, но и произвести некоторую обработку: сгруппировать, отсортировать, вычислить. Например, с помощью запроса можно легко узнать объем продаж каждого товара в течение года с детализацией до месяца или выбрать элементы справочников по определенному условию. Заметьте, что изменять данные с помощью запросов в 1С:Предприятии не разрешается.
Язык запросов 1С:Предприятия 8 основан на стандартном SQL, но при этом содержит значительное количество расширений, ориентированных на финансово-экономические задачи, и значительно облегчает разработку бизнес-приложений.
Для работы с запросами в системе «1С:Предприятие 8» предусмотрено несколько специальных объектов, а именно:
Общая схема выполнения запроса такова:
Графически это можно представить следующим образом:
Цифрами на схеме обозначены следующие действия:
1. Установка текста запроса
Объект «Запрос» имеет свойство «Текст», которое содержит строку с текстом запроса на языке запросов. Этому свойству, во-первых, можно явно присвоить значение или, во-вторых, воспользоваться конструктором объекта «Запрос». В последнем случае текст запроса передается в качестве параметра в конструктор объекта «Запрос» при его создании.
2-й вариант (с другим текстом запроса):
2. Установка параметров запроса
Объект «Запрос» имеет метод «УстановитьПараметр», с помощью которого в запрос передаются значения параметров. Параметры запроса обычно используются в условиях отбора (конструкции ГДЕ, ИМЕЮЩИЕ) или в качестве параметров вызова виртуальных таблиц. В тексте запроса параметры обозначаются знаком «&» (например, параметр «ВыбГруппа» в первом запросе).
В качестве параметров используются значения, которые указываются пользователем в диалоге или значения типов, для которых нет литералов, например, пустых ссылок на элементы справочников. Литералы же есть только у примитивных типов данных, а именно, число, строка, дата, булево, Null, Неопределено.
3. Выполнение запроса
После присвоения текста и установки параметров, запрос запускается на выполнение с помощью метода «Выполнить()» объекта «Запрос». Этот метод возвращает другой объект «РезультатЗапроса», содержащий выбранные данные из базы данных.
Далее возможны три варианта:
4. Получение выборки из результата запроса
Объект «РезультатЗапроса» имеет метод «Выбрать()», который возвращает новый объект «ВыборкаИзРезультатаЗапроса». В зависимости от параметра метода «Выбрать()» выборка будет линейной (по умолчанию), иерархической или по группировкам. Далее выборка обходится с помощью цикла «Пока Выборка.Следующий() Цикл», а в теле цикла производятся какие-то действия, например, вывод областей в табличный документ.
5. Выгрузка результата запроса в таблицу или дерево значений
6. Формирование сводной таблицы
Результат запроса может быть использован как источник данных для сводной таблицы. При этом итоги (см. предложение ИТОГИ в тексте запроса) становятся ресурсами (отображаются в области данных), а группировочные поля, по которым они подсчитываются, становятся измерениями сводной таблицы. В качестве источника данных для сводной таблицы может быть также использован объект «ПостроительОтчета», но ему на вход тоже подается запрос, поэтому можно сказать, что основа любой сводной таблицы — это запрос к базе данных.
Значение слова «запрос»
4. Разг. Назначение за продаваемую вещь или выполняемую работу более высокой цены, чем данная вещь, работа стоит. — Мы на правлении определили цены, чтобы без запроса и по справедливости. Мы не спекулянты, у нас колхозная торговля. Николаева, Жатва.
Источник (печатная версия): Словарь русского языка: В 4-х т. / РАН, Ин-т лингвистич. исследований; Под ред. А. П. Евгеньевой. — 4-е изд., стер. — М.: Рус. яз.; Полиграфресурсы, 1999; (электронная версия): Фундаментальная электронная библиотека
ЗАПРО’С, а, м. 1. Требование официального разъяснения от правительства или правительственных учреждений по какому-н. вопросу, делу (офиц., полит.). Сделать з. правительству (в парламенте). З. правых депутатов заставил правительство подать в отставку. Послать з. в финотдел. 2. только ед. Намеренное преувеличение требуемой цены за продаваемую вещь. З. в карман не лезет (купеческая поговорка). Цены без запроса, с запросом. 3. только мн. Духовные потребности, интересы (книжн.). Человек с запросами. Запросы красноармейского молодняка.
Источник: «Толковый словарь русского языка» под редакцией Д. Н. Ушакова (1935-1940); (электронная версия): Фундаментальная электронная библиотека
запро́с
1. офиц. просьба о выдаче чего-либо, формальное требование объяснений или сведений ◆ Несколько дней после его смерти послан был к нему на квартиру из департамента сторож, с приказанием немедленно явиться: начальник-де требует; но сторож должен был возвратиться ни с чем, давши отчёт, что не может больше прийти, и на запрос «почему?» выразился словами: «Да так, уж он умер, четвёртого дня похоронили». Гоголь, «Шинель», 1842 г. ◆ А о тёте на всякий случай послал запрос в Ереван через ЦК комсомола, как только Годунов вернулся из Таджикистана. Анна Берсенева, «Возраст третьей любви», 2005 г. (цитата из НКРЯ)
2. требование, спрос ◆ В последнее время, по случаю возникновения запроса на так называемых «свежих людей», запроса, обусловленного постепенным вырождением людей «не свежих», примеры подобных удачливых семей начали прорываться довольно часто. Салтыков-Щедрин, «Господа Головлевы», 1875–1880 г. ◆ …запрос на рабочие руки оказался громадный… Мамин-Сибиряк, «Золотая ночь», 1884 г. ◆ …максимально удовлетворять запросы потребителей при минимальных затратах на изготовление. Анатолий Карпенков, Юрий Нечетов, «Балтийские головастики», 2003 г. // «За рулём» (цитата из НКРЯ)
3. мн. ч. стремления, потребности, влечения ◆ Душевный состав мой накануне уверования в социализм: семейная оторванность, глубочайшее невежество, с грехом пополам оканчиваю реальное училище, смутные умственные запросы, гнавшие меня с факультета на факультет, какая-то особенная ежедневная вера, что чтением какой-нибудь книги я сразу всё себе и разрешу. М. М. Пришвин, «Дневники», 1918 г. (цитата из НКРЯ) ◆ То, что культурные запросы и художественные вкусы рабочих за последнее время значительно выросли, неоднократно констатировалось и по линии театра, и по линии кино. А. Ковалев, «Художественное радиовещание», 1928 г. // «Радио Всем» (цитата из НКРЯ)
4. устар. назначение за товар большей цены, чем он стоит; запрашивание ◆ ― Цена моя… будет деревенская, не то, что с запросом каким-нибудь али там прочее другое, а как перед богом, так и перед вами, для первого знакомства, удовольствие, значит, хочу сделать: на ваших харчах, выходит, двести рублёв серебром. Писемский, «Плотничья артель», 1855 г. ◆ Хоть и думал он, что бай заломит непомерную цену, но никак не ожидал такого запро́са. Мельников-Печерский, «На горах», 1875–1881 г. (цитата из НКРЯ) ◆ Стекло ли вставить, масла ли деревянного купить или рожу полюбовнику залить кислотой, ― шли непременно к Лопуху: у него товар свежий, с ручательством, и запросу нет. Л. М. Леонов, «Барсуки», 1924 г. (цитата из НКРЯ)
5. информ. требование на непосредственный вывод данных или на их извлечение из базы данных, основанное на заданных условиях ◆ Соответственно, получение результата также должно использовать сетевые механизмы для взаимодействия … их в стандартную форму и формирует сетевой запрос к серверу; упаковка аргументов и создание сетевого запроса … «Системное программное обеспечение: Учебник для вузов»
Делаем Карту слов лучше вместе
Привет! Меня зовут Лампобот, я компьютерная программа, которая помогает делать Карту слов. Я отлично умею считать, но пока плохо понимаю, как устроен ваш мир. Помоги мне разобраться!
Спасибо! Я стал чуточку лучше понимать мир эмоций.
Вопрос: укрощение — это что-то нейтральное, положительное или отрицательное?
Поисковый запрос
Что такое поисковый запрос
Поисковой запрос — это слово или фраза, с помощью которой пользователь ищет нужную ему информацию в Яндексе и Google. Поисковик обрабатывает запрос и показывает список релевантных сайтов. Чтобы повысить выдачу сайта при поиске, разработчики и сеошники учитывают ключевые слова.
Классификация поисковых запросов
В зависимости от цели сайта — продажа товаров и услуг, предоставление информации, форум — поисковые запросы делят на категории. Причем алгоритмы для ранжирования сайтов постоянно совершенствуются. Исходя из определенных функций, различают запросы по частоте, назначению, конкуренции, геозависимости и другие. Рассмотрим их подробно.
По частоте
Частотность или частота поисковых запросов прогнозирует показ ключевика в выдаче. Это количественный показатель, данные по которому берут из статистики поисковой системы за прошедший день, неделю, месяц. Сервисы сбора частотности ежемесячно анализируют пользовательский интерес к тематике, товару или услуге. Есть три группы запросов:
Низкочастотные включают три и больше слов, конкретных по содержанию. В них пользователи четко формулируют тему своего поиска. К примеру, «подключить и настроить для бизнеса виртуальную АТС». Чаще значения этого вида запросов колеблются от 0 до 1000 в месяц.
Среднечастотные состоят максимум из трех слов, причем степень обобщения выше, например, «подключить виртуальную АТС». Их частотность от 1500 до 5000 за месяц.
Высокочастотные имеют 1-3 слова широкого информационного или коммерческого содержания, по которым приходит большой объем трафика. Частотность таких запросов от 5000 и больше, у них высокая конкуренция.
По назначению
В зависимости от намерений и потребностей пользователей запросы по назначению бывают:
Информационные. Их вводят, когда ищут ответ на конкретный вопрос — «кто создал первый компьютер в мире», «как сверстать сайт самому».
Навигационные или брендовые. Такие запросы ищут определенный объект или субъект — «Стив Джобс», «Tilda», «официальный сайт Майкрософт».
Транзакционные обозначают желание пользователя что-то купить, заказать и затем оплатить банковской картой — «заказать продвижение сайта», «купить билет в Москву на самолет».
Мультимедийные помогают в поиске фотографий, видео, документов и другого контента — «скачать фото прыжка с парашютом», «смотреть исторический сериал в хорошем качестве».
Общие запросы имеют неопределенные цели и чаще состоят из одного слова. Выдача по ним смешанная, так как здесь отображаются и информационные, и коммерческие сайты.
По конкуренции
Анализируя конкурентов, можно определить примерный бюджет и время, которое нужно для вывода сайта в топ-10 или топ-3 поисковиков Яндекс и Google. Конкурентность — это относительный параметр, но чаще он требует крупные финансовые вложения. Есть три типа запросов:
Высококонкурентные — продвижение сайта по ним наиболее сложное и затратное из-за наличия в нише большого количества конкурентов.
Конкурентные — менее популярные запросы со средним бюджетом на раскрутку.
Низкоконкурентные — можно быстро вывести в топ, потратив в разы меньше времени и денег.
По геозависимости
Есть геозависимые и геонезависимые поисковые запросы. Первые привязаны к определенному городу, региону или стране, а геонезависимые показывают одинаковую выдачу для всех населенных пунктов. Геозависимые запросы нужны компаниям, которые продают товары или оказывают услуги в конкретном городе.
Проверка геозависимости запросов важна для продвижения бизнеса. К примеру, запросы «купить планшет в спб» и «купить планшет» дадут разную выдачу сайтов в поисковике.
Другие характеристики
Поисковые запросы также различают по сезонности, событийности и витальности. Сезонные зависят от времени года и интерес к ним имеет свои всплески и спады.
Событийные связаны с каким-то прошедшим или грядущим событием, причем такие запросы могут временно поднять сайт в топ, если у него есть релевантная информация.
Витальные запросы состоят только из названия бренда или компании без уточнений (например, Coca-Cola, BMW). Поисковые системы выводят по таким запросам в топ официальные сайты компаний.
Продвинутые виды поисковых запросов
Кроме вышеперечисленных параметров на выдачу в поисковых системах влияют четкость формулировки и постоянство запроса.
По четкости формулировки все поисковые запросы условно делят на четкие и нечеткие. Четкими считают те запросы, которые содержат точные названия и описания объекта. Нечеткие носят размытый характер и имеют вариативность в выдаче. К примеру, запрос «роман» выдаст минимум два варианта — мужское имя и литературный жанр. Свой запрос в поисковике нужно конкретизировать, чтобы избежать нецелевой выдачи.
Постоянные запросы актуальны в любое время года и суток и используются вне зависимости от каких-либо событий, например: «как настроить таргет», «что приготовить на ужин».
Как подбирать поисковые запросы
Запросы подбирают с помощью сервисов подбора ключевых слов в Яндекс.Wordstat и Google AdWords. Они имеют понятный интерфейс и широкий функционал. В Вордстате можно найти поисковые запросы разных тематик, узнать количество просмотров, проанализировать динамику интереса. Также Яндекс собирает многолетнюю статистику по всем запросам пользователей, это позволяет сео-специалистам оптимизировать сайты. Кабинет Google AdWords работает аналогично.
Облегчение введения поисковых запросов
Поисковики постоянно совершенствуют свои алгоритмы, упрощая пользователю ввод ключевой фразы. Это могут быть:
Смысловые подсказки при вводе — система автоматически предлагает несколько похожих вариантов запросов.
Переключение раскладки клавиатуры, если пользователь начал набирать слово на другом языке.
Подсвечивание грамматической ошибки и предложение ее исправить.
Что важно запомнить
Поисковые запросы помогают понять, что интересно пользователям, понять их намерение (интент). Перед продвижением сайта нужно собрать пул поисковых запросов, исходя из тематики бизнеса. Это поможет подготовить материал, который будет полностью соответствовать ожиданиям пользователей. Также важно правильно определять тип запроса, чтобы попасть в органическую выдачу и привлекать целевую аудиторию. Иначе время и деньги будут потрачены зря.
Все, что вы хотели знать об обработке запросов, но стеснялись спросить
Что такое сетевой сервис? Это программа, которая принимает входящие запросы по сети и обрабатывает их, возможно, возвращая ответы.
Есть много аспектов, в которых сетевые сервисы отличаются друг от друга. В этой статье я акцентрирую внимание на способе обработки входящих запросов.
Выбор способа обработки запросов имеет далеко идущие последствия. Как сделать чат-сервис, выдерживающий 100.000 одновременных соединений? Какой подход выбрать для извлечения данных из потока слабоструктурированных файлов? Неправильный выбор приведет к пустой трате сил и времени.
В статье рассмотрены такие подходы как пул процессов/потоков, событийно-ориентированная обработка, half sync/half async паттерн и многие другие. Приводятся многочисленные примеры, рассматриваются плюсы и минусы подходов, их особенности и области применения.
Введение
Тема способов обработки запросов не нова, смотрите, например: один, два. Однако большинство статей рассматривают её лишь частично. Данная статья призвана заполнить пробелы и привести последовательное изложение вопроса.
Будут рассмотрены следующие подходы:
Нужно обратить внимание, что сервис, обрабатывающий запросы — это не обязательно сетевой сервис. Это может быть сервис, который получает новые задачи из БД или очереди задач. В данной статье подразумеваются именно сетевые сервисы, но нужно понимать, что рассматриваемые подходы имеют более широкую область применения.
В конце статьи приводится список с кратким описанием каждого из подходов.
Последовательная обработка
Приложение состоит из единственного потока в единственном процессе. Все запросы обрабатываются только последовательно. Параллелизма нет. Если к сервису приходит одновременно несколько запросов, один из них обрабатывается, остальные попадают в очередь.
Плюс данного подхода в простоте реализации. Нет никаких блокировок и конкуренции за ресурсы. Очевидный минус — невозможность масштабироваться при большом количестве клиентов.
Процесс на запрос
Приложение состоит из основного процесса, который принимает входящие запросы, и рабочих процессов. На каждый новый запрос основной процесс создает рабочий процесс, который обрабатывает запрос. Масштабирование по количеству запросов простое: каждый запрос получает свой собственный процесс.
В этой архитектуре тоже нет ничего сложного, но у неё есть проблемы ограничения:
Эти проблемы отнюдь не являются стоповыми. Ниже будет показано, как они обходятся в РСУБД PostgeSQL.
Плюсы этой архитектуры:
Примеры:
В целом нужно сказать, что этот подход имеет свои преимущества, которые обуславливают его область применения, но возможности масштабирования сильно ограничены.
Поток на запрос
Этот подход во многом похож на предыдущий. Отличие в том, что вместо процессов используются потоки. Это позволяет использовать общую память «из коробки». Однако другие плюсы предыдущего подхода использовать уже не получится, в то время как потребление ресурсов так же будет высоким.
Плюсы:
Минусы:
В качестве примера использования можно привести MySQL. Но нужно заметить, что в MySQL используется смешанный подход, поэтому этот пример будет рассмотрен в следующем разделе.
Пул процессов/потоков
Потоки (процессы) создавать дорого и долго. Чтобы не тратить ресурсы впустую, можно использовать один и тот же поток многократно. Ограничив дополнительно максимальное количество потоков, получим пул потоков (процессов). Теперь основной поток принимает входящие запросы и складывает их в очередь. Рабочие процессы берут запросы из очереди и обрабатывают. Этот подход можно воспринимать как естественное масштабирование последовательной обработки запросов: каждый рабочий поток может обрабатывать потоки только последовательно, объединение их в пул позволяет обрабатывать запросы параллельно. Если каждый поток может обрабатывать 1000 rps, то 5 потоков будут обрабатывать нагрузку близкую к 5000 rps (при условии минимальной конкуренции за общие ресурсы).
Пул может быть создан заранее при старте сервиса или формироваться постепенно. Использование пула потоков более распространено, т.к. позволяет применять общую память.
Размер пула потоков не обязательно должен быть ограничен. Сервис может использовать свободные потоки из пула, а если таких нет — создавать новый поток. После завершения обработки запроса поток присоединяется к пулу и ожидает следующего запроса. Данный вариант — комбинация подхода поток на запрос и пул потоков. Ниже будет приведен пример.
Плюсы:
Минусы:
Примеры:
Пожалуй, это один из наиболее распространенных подходов к построению сетевых сервисов, если не самый распространенный. Он позволяет хорошо масштабироваться, достигая больших rps. Основное ограничение подхода — количество одновременно обрабатываемых сетевых соединений. Фактически этот подход работает хорошо, только если запросы короткие или клиентов мало.
Событийно-ориентированная обработка (reactor паттерн)
Две парадигмы — синхронная и асинхронаая — вечные конкуренты друг друга. До сих пор речь шла только о синхронных подходах, но было бы неправильно игнорировать асинхронный подход. Событийно ориентированная или реактивная обработка запросов — это подход, в котором каждая IO операция выполняется ассинхронно, а по окончании выполнения операции вызывается обработчик (handler). Как правило, обработка каждого запроса состоит из множества асинхронных вызовов с последующим выполнением handler’ов. В каждый конкретный момент однопоточное приложение выполняет код только одного handler’а, но выполнение handler’ов различных запросов чередуется между собой, что позволяет одновременно (псевдопараллельно) обрабатывать множество параллельных запросов.
Полное рассмотрение этого подхода выходит за рамки этой статьи. Для более глубокого ознакомления можно порекомендовать Reactor (Реактор), В чем секрет скорости NodeJS?, Inside NGINX. Здесь ограничимся только рассмотрением плюсов и минусов данного подхода.
Плюсы:
Минусы:
Примеры:
Half sync/half async
Название взято из книги POSA: Patterns for Concurrent and Networked Objects. В оригинале этот паттерн трактуется очень широко, однако для целей данной статьи я буду понимать этот паттерн несколько уже. Half sync/half async — это подход к обработке запросов, в котором для каждого запроса используется легковесный поток управления (зеленый поток). Программа состоит из одного или нескольких потоков уровня операционной системы, однако система исполнения программы поддерживает зеленые потоки, которые ОС не видит и которыми не может управлять.
Несколько примеров, чтобы сделать рассмотрение конкретнее:
В сущности этот подход призван совместить высокую производительность асинхронного подхода с простотой программирования синхронного кода.
При использовании этого подхода, несмотря на иллюзию синхронности, программа будет работать асинхронно: система исполнения программы будет управлять event loop’ом, а каждая «синхронная» операция на самом деле будет асинхронной. При вызове такой операции система исполнения будет вызывать асинхронную операцию с помощью средств ОС и регистрировать handler завершения выполнения операции. Когда асинхронная операция будет завершена, система исполнения вызовет ранее зарегестрированный handler, который продолжит выполнение программы в точке вызова «синхронной» операции.
В результате подход half sync/half async содержит в себе как некоторые плюсы, так и некоторые минусы асинхронного подхода. Объем статьи не позволяет рассмотреть этот подход во всех деталях. Интересующимся советую прочесть одноименную главу в книге POSA: Patterns for Concurrent and Networked Objects.
Сам по себе подход half sync/half async вводит новую сущность «зеленый поток» — легковесный поток управления на уровне системы исполнения программы или библиотеки. Что делать с зелеными потоками — выбор программиста. Он может использовать пул зеленых потоков, может создавать новый зеленый поток на каждый новый запрос. Разница по сравнению с потоками/процессам ОС в том, что зеленые потоки намного дешевле: они расходуют гораздо меньше оперативной памяти и создаются намного быстрее. Это позволяет создавать огромное количество зеленых потоков, например, сотни тысяч в языке Go. Такое огромное количество делает оправданным использование подхода «зеленый поток на запрос».
Плюсы:
Минусы:
В зависимости от реализации этот подход хорошо масштабируется по ядрам CPU (Golang) или не масштабируется вовсе (Python).
Этот подход так же, как и асинхронный, позволяет обрабатывать большое количество одновременных соединений. Но программировать сервис с использованием этого подхода проще, т.к. код пишется в синхронном стиле.
Конвейерная обработка
Как можно догадаться из названия, в этом подходе запросы обрабатываются по конвейеру. Обрабатывающий процесс состоит из нескольких потоков ОС, выстроенных в цепочку. Каждый поток — это звено цепочки, он выполняет определенное подмножество операций, необходимых для обработки запроса. Каждый запрос последовательно проходит через все звенья цепочки, а разные звенья в каждый момент времени обрабатывают разные запросы.
Плюсы:
Минусы:
Примеры:
Конвейерная обработка широко используется, однако чаще всего звеньями являются отдельные компоненты в независимых процессах, которые обмениваются сообщениями, например, через очередь сообщений или БД.
Резюме
Краткая сводка рассмотренных подходов:
Список выше не является исчерпывающим, но он содержит основные подходы к обработке запросов.
Обращаюсь к читателю: какие подходы используете Вы? Какие плюсы и минусы, особенности их работы Вы узнали на собственном опыте?