Бэк тестирование. Backtesting Стратегии

Databases are the inevitable part of such software products as online stores, banking system applications and so on. These can the databases of different types, for example, DB2, SQL, and others

In order to verify the correct work of database, it is performed server side testing which actually is backend testing.

Performing database testing, the specialists do not work with the graphical user interface (GUI), they proceed directly to analyzing the processes of execution of the request with specified parameters and receiving the correspondent answer from the server. With this purpose, JSON and XML can be used.

There are several phases of backend tests:

1. the delivery of SQL server specification;
2. the testing of design specification;
3. the implementation of the tests into the design with the help of SQL code.

Backend testing is the process of validation such database aspects as schemas, tables, indexes and keys, data storage procedure, the process of data duplication, server validation, etc. The tests are launched with the aim of preventing data corruption, deadlock, data loss and others. To check the work of databases, several types of tests are executed.

What are the types of databases testing?

• Non-functional testing
• Functional testing
• Structural testing

The special testing tools will help to simplify the verification procedure of the proper operation of databases. This can be TurboData, Data Factory, AETG, Data Generation and others.

What are the advantages of backend testing?

• Such a software testing ensures the full control over the test coverage.
• Backend checking promotes the detection of a bigger number of potential bugs even at the early stages of the development.
• With the help of backend testing, the specialists execute more detailed checking of the system, as the applying of black bow method is not allowed for this testing type.

Ранее мы уже рассматривали вопрос об обязательных этапах разработки торговой стратегии для работы на фондовом рынке. Одной из наиболее важных стадий является тестирование производительности стратегии на исторических данных - бэктестинг. Сегодня мы поговорим именно о нем.

Что это

Общая величина дохода или убытка (profit and loss, P&L, PnL) за заданное в торговой стратегии время будет являться показателем успешности или неуспешности алгоритма.

Существует несколько целей, которых добиваются разработчики торговых программ, с помощью бэктестинга:

• Фильтрация - каждая стратегия имеет определенные показатели по призводительноси и эффективности работы, которые заложены в нее разработчиком. Соответственно, всякая стратегия, не позволяющая добиться поставленных целей, должна быть «отфильтрована».
• Моделирование - с помощью бэктестинга разработчики могут тестировать различные рыночные модели (изменение условий ликвидности, транзакционных издержек, скорости обработки приказов, задержки каналов и т.д.) без риска потери реальных денег.
• Оптимизация - с помощью «прогона» стратегии на исторических данных можно улучшить ее производительность в конкретных рыночных ситуациях.
• Проверка работоспособности - с помощью тестирования разработчик может понять, не были ли допущены ошибки при описании стратегии в программном коде.

Заблуждения о бэктестинге

Ожидание столь же высоких результатов в будущем

При этом, если в случае исторических данных есть возможность изменить что-либо и точно спрогнозировать результат, то в «боевом» режиме робот может работать совсем не так эффективно. Необходимо замерять производительность стратегии при разных значениях входных параметров.

Использование «будущих» данных

Неверная оценка своей психологической устойчивости

На практике далеко не всем хватает стойкости для того, чтобы пережить подобные моменты не совершив необдуманных действий (а если алгоритм допускает потерю 25% денег на истории, то и в реальности такая ситуация весьма вероятна), которые часто приводят к еще большим убыткам.

Какие параметры нужно учитывать

Транзакционные издержки

Проскальзывание и задержки

Некоторые финансовые инструменты обладают большой волатильностью (их цена меняется часто), поэтому при работе с ними необходимо делать скидку на возможное проскальзывание.

Влияние ликвидности

Типы торговых приказов

Приказ market («по рынку») выполняется немедленно по сформировавшейся на рынке в текущей момент цене финансового инструмента (акции, фьючерса , опциона и т.д.) Соответственно, при необходимостьи совершения крупной сделки, например, покупки большого числа акций, приказ market приведет к тому, что произойдет несколько сделок по разным ценам - на рынке может не быть нужное количество желающих продать акции по одной цене, тогда купив все их акции, робот перейдет к следующей предлагаемой цене и так далее.

Рыночные приказы являются агрессивным инструментом - они всегда будут исполнены, при этом конечная цена сделки остается неизвестной для торговца.

Приказы типа Limit позволяют роботу определять худшую цену, по которой имеет смысл проводить сделку. Такой приказ может остаться неисполненным (если на рынке не нашлось желающих продавать или покупать по указанной цене) или исполненным частично (не нашлось достаточного количества желающих), вследствие чего считается более пассивным средством совершения сделок.

Их плюсом, несомненно, является тот факт, что цена сделки заранее определена. Список текущих выставленных приказов типа Limit называется очередью заявок (Order book) и выводится в торговых терминалах отдельным окном.

При тестировании стратегии важно уделить внимание ее поведению при использовании рыночных и лимитных приказов. В том случае, если очередь заявок смоделирована неверно, торговая стратегия может показывать худшие результаты при работе в режиме реального времени, в сравнении с запуском на исторических данных.

Инструменты для бэктестинга

• MS Excel - знакомый всем и каждому Microsoft Excel может быть использован и для написания механических торговых систем. Большинство брокеров позволяют связывать этот инструмент со своими программными продуктами (выгрузка данных и генерация торговых сигналов с помощью VBA). Минусом подобного решения будет невысокая скорость работ, а плюсом бесплатность и быстрота реализации простых стратегий. Альтернатива - Open Office
• Matlab - программная среда, предназначенная для осуществления сложных вычислений. Существуют плагины для использования в биржевой торговле. С ее помощью можно создавать небольшие скрипты, которые тем не менее описывают довольно сложные стратегии. Минус - система платная и недешевая. Альтернативы для российского рынка TSlab и StockSharp . Также трейдеры используют для создания механических торговых систем продукты MetaStock , Wealth-Lab и Omega.
• C++/C# - языки программирования, которые широко распространены в финансовом мире. Постепенно популярность набирают Java и Scala.
• Встроенные инструменты торговых терминало в - в некоторых торговых терминалах есть встроенные средства для создания торговых роботов и бэктестинга стратегий. Соответствующий плагин можно установить в терминал SmartX . Для написания роботов используется скриптовый язык TradeScript .

Окно для бэк-тестинга плагина для создания роботов на TradeScript в терминале SmartX

Заключение

В дополнение к тестированию на исторических данных разработчикам стоит проверять работу программы в режиме реального времени - сделать это можно с помощью специальных тестовых торговых систем, которые предоставляют биржи и брокеры. С помощью таких безрисковых систем с виртуальными деньгами можно отладить реакцию робота на изменение условий на рынке - обычно данные в таких случаях предоставляют биржевые площадки (с задержкой или «прореженные»).

На сегодня все, спасибо за внимание. Будем рады ответить на вопросы в комментариях.

P.S. Если вы заметили опечатку или ошибку - напишите личным сообщением, и мы оперативно все исправим.

Я расскажу вам о том, как можно приобрести практический опыт торговли, для этого необходимо лишь свободное время.

Кроме объективной оценки результатов, полученных при тестировании вашей торговой стратегии, Вы приблизитесь к процессу непосредственного принятия торговых решений. В этом Вам очень поможет Бэк-тестинг торговой стратегии . Кстати, тестирование стратегии возможно и в автоматическом режиме, но я считаю, что трейдерам, не имеющим серьезного опыта торговли, проводить разработку торговой стратегии, и ее тестирование будет полезно в ручном режиме.

Давайте рассмотрим пример тестирования торговой стратегии в сжатые сроки за конкретный торговый период. Для проведения бэк-тестинга нам необходимы:

Программа технического анализа

Программа учета сделок и обработки статистики

Алгоритм работы, стратегия, план принятия торговых решений.

Программа технического анализа

Существует огромное число программ технического анализа, но мне лично привычна программа MultiCharts . Она простая и доступная. Существует масса массу более продвинутых программ, таких как Omega, ТС2000, TradeStation, которые можно найти в сети, но я привык работать с MultiCharts. Кроме того, вы можете найти её в сети бесплатно или скачать условно бесплатную версию, без какого-либо ограничения сроков ее использования.

Скачиваем и устанавливаем программу, нам потребуется непосредственно только MultiCharts.

После установки программы для отслеживания котировок, нам необходимы сами котировки. Их можно скачать на сайте брокера Финам в разделе «Экспорт котировок».

Затем, скачиваем в формате TIME, DATE, HIGH, OPEN, CLOSE, VOL, LOW, котировки выбранного вами актива. В нашем примере нам требуются котировки на фьючерс индекса РТС за последний квартал, на временном промежутке в 5 минут (см. Рынки на фондовой бирже России - РТС). Имеется возможность скачивать котировки на Ваш выбор всех доступных инструментов, и для всех доступных временных периодов. Остальные поля остаются без каких-либо изменений. Выбираем параметры и кликаем на кнопку, которая носит название - «получить файл».

Получаем текстовый файл с необходимыми вам котировками (рис.ниже):

Чтобы котировки залить в программу MultiCarts необходимо открыть программу QuoteManeger, которая выступает для нашего MultiCharts в роли источника котировок исторических данных. Затем требуется добавить биржу, или ее выбрать из существующего списка. При этом следует указать параметры торгов. С этой целью переходим в меню “Tools”, затем “Exchanges & ECNs”

Теперь добавим контракт. Пункт по следующей схеме Symbol - >AddSymbol - >Manually.

Кликаем ОК. Далее редактируем название инструмента. Рекомендую путаницы писать название инструмента, принятое на бирже, чтобы избежать путаницы. Проверяем соответствие на всех закладках Settingsи Session, Stock, PriceScale. Если все в порядке, жмем ОК!

Немного непосредственно об процессе импорта исторических данных. В окне QuoteManager правой кнопкой мыши выбираем наш инструмент и выбираем пункт ImportData ->ASCII

При ее запуске появится новое окно DataServerMode, вам необходимо выбрать Offline. Затем добавляем новый график по такому пути File -> New -> Chart Window

Занимательная физика отношений Гагин Тимур Владимирович

Тестирование «бэк»- и «фронт-офисов»

Общение на уровне «фронт-офиса» напоминает брачный танец птиц. Бывалые орнитологи знают, что теоретически птицы разных видов могут спариваться и давать потомство. На практике же спаривание происходит в пределах одного вида. Дело в том, что у разных птиц совершенно разное поведение в брачный период. Все их квохтанья, подпрыгивания и брачные танцы с распушенными хвостами однозначно дают понять: «Эта птица не моего круга. А эта - моего».

Так и у людей. Демонстрация «фронт-офиса» - не просто поведение напоказ, а еще и сигнал «свой-чужой». Когда потенциально совместимые люди общаются на уровне «фронт-офиса», у них есть (не всегда им самим понятные) правила поведения, которые они не обсуждают. И знание этих правил - залог начала отношений. И по эффективности это, пожалуй, лучшее из того, что есть у нас в арсенале.

Говорят, есть такое правило: настоящий джентльмен не должен указывать другому джентльмену на то, о чем настоящий джентльмен и так должен знать. Предполагается, что или он это знает, или он не джентльмен, и тогда с ним вообще не о чем разговаривать. Или, проще говоря, если ему приходится это говорить, то не нужно с ним вообще о таком говорить.

Если в отношениях по типу «фронт-офиса» нужно объяснять какие-то нормы, если о чем-то глубоко очевидном и понятном для вас вам приходится договариваться , то это не тот человек: все равно он вашего объяснения не поймет. Не нужно объяснять претензии, которые мы предъявляем к партнеру: обыкновенно мы чего-то просто и непосредственно ожидаем от партнера и полагаем, что это должно быть ему понятно само собой, без объяснений. Потому что так принято в нашем кругу, понятно в нашей семье, потому что этого не надо объяснять нашим друзьям. И вообще! Потому что ради этого мы во многом и вступаем в эти самые «отношения». Мы не просто думаем, что он и так догадается, мы считаем, что если не догадается, то он дурак или мерзавец. Ну или просто недоразвитый или недовоспитанный. Грубый. Не тонкий. Малообразованный. Или перевоспитанный, наоборот. Слишком сложный. Груженый. Неестественный. Вычурный.

В отношениях, выстраиваемых на уровне «фронт-офиса», это встречается сплошь и рядом. Девушка искренне предполагает, что мужчина должен ей кое-что дарить, но не говорит ему, что именно: если перед ней настоящий мужчина, он догадается сам. Мужчина ждет, что женщина пригласит (или, напротив, считает что «истинная» женщина ни за что не должна приглашать) к себе домой на кофе, но не говорит ей об этом. Отношения от вечно несбывшихся (по мелочи, но часто) ожиданий нагреваются. И однажды мужчина просто меняет женщину. А женщина - мужчину.

Девушка разошлась со своим молодым человеком только потому, что он пошел по рядам в театре спиной к зрителям. Не то чтобы она подумала: «Сейчас я ему скажу, и в следующий раз он все сделает правильно». Нет, она решила, что мальчик все должен знать сам.

А другая, совсем еще юная девочка сказала: «Вот мой папа всегда вел себя со мной как с леди». Это ведь так важно для маленькой девочки с 12–13 лет ощущать себя леди. А вот ее молодой человек так себя не ведет. Как-то раз она пришла в кафе, где он уже сидел с компанией. И он не подал ей стул. И не представил ее знакомым. Для девочки это было грубым нарушением норм поведения, хотя она ничего вслух не сказала. Но разозлиться - разозлилась. И отомстила, как умела.

Комментарий Е.Н.

Хорошо, если рядом есть кто-то, кто своей любовью, восхищением, помощью, наконец, поможет тебе «держать планку», однажды установив ее высоко, в течение многих-многих лет… Они познакомились почти 50 лет назад на маленьком пароходике, идущем в старинный украинский городок Канев. Она, двадцатилетняя студентка медицинского института из Уфы, отличница и красавица, воспитанная в строгих традициях башкирской семьи (папа еще и в компетентных органах работал), направлялась в гости к родственникам. Он, 25-летний шалопай с умной еврейской головой и характером, приобретенным в старых днепропетровских дворах, закончивший 10 классов и дальше не планирующий учиться, перепробовавший массу работ от электрика до статиста в театре, тоже от нечего делать направлялся куда-то. На 20-й минуте после отплытия пароходика он подошел - руки в карманах - познакомиться. На второй день, за 20 минут до того, как пароходик причалил в Каневе, он сделал ей предложение руки и сердца. Она возмутилась, но адрес почему-то дала… Интересно ведь…. И вот, представьте себе, спустя три с небольшим месяца, появляется на пороге квартиры нашей героини (мы много лет дружим, я привыкла называть ее по имени - Тамира, уж буду так и называть, ладно? Кстати, для меня он уже лет сорок Лева; в общем, продолжаю без отчеств) в осенне-зимний промозглый вечер одетый по-южному, легко и небрежно, Лева и заявляет тут же впавшим в ступор родителям, что он приехал в ранее незнакомую ему Уфу навсегда и имеет самые серьезные намерения (не имея при этом жилья, работы, каких-либо денежных средств).

Родители провожали Тамиру в институт несколько месяцев, дабы избежать встреч со свалившимся им на голову «счастьем». Последующие несколько месяцев смирная и послушная Тамира вдруг восстала и выговорила себе право встречаться в присутствии родителей с «диссидентом» (так почему-то назвал отец новоявленного жениха). Когда всей этой истории исполнился год, они поженились. Жили сначала в какой-то съемной деревянной халупе с маленькой дочуркой, огромным кавказцем (собакой) и кошкой. Завели было рыбок, но они замерзали… Однако, жизнь налаживалась, причем, довольно быстрыми темпами. Бывший шалопай и «диссидент» Левка оказался работоспособным, весьма предприимчивым и очень увлеченным человеком. Когда у него спрашивали, в чем же его увлечение, он отвечал: «У всех есть увлечение, хобби; мое хобби - моя жена». Он научил жену пользоваться почти профессионально и интеллигентно косметикой; где только мог, доставал в те трудные времена самые изысканные наряды; приучил ее к тому, что парикмахер и мастер маникюра приходят на дом… Тамира оказалась примерной ученицей да и было над чем работать: красавица, умница (и кстати, прекрасный врач и педагог).

С тех пор прошло много лет, изменилось многое, уже и внук заканчивает университет. Не изменилось только отношение Левы к своей жене. Несколько лет назад они круто переменили жизнь, уехали из Башкирии, купили небольшой домик на берегу моря, с присушим им молодым энтузиазмом развернули там большое строительство, сдают комнаты в летний сезон, принимают родственников, преуспевают… Село, надо сказать, не Рио-де-Жанейро, дороги, преимущественно, по типу проселочных. Но уже сильно немолодой Лева внимательно следит, чтобы его красавица-жена (другого варианта он не приемлет) работала во дворе в модной спортивно-пляжной одежде, а на улицу выходила только «при полном параде» и непременно на каблуках. «Какие каблуки, Тамира, - спросила, отдыхавшая у них недавно с внучкой, наша общая давняя знакомая, - в наши-то годы и на ваших-тo дорогах? Посмотри, как все вокруг небрежно одеты». «Ты что, - возмутилась наша героиня, - а Лева что скажет?» Вот сейчас пишу, включен телевизор, по ТВЦ идет передача с Людмилой Гурченко, и я слышу ее фразу: «У мужчины и женщины каждый день должен быть Днем Святого Валентина». Так вот, у моих старинных друзей, о которых я вам сейчас пыталась рассказать, каждый день и был таковым. Наверное, где-то там, в одной из кладовочек этой, в общем, непростой жизни, и таился тот самый «бэк-офис», но преодолимой преградой на его пути стоял бывший днепропетровский шалопай с потрепанным от времени, но все еще четко читаемым лозунгом: «Фронт-офис - и ни шагу назад!!!»

Бэк-офис - это когда показать можно все. Когда можно рассказать друг другу о своих ожиданиях. Не то, чтобы специально сесть и начать «рассказывать». Просто не приходится «думать», что ты сделаешь или скажешь. Тут ты уверен (уверена), что второй человек искал и нашел тебя такого(такую), что он любит тебя за что-то особенное, твое, а остальное - простит, поймет или просто не заметит всерьез.

Любимое кино

- А я во сне кричу…

- А я тебе скажу тихонечко: «Шшш»…

- А я еще иногда и храплю, когда на спине лежу.

- А я тебя переверну на другой бок - и ты не будешь.

«Бэк-офис» можно наблюдать непосредственно, если кандидат в наше счастье расслаблен и непосредственен. А можно черпать информацию об этом из того, о чем потенциальный партнер говорит, и как он себя ведет.

Девушка, к примеру, классно одевается, много внимания уделяет внешности и так далее. Молодой человек думает: «Понятно, в основном ты все свои доходы тратишь на внешний вид. И «фронт-офис» для тебя важнее всего. А значит, или не готова к длительным отношениям, или ориентируешься на другой тип мужчин».

Парень мычит от удовольствия, жуя салат оливье. Любит, значит, уютный быт, и при этом в быту довольствуется малым. Без ананасов и рябчиков обойдется.

Девочка рассказывает «очередному» про предыдущих молодых людей: я, мол, не прекращаю с ними общаться, потому что вдруг они мне понадобится. Это «бэк-офис»: она показывает, как будет вести себя со своим нынешним, когда он станет для нее «бывшим». Важно: нас интересуют именно случайные эпизоды, мимолетные фразы, мелочи. Специально подготовленные концертные выступления мы не рассматриваем.

Девушка упоминает: «Я люблю ходить в рестораны». Значит, не умеет готовить. Или любит помпезность и выпендреж. Или просто думает, что «так положено».

Молодой человек объявляет: «Да мне все равно, где жить, хоть в палатке». Видимо, дом обустраивать не захочет, может, руки не тем концом вставлены.

Один мужчина на групповом тренинге заявил: «Я приучал себя некоторое время назад по чуть-чуть пить вино». И группа задумалась. Может быть, он некомпанейский человек и у него сложности с общением. Или у него есть физиологические проблемы от принятия алкоголя. А может, он очень «правильный» и у него много самоограничений; он учился их снимать. Или работал на повышение статуса, учась разбираться в хороших винах. Или хочет научиться сам за себя решать, что ценно в жизни. А возможно, вырос в мусульманской семье. Короче, надо ду-у-умать.

Или вот кто-то декларирует: «Я не пью и не курю». Какой здесь может быть «бэк-офис»? Человек может требовать того же от своего партнера. С ним может быть скучно. Или он язвенник. Ведь на самом деле не важно, курите вы или нет. Важно, показываете ли вы (и считаете ли) это достоинством.

«Ну и зачем учиться определять по внешним проявлениям в начале знакомства, что там у него внутри?» - спросите вы. Да чтобы это не стало потом неожиданностью. Ведь как ни крути, а жить-то с человеком, а не с его рекламным плакатом. Научиться правильно обращаться с «бэк-офисом» партнера необходимо, если мы рассчитываем с ним на длительные отношения. Надо же нам понять, он естественно по ходу своей жизни будет закрывать наши базовые или сейчас выпендривается, соблазняет, а потом не выдержит и планку снизит?

Так что смотрите и слушайте внимательно. И радуйтесь, когда натыкаетесь на неожиданное. Лучше сейчас, чем потом. Вместо того, чтобы возмущаться, «как он странно устроен», подумайте, почему человеку важно говорить и думать именно так. Что у него такое есть в «бэк-офисе», раз он такой? И сможете ли вы с ним взаимодействовать в дальнейшем?

Например, у человека в «бэк-офисе» заложено, что он негибкий и устанавливает жесткие рамки поведения. А вы, напротив, гибки, как стебель лотоса. И тогда его негибкость для вас не недостаток, а особенность. А если вы при этом такой же жесткий, то в жизни с этим человеком неизменно будут конфликты. Он упрется, вы упретесь - будет тяжело.

Конечно, есть вероятность, что некоторые умные люди контролируют себя даже в самые интимные моменты. Наверное, отличное качество для разведчика. Только зачем оно в семейной жизни? Оно нам надо, жить со шпионом?

Комментарий Е.Н.

И ещё, рискуя вас утомить, все же хочу упомянуть вот о чем. Есть люди, которые гордятся своей прямотой. Они любят повторять с гордостью: «Я что думаю, то и говорю; пусть «в лоб», но что думаю. Вот я какой (какая) честный!». А мне хочется сказать: «Глупый ты, а не честный». Вы меня осуждаете? Но ведь известно (простите за профессиональные выкладки), что у ребенка с 3–4 до 12–14 лет развиваются так называемые «эпикритические эмоции», когда кора головного мозга как бы учится управлять инстинктами, желаниями. А уж к 20–22 годам происходит формирование высших человеческих эмоций. К этому периоду чувства становятся подвластны рассудку (вспомните классическое «учитесь властвовать собой…»), корригируются интеллектуальной деятельностью, становится возможным подавление внешних проявлений эмоций, мимических реакций и выразительных движений. Здесь уже кора головного мозга, высшие эмоции, критическое отношение и возможность прогнозировать происходящее «правят бал». Конечно, не стоит говорить того, что ты не думаешь. Но думай, что говоришь. Поверьте, я не призываю кривить душой, говорить заведомую неправду, но ведь существуют определенные правила общения.

Да и «бэк-офис» надо бы попридержать. Или я неправа?

Тестирование Поиск «правильного» кандидатаБольшинство западных компаний, представленных на российском рынке, приглашая соискателей на вакансии, используют различные тесты. Рассказывает Варвара Лялягина, менеджер по подбору персонала Procter&Gamble: «Мы набираем новых

39. Интеллектуальное тестирование Первая методика интеллектуального тестирования была создана в 1880 г. Дж. Кэттелом. Она еще не была специфической и измеряла как интеллектуальные, так и сенсомоторные функции (например, скорость реакции). В 1903 г. появился тест А. Бине. В нем