Reinforcement Learning in Finanza = Reinforcement Learning in Finance

Reinforcement Learning in Finanza In questa tesi si analizza come gli algoritmi di Reinforcement Learning si comportano nel caso di problemi applicati alla finanza; in particolare problemi di trading ad alta frequenza sui mercati finanziari . Sono analizzati algoritmi di reinforcement learnig model free in cui non è necessario conoscere come sia modelizzato l'ambiente circostante per ottenere la politica ottimale, ma lo spazio degli stati e lo spazio delle azioni, sono sufficienti per raggiungere quest'ultima. Sono sviluppati due differenti algoritmi, la value iteration e il Q-Learning, con in aggiunta la sua variante epsilon-QLearning. Il primo è possibile applicarlo sia nel caso di spazio degli stati discreto sia nel caso di spazio degli stati continuo; per quanto riguarda il secondo si analizza solo il caso di spazio degli stati discreto. Anche lo spazio delle azioni è considerato, nel corso delle analisi, discreto. Tutte le analisi sono svolte nel caso di orizzonte temporale discreto ed infinito. Sono sviluppati tre differenti casi di studio per verificare l'efficacia degli algoritmi descritti. Il primo caso è puramente accademico e considera l'analisi di un asset che ha un movimento del prezzo mean reverting. Gli algoritmi devono essere in grado di cambiare la posizione assunta sull'asset in modo da incrementare la profit & loss cumulata. Si analizza il caso di studio attraverso l'utilizzo della value-iteration e del Q-Learning, attraverso un primo processo di validazione dei parametri e un successivo test. Lo stesso meccanismo è utilizzato per gli altri casi di studio. I due casi di studio rimanenti sono invece situazioni reali. Il secondo ricerca dei pattern storici su strumenti volatili, quali gli ETF, ETC, ETN. Questa ricerca è fatta con l'ausilio di alcuni indicatori di analisi tecnica che inoltre permettono di definire lo spazio degli stati. In questo caso gli algoritmi devono decidere quale momento sia opportuno per aprire una posizione, lunga o corta, sullo strumento in analisi. La profit & Loss si misura attraverso il rendimento; la chiusura della posizione è vincolata al tempo oppure al raggiungimento di un criterio di stop. In questo caso di studio si utilizzano tutti e tre gli algoritmi analizzati e si confrontano i risultati ottenuti al fine di ottenere l'algoritmo migliore. Infine nell'ultimo caso di studio si analizza una nuova soluzione per un problema importante per gli istituti finanziari che svolgono l'attività di market making; ovvero fornire liquidità al mercato. Si analizza il problema dell'hedging, ovvero una copertura di un investimento. E' analizzato l'hedging sui titoli di stato attraverso uno strumento derivato molto liquido chiamato futures. In particolare si analizza il caso di un hedging breve, nel quale la posizione sullo strumento potrebbe durare pochi minuti. L'obbiettivo degli algortmi è trovare la quantità di futures da acquistare al fine di essere hedgati. In questo caso di studio si utilizza il Q-Learning e la sua variante. Si confrontano i risultati ottenuti anche con la politica di benchmark attualmente utilizzata.