Introduzione al controllo ottimo di processi stocastici con l’equazione di Fokker-Planck: tecniche numeriche e teoria
Lezioni dottorato prof. Mario Annunziato
Aula S3 (Edificio F)
Nel corso viene formulato il problema del controllo ottimo per processi stocastici Markoviani continui tramite l’Equazione di Fokker-Planck ed illustrato un metodo per la risoluzione numerica, con cenni di analisi matematica.
Considerando il cosiddetto moto “browniano”, come esempio fondamentale di processo stocastico, si introducono una funzione di controllo ed un funzionale costo che caratterizzano i problemi di controllo ottimo. Utilizzando la funzione di distribuzione di probabilità, o la sua densità, per rappresentare lo stato statistico di questo moto aleatorio, si arriva alla formulazione del problema di controllo ottimo con l’equazione di Fokker-Planck. Sono forniti dei cenni sui teoremi di esistenza ed unicità delle soluzioni dell’equazione, nonché i metodi numerici per la risoluzione del problema di controllo. Test numerici con metodi di simulazione di Monte Carlo consentono di validare la capacità di controllo ottimo del metodo proposto.
----
The course provides the formulation of the optimal control problem for continuous markovian stochastic processes through the Fokker-Planck eqaution, the description of a method for the numerical solution, with hints of mathematical analysis.
As a basic example for the optimal control problem, the “brownian” motion with a control function and cost function is examined. The probability distribution function, or its density, representing the statistical state of this random system allows the formulation of the optimal control problem with the Fokker-Planck equation. Some hints for the existence and uniqueness for the equation solution are given, as well as methods for the numerical solution. Further, Monte Carlo numerical tests validate the ability of the illustrated technique of optimal control for stochastic processes.
