Skip to content
Snippets Groups Projects
direct-indirect.ipynb 16.18 KiB

Méthode directe et indirecte

  • Date : 2025
  • Durée approximative : 1.5 séance

Le but est de résoudre par une méthode de tir, un problème de contrôle optimal dont le contrôle est discontinu. On se propose de résoudre dans un premier temps, le problème par une méthode directe, afin de déterminer la structure optimale et une bonne approximation de la solution pour faire converger la méthode de tir.

using JuMP, Ipopt # pour la méthode directe
using DifferentialEquations, NLsolve, ForwardDiff # pour la méthode indirecte
using Plots # pour les graphiques
include("utils.jl"); # fonctions utilitaires
Introduction

On considère le problème de contrôle optimal suivant :

✏️ Exercice 1.

  1. Calculer le contrôle maximisant donné par le principe du maximum de Pontryagin (on pourra l'écrire comme une fonction multivaluée) .
  2. Peut-on appliquer simplement la méthode de tir simple vu au TP précédent ?
Méthode directe

Avant de définir la méthode directe, on propose une réécriture du problème. Ce n'est pas une obligation mais cela simplifie l'écriture.

✏️ Exercice 2.

  • Mettre le problème sous forme de Mayer (cf. cours). Vous nommerez la nouvelle variable d'état associée au coût .

Description de la méthode directe.

L'idée principale est de transformer le problème de contrôle optimal (de dimension infinie) en un problème d'optimisation de dimension finie.

Pour cela :

  1. On définit une grille uniforme en temps et avec le pas de discrétisation.
  2. On discrétise l'état, le contrôle et le coût sur cette grille et on note $$ \{ (x_i, u_i, c_i) | i \in \{1, \dots, N+1\}\} $$ l'ensemble des variables d'optimisation du problème discrétisé.

Si l'on note $(x^(\cdot), u^(\cdot), c^(\cdot))$ la solution du problème de contrôle optimal et $\{ (x^_i, u^_i, c^_i) | i \in \{1, \dots, N+1\}\}$ la solution du problème discrétisé, on s'attend à avoir $$ x^_i \approx x^(t_i), \quad u^_i \approx u^(t_i), \quad c^_i \approx c^(t_i), \quad \forall i \in \{1, \dots, N+1\}. $$

✏️ ️Exercice 3. Définir pour le problème discrétisé :

  1. L'objectif à minimiser.
  2. Les contraintes d'inégalités associées au contrôle.
  3. Les contraintes initiales et finales associées à la variable d'état et la contrainte de condition initiale pour le coût.
  4. Les contraintes de dynamique sur l'état et le coût, en utilisant le schéma d'intégration de Crank-Nicolson (ou règle des Trapèzes).

✏️ ️Exercice 4.

  • Modifier le code suivant afin de résoudre le problème par la méthode directe que vous venez de décrire.

Remarque. Vous pouvez vous inspirer de cet exemple pour le code. Notez que dans cet exemple, la fonction @NLexpressions est utilisée mais n'est pas nécessaire ici donc vous pouvez ou non l'utiliser.

# Création du modèle JuMP, Utilisation de Ipopt comme solver
sys = Model(optimizer_with_attributes(Ipopt.Optimizer, "print_level" => 5))
set_optimizer_attribute(sys,"tol",1e-8)
set_optimizer_attribute(sys,"constr_viol_tol",1e-8)
set_optimizer_attribute(sys,"max_iter",1000)

#######
####### DEBUT A MODIFIER
#######
####### Les ... sont à remplacer !
#######
####### Attention, on écrit le problème sous la forme d'un problème de Mayer
#######

# Paramètres
t0 = 0    # temps initial
tf = 0    # temps final
c0 = 0    # coût initial
x0 = 0    # état initial
xf = 0    # état final 

N  = 50    # taille de la grille
Δt = (tf-t0)/N  # pas de temps

@variables(sys, begin
    ...       # coût
    ...       # état
    ...       # control
end)

# Objectif
@objective(sys, Min, ...)

# Conditions initiales et finales
@constraints(sys, begin
    con_c0, ... # contraint sur le coût initial
    con_x0, ... # contraint sur l'état initial
    con_xf, ... # contraint sur l'état final
end)

# Contraintes de dynamique avec le schéma de Crank-Nicolson
@NLconstraints(sys, begin
    con_dc[j=1:N], ... # contraint différentielle sur le coût
    con_dx[j=1:N], ... # contraint différentielle sur l'état
end);

#######
####### FIN A MODIFIER
#######
# Solve for the control and state
println("Solving...")
optimize!(sys)
println()

# Display results
if termination_status(sys) == MOI.OPTIMAL
    println("  Solution is optimal")
elseif  termination_status(sys) == MOI.LOCALLY_SOLVED
    println("  (Local) solution found")
elseif termination_status(sys) == MOI.TIME_LIMIT && has_values(sys)
    println("  Solution is suboptimal due to a time limit, but a primal solution is available")
else
    error("  The model was not solved correctly.")
end
println("  objective value = ", objective_value(sys))
println()

# Retrieves values (including duals)
c  = value.(c)[:]
x  = value.(x)[:]
u  = value.(u)[:]
t  = (0:N) * value.(Δt)

pc0 = dual(con_c0)
px0 = dual(con_x0)
pxf = dual(con_xf)

if(pc0*dual(con_dc[1])<0); pc0 = -pc0; end
if(px0*dual(con_dx[1])<0); px0 = -px0; end
if(pxf*dual(con_dx[N])<0); pxf = -pxf; end

if (pc0 > 0) # Sign convention according to Pontryagin Maximum Principle
    sign = -1.0
else
    sign =  1.0
end

pc = [ dual(con_dc[i]) for i in 1:N ]
px = [ dual(con_dx[i]) for i in 1:N ]

pc = sign * [pc0; pc[1:N]] 
px = sign * [px0; (px[1:N-1]+px[2:N])/2; pxf]; # We add the multiplier from the limit conditions
x_plot = plot(t, x, xlabel = "t", ylabel = "x", legend = false)
u_plot = plot(t, u, xlabel = "t", ylabel = "u", legend = false, size=(800,300), linetype=:steppre)
px_plot = plot(t, px, xlabel = "t", ylabel = "p", legend = false)
display(plot(x_plot, px_plot, layout = (1,2), size=(800,300)))
display(u_plot)

✏️ ️Exercice 5.

  1. Commenter les résultats.
  2. Modifier la tolérance de l'optimiseur ainsi que le nombre de points de discrétisation. Commentaires.
  3. Décrire la structure du contrôle optimal en fonction du temps.
Méthode de tir indirect

D'après la condition de maximisation du hamiltonien et la structure optimale de la solution, nous avons besoin de définir 3 fonctions permettant de calculer les flots des systèmes hamiltoniens associés aux contrôles +1, -1 et au contrôle dit singulier qui apparaît lorsque la fonction de commutation reste nulle sur un intervalle de temps non réduit à un singleton. La fonction de commutation est la fonction qui détermine la valeur du contrôle en fonction du signe de celle-ci.

✏️ ️️Exercice 6.

  1. Donner la fonction de commutation.
  2. En dérivant deux fois par rapport au temps la fonction de commutation, trouver une condition vérifiée par l'état et une condition vérifiée par le contrôle le long d'un arc singulier, c'est-à-dire le long d'un arc où la fonction de commutation est constante égale à 0.
  3. Remplir le code ci-dessous: il faut fournir les 3 contrôles pour définir les flots, puis écrire la fonction de tir.

Remarque. La fonction de tir à 3 variables inconnues. Il faut donc trouver 3 équations. La condition terminale en est une. L'annulation de la fonction de commutation au premier temps de commutation en est une autre. La question 2 aide à trouver la dernière condition.

# système pseudo-hamiltonien
function hv(x, p, u)
    return [u, 2x]
end

# systèmes hamiltoniens
hv_min(x, p) = hv(x, p, NaN) ## REMPLACER NaN par la bonne valeur
hv_max(x, p) = hv(x, p, NaN) ## REMPLACER NaN par la bonne valeur
hv_sin(x, p) = hv(x, p, NaN) ## REMPLACER NaN par la bonne valeur

# flots
fmin = Flow(hv_min)
fmax = Flow(hv_max)
fsin = Flow(hv_sin)

# fonction de tir
function shoot(p0, t1, t2)
    
    # integration
    x1, p1 = fmin(t0, x0, p0, t1) # x1, p1 sont des scalaires
    x2, p2 = fsin(t1, x1, p1, t2)
    x3, p3 = fmax(t2, x2, p2, tf)
    
    # conditions
    s = zeros(eltype(p0), 3)
    s[1] = NaN  ## REMPLACER NaN par la bonne expression
    s[2] = NaN  ## REMPLACER NaN par la bonne expression
    s[3] = NaN  ## REMPLACER NaN par la bonne expression
    
    return s

end;
  1. Trouver (remplir le code ci-dessous) à partir de la solution de la méthode directe, une bonne initialisation pour la fonction de tir.
In [1]:
# itéré initiale pour la méthode indirecte de tir
p0 = NaN ## REMPLACER NaN par une bonne valeur
t1 = NaN ## REMPLACER NaN par une bonne valeur
t2 = NaN ## REMPLACER NaN par une bonne valeur

#
y = [ p0 ; t1 ; t2]

println("Itéré initial:\n", y)
Out [1]:
Itéré initial:
Out [1]:
[NaN, NaN, NaN]
# fonction de tir et sa jacobienne
foo(y) = shoot(y...)
jfoo(y) = ForwardDiff.jacobian(foo, y)

# Résolution de shoot(p0, t1, t2) = 0.
nl_sol = nlsolve(foo, jfoo, y; xtol=1e-8, method=:trust_region, show_trace=true);

# Retrieves solution
if converged(nl_sol)
    p0 = nl_sol.zero[1]
    t1 = nl_sol.zero[2]
    t2 = nl_sol.zero[3];
    println("\nFinal solution:\n", nl_sol.zero)
else
    error("Not converged")
end
# affichage de la solution
ode_sol = fmin((t0, t1), x0, p0)
tt0 = ode_sol.t
xx0 = [ ode_sol[1, j] for j in 1:size(tt0, 1) ]
pp0 = [ ode_sol[2, j] for j in 1:size(tt0, 1) ]
uu0 = -ones(size(tt0, 1))

ode_sol = fsin((t1, t2), xx0[end], pp0[end])
tt1 = ode_sol.t
xx1 = [ ode_sol[1, j] for j in 1:size(tt1, 1) ]
pp1 = [ ode_sol[2, j] for j in 1:size(tt1, 1) ]
uu1 = zeros(size(tt1, 1))

ode_sol = fmax((t2, tf), xx1[end], pp1[end])
tt2 = ode_sol.t
xx2 = [ ode_sol[1, j] for j in 1:size(tt2, 1) ]
pp2 = [ ode_sol[2, j] for j in 1:size(tt2, 1) ]
uu2 = ones(size(tt2, 1))

t_shoot = [ tt0 ; tt1 ; tt2 ]
x_shoot = [ xx0 ; xx1 ; xx2 ]
p_shoot = [ pp0 ; pp1 ; pp2 ]
u_shoot = [ uu0 ; uu1 ; uu2 ]    

x_plot = plot(t_shoot, x_shoot, xlabel = "t", ylabel = "x", legend = false)
u_plot = plot(t_shoot, u_shoot, xlabel = "t", ylabel = "u", legend = false, size=(800,300), linetype=:steppre)
px_plot = plot(t_shoot, p_shoot, xlabel = "t", ylabel = "px", legend = false)
display(plot(x_plot, px_plot, layout = (1,2), size=(800, 300)))
display(u_plot)
  1. Comparer avec l'affichage de la solution de la méthode directe.