Reinforcement Learning in Dynamic Environments using Instantiated ...

                                     !   "



#    $      %   

    &' ( )   % * ( $   $ &   &'

  +     &  ,

       % *      $ &  &'    $   ,       ,&  , $  (   $  % -    , & (  ,  $    $    ( &         $ % .       ) (      (      &     /   ) $     %

   

      

.$  0 1 ! 223 4&  % 2256  &         &     (      $  & $&) 0(  6%   ,, 

 $  0.76   &     0 6 ( , /    ( ) $     % .$   &  , 

$       

 &) 0   2286% .7   &   $(     ,   ,  % , &  ,      $  &  & 9)   & 0*9: 6 07 ' 226 (  )(  &     +% :  '( ) 02256       +,  & $     

 % !  7 086    ,    )  $      (   %    (      .7          %      7   ,          , $ &   $   &'    %   &  &  

  (    $   $  ,  &' &   ;)      + % -     + )(   $  &'  $    (  $%   $,    $        )

       %           +    $   )( & ,  &' <    $ &   &'   (          (     ( % =%% $    &      ( )( (      (   (   &, & &(    (     $  &   &  % *          & $,   ,)  0!,  253 9 1 >)  226  &      ( %   ( (    ,    ( )  )( $   $    ( 

   $  %         $        )( $

 %% (   , )(% ,  (     $  ) $ , )(,    &? %% $        (   (  +   ,  &    &   ; $       ,   % >,

 )(    &      ,       )(  &     .7 %  &      &   $    (  & 

     &%    (    , )( $     &     %        # (  & ,&  .7   8%      $,    &   %  (  &  +       %       

 (   $()  *9:   &   $  , % -  5   %

     

      !" 

>   $      ) (    9)   & 09:6 $()% # ,

  ?  $  @          ?

 $         @  8    % 7          @ A0 6   ( A    B  ,     %    $  (   06 ( $ 

C  0> 6 0  6       $  0  6  % >   $   D E       ( %  B      ( +/  + ,     , $    &    %     06    $  +     (  &     $             A ( &     $<   06 @  0

½



  0  A0 6  6 @ 6

>   $ 0F,$ 6  0 6 ,   + $   ( $ ,        & ; + ,  A<  0 6 @  060 0  6 G   0 66 

(    ?  <   06 @ +  0 6% !

 A06 @   0 6 $    (       %

 #     

 $  (    



        ( $,   $ (       $  &        (   %    $ +  &  &   $; $ &   +,  % -       $( & <  06 $         %  

 /   &     &&  @ 2 $        &, &  $        $  % $ (       &&

$   $   &<  0$%

6 @ 2 0$% 6 G  0$%6

>    $    %

½              

                

            

, #*       & %

-  (   + + (   /    ? % &  #     ,       $    ,&  .7 (         $%     &, & $    &     +,      $ (  %       ) $ , )(% #    ( $   % !"       ( $  

  ,  ( $      %  ( $      ,% # + (      ( P    ( 8P  % $     

+    && 8P $ +  $   % !   >$      ,    ?  &    (    $( < #   +, + (  @    0(   + &&6%    $  (   

     %2222    $ (,

      %2%        %% -  + & $ ,   @  0( (    )      $    $ 

&6% 120000

No model 0.0 model 0.0

100000 80000

Average reward

      &&  ,/ $         )(        &(  

(         9,  0(    O  ?  &,   &(   6  &&  & +                 % $ + 

          & $%      0    - (   , $   $ $  

   % -      0M N6 (        $  , 

  0%%  0MG N6 $  = 6  $  (       &)%   $  &   &       $ /    )         $  0  (     (    , 6% *$       $   

B    )(   &    &  % -    $ /,)  ,      / 0  ? 6  ,       /  

$  /,  & % -  / ( $ /      %%

60000 40000 20000 0 -20000 -40000 0

200

400

600

800

1000

10000 15000 Nr steps

20000

Nr steps 120000

No model 0.0 Spider model 0.0 No Model 0.25 Spider model 0.25

100000 80000

Average reward

     

60000 40000 20000 0 -20000 0

5000

           !         "#         $  %&&&   "'#        

  

 - 80>6 (     

(      $      ?         , % #   &      ?   &       ;)    $% - 80!6 (  &   ( ) ,       $     $  ( J  $   / (     ( 8 P 

   %  ?  (   ,   , $     % !       &  B ,       $   ,

   %    ( $

     (    && $   %   

&   (          &?      % 

 $ 8       $       8  $    % &  (   & $         $ 8    0    $      8   6     ( )         %

   (        ") #   !  "*#     *              +   ,                   ,   -  (          %&&  

9 0 6     - . # 0%6 28O  O  O24 4 # 0%6 2O 8  8 54 24 # 0%86 2   2 O54 4 " 0%6 8 8 2 8 4 4 " 0%6 O8 8 8 8 54 84 " 0%86 OO 8 8 8 O4 84  &  (         $(  0P % P6 (   0 $   & $    (

6%   &     

, &       Q    $        )(% #  &   ( (    (        

      (  %                $   J $   (      % >   ,  (         

             B      &    $ (     $ 0  

  6% $      ( %

,$ #*       1 %     &  

#     + (   / $ /    0  ? 6   

& 

$          P $  /%  /    & 8P   & &)   8P   %

   -         ( $ 8% -    

G

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

S

            .&  !    "           #  /      ' $     0

  $     $

(  , % -   &)   (  ,8 $      ( 

,     ( & ,% !      $ (        %22222 ( (    ) ,      $   

&%    $ (   ( () &   %22%  +  9+,.    (  && $       $ %  %%  + & $  

 %        %% &    0  & $    ,   8 % >$       

         + & $      %      8   % -     (    & $ 

   & $   & $   $    %

 & 8 (  & $     & $   & $    

&  $ J     (     %%  &  (     ,      $(  (  %  & $  (     &  $,  $  (      %        &             ; $    ( ,     (   &&

$   %

   (            

    *              +                         

  "     

# 9 % O  2 8 # 9 % O  8  # 9 %8 O    " 9 % 5 5 85 5 " 9 % 5 5  O " 9 %8 8 O 8 O &  (  & $     & $   & $     &  $  $  (       %  (    () & (    

 &%      )

Æ   $  % !   ?  

      )%

   (            

   1           2 !                 !

              

  

9 0 6    

# 0%6 5O 5 8  # 0%6 O  2 8 # 0%26    8 # 0%6 25 8   " 0%6 5  8  " 0%6 5 5 85 5 " 0%26 5  2 O " 0%6    8

 06 88 8 O 8  5   % %8 % %8 % % %8 %

>   $   ()  (     ?   $     $  ,     & % #    +  ,         ,   ( % #     Æ    (    $  %

! 

! !

, &   ,  (  &    &  & 9)   & 0*9: 6   ,

  ( $  ,      &    $  (%

 *9:    &    &$  (   &&      $  

&  %    $    ( ,   (    &$   &, & $ &   

& ( 0( 

$   6%   *9: +  &  &    

07 ' 226 (   &      

& &$ % K(    

& (  & $ 

& (  ;  0     6%       !  +   & $      ? &, ,   *9:  ;)%               07  % 226% K ?   9:           &    $  F,  $ 

&     && %    $ ; ( 07  % 226 &   &  $   & $%   #   *9:     9: 0

& (6% >   

 &  J       ,  

& ( (     ;  

     &&   $  

& ( %   ( (    :    ( (  ( (      

& ( ( ( & ;) &% >

(      )      &   $  $ &   %    9:        $  ;% .      #  +     $   & , % #    $  $     &    

&  $  &          9:% * ,   ( &  ( (  & ,  &   % ! )      $    ,  $( 0&  6 ( (    (   (       &  % ! &   $    0$ &   6 $   $    0$ &  6  (       

& &   (  ,   $  $    % 

( &  $          $    ( &  ; & 

   %   $   &     ( $ $          $% $,   & & $   (  + ; $ &   %  . :  '( ) 02256 $   + &  ( &  &)     (  &&%         ( $  ,  $   && $  +  $  &% >$     :  ,   ( % >    ,    (   $            (

   Æ &   / (, % *       $ ; &            ( $    ,    % #    + 

    ( % #       $  0# 86 ( Æ    (        Æ ()     & $ (  %      9          % 9  ,         £  0/ 226 (   £     (   $  ;  &)  J $   $   % /  +,        /

 $     $  &),   ,  (    B % K        ?   (     ( &&  $%

" #  

#    (        $ % *      $      $  &,

       %     ,&  $    ,   $ &              &  ,    % *  ( 

, $    / & (  &  % 2  -  $     (           0! 1 7 86         % $ ( 

 ) / (B  

 )        $  %  ( (       &

  $  ? %



! .% 0256%        % ,     

% ! R% 1 7 9% 086% =+   , 9: %           % 9 

% : % 1 '( ) % R% 02256% =+ &    %       S88% 4& 7% % 7 9% 7% 1 9 >% #% 02256% .$ < >  % ! 

  "     #  $ 8OS8% 7 9% 7% 

 >% .% 1 4& 7% % 0226% 7  $  &  & ,  <  %     %    





&'

 

(  

0% 58SO6% 9 4$ &   -  >% 7 ' #% % 0226% >   $  

$  &  & 9)   

 %   )   #  * OS55% 9 >% #% 1 >)  % % 0226% /

(< .$  ( 

  

%      +, S% / >% 0226%  $

 :T  $ ,  %        !  (     "    %  .% % 1 ! >% % 0226% #     %     %  9 

, & 9> > !$ !)%   % 02286%  

   $, $ %             $ 0% 82S8556%  9 >< 9 4$% # 9% >% 02226% -.     Æ        % : 

  ,

 $ > % # 9% >% 086% 9, $  $ Æ  %         (        

0% S6%