[LG Aimers] 강화학습2 - Model-Free Policy Evaluation

 

LG Aimers 학습 내용을 정리한 글입니다

 

 

 

상태와 보상과 같이 부분적으로 알고 있지, MDP를 전체적으로 알고 있는 경우는 없다. 

그런 샘플들만 주어지는 상황에서 문제를 어떻게 해결해 나갈 수 있을 것인가 → 강화학습 알고리즘의 본질

 

이전 강의 )

Return : 현재 Step에서 Horizon까지 감쇄된, Discount된 보상합

State Value Function : 보상합을 가지고 현재 State가 주어져 있을 때 오는 미래의 감쇄 보상합

State-Action Value Function : State action이 주어져 있을 때 기대되는 미래의 감쇄 보상합

 

Policy Evaluation

 : MDP에 관련된 실제 정보가 없을 경우 (전이모델(Transition Probability)과 보상모델(Reward) 관련된 정보가 없을 때) 정책의 예상되는 Return을 어떻게 계산할 것인가

 Algorithm 1. Monte Carlo(MC) Policy Evaluation

Value Function : Return의 평균값(현재 State에서 시작 했을 때의 평균값)

    → MDP의 전이모델이나 보상모델을 필요로 하지 않는다.

    → Markov 성징도 필요로 하지 않는다.

    →  단점 : Can only be applied to episodic MDPs (ends up in terminal state with probability 1)

 방법 1. First-Visit Monte Carlo(MC) In Policy Evaluation

          : Trajectory를 진행하면서 처음 만나는 State에 대해서만 Return, Value Function 사용(나중에 만나는 State는 Return과 Value Function에 사용하지 않는다)

→ Unbiased Estimator

 

Estimator 평가

 

 

 

 

 

 

 

 

방법 2. Every-Visit Monte Carlo(MC) On Policy Evaluation

          → 여러번 만난 State에 대한 Return을 전부 Value에 넣는다. 

→ Biased Estimator

 

  방법 3. Incremental Monte Carlo(MC) On Policy Evaluation

   

 

MC Policy Evaluation은

• High variance estimator
• Requires episodic settings

 

 

Algorithm 2.Temporal Difference Learning : 강화학습에서 중심이 되는 알고리즘 !!!!!!!

          → Monte Carlo + dynamic programming method

          →  Model-free (MDP필요없다)

          →  Can be used in episodic or infinite-horizon non-episodic settings

  Temporal Difference [TD(0)] Learning

          → TD can learn before knowing the final outcome

          → TD can learn withour the final outcome

 

 

 Algorithm 3. Certainty Equivalent Learning

          : MDP를 알고 있지는 않지만, 샘플을 이용하여 Transition 모델과 Reward 모델을 학습하고, Planning 알고리즘 기존에 있던 DP 모델을 돌리는 것

          → Model Based

• Model Free : 모델을 학습하지 않고 Policy Evaluation을 진행하거나, Policy를 찾아내는 알고리즘
  예) MC, TD
• Model Based : 기존의 샘플을 이용해서 모델을 학습하고 학습된 모델을 기반해서 강화학습 진행
  예) Certainty Equivalent Learning

Properties of Algorithm for Evaluation

 

 

 

 

 

출처 : https://www.lgaimers.ai/