인공지능39 [인공지능] Chapter 15. Decision Network Decision Networks Decision Networks 결정 네트워크 베이지안 네트워크 + action + utility 확률적인 이벤트의 결과와 결정의 영향을 모델링하여 최적의 결정을 내림 확률변수 노드: 시스템의 상태, 원형 결정 노드: 의사결정자가 선택할 수 있는 행동, 사각형 효용 노드: 특정 상태와 결정의 결과로 발생하는 효용 또는 가치, 다이아몬드 확률적 사건, 결정, 그 결과로 발생하는 효용 간의 관계를 모델링 Expected Utility 결정의 결과로 기대할 수 있는 효용의 평균적인 가치 각 결정 결과의 효용과 그 결과가 발생할 확률 고려 Expected Utility=∑(Utility of outcome×Probability of outcome) Maximum Expected .. 2023. 12. 19. [인공지능] Chapter 14. Bayesian Network Bayesian network Bayes Net 복잡한 결합 분포를 간단한 조건부 분포를 통해 설명한 것 graphical models의 한 형태 변수들 사이의 조건부 독립성 활용 특정 변수가 다른 변수들과 하는 local interaction을 그래픽으로 표현 → 복잡한 시스템을 이해하고 추론 가능 각 변수가 부모 변수들의 집합에 조건화된 확률 분포를 가짐 → 각각의 확률 분포는 네트워크의 노드로 표현, 변수들 사이의 의존성은 화살표로 나타남 Graphical Model Notation 그래픽 모델에서 변수들 사이의 의존성과 독립성을 시각적으로 나타낸 것 Nodes: variables (with domains) 노드는 변수를 의미 변수는 ‘할당됨(assigned, observed)’ 또는 ‘할당되지 않.. 2023. 12. 19. [인공지능] Chapter 13. Probability Basic Laws Uncertainty 예측 불가능한 실제 상황 ex. 비행기 출발 시간 1시간 전에 공항에 도착해야하는 상황 문제점 Partial Observability (부분 관측성) 모든 정보를 전부 알 수 없는 상태 ex. 도로 상태, 다른 운전자들의 계획 Noisy Sensors (잡음이 많은 센서) 라디오 교통 정보나 구글 맵 같은 정보들이 항상 정확하지 않을 수 있음 Complexity of Modelling and Predictiong (모델링과 예측의 복잡성) 교통, 대기 상태 등을 모델링 하고 예측 하는 것은 매우 복잡 Lack of Knowledge of World Dynamics 예측하지 못한 사건의 발생 Probabilistic Assertions (확률적 주장) ignoran.. 2023. 12. 18. [인공지능] Chapter 12. Reinforcement Learning (2) Exploitation VS Exploration Exploitation (활용) 지금까지 학습한 것 중 최적의 행동을 선택 이미 학습한 지식을 토대로 가장 높은 보상을 기대하는 행동을 선택 학습된 정책 또는 가치 함수를 따라가는 것 Exploration (탐험) 새로운 행동을 시도 더 많은 정보를 얻기 위해 이전에 시도하지 않은 행동을 선택 불확실한 상황에서 미래의 보상을 더 잘 이해하기 위해 리스크를 감수하고 새로운 경험을 쌓는 것 새로운 행동을 시험하며 미래에 더 나은 결정을 내릴 수 있도록 학습 → Exploration이 없는 pure exploitation은 학습의 다양성과 새로운 경험을 얻는 기회를 제한하여 optimal policy를 얻는 것을 어렵게 만든다. Exploration metho.. 2023. 12. 6. [인공지능] Chapter 11. Reinforcement Learning (1) Double Bandits Double bandits 강화학습의 한 영역 두 가지 알고리즘이 결합된 형태 1st bandit 탐험 환경과의 상호작용을 통해 가장 효과적인 행동을 선택하려고 함 알려지지 않은 환경에서 가장 좋은 결과를 얻기 위해 다양한 행동을 시도하는 과정 2nd bandit 활용 이러한 탐험을 통해 얻은 데이터를 기반으로 가장 효과적인 데이터를 예측 이미 알려진 정보를 활용하여 가장 좋은 결과를 얻는 것을 목표로 함 위 두 가지 접근 법 사이의 균형을 맞추는 것이 Double bandits의 핵심 문제 Offline Planning offline planning 환경에 대한 전체 정보를 갖고 있을 때 주로 사용 미리 모든 가능한 상태와 행동에 대한 가치를 계산하고, 이를 바탕으로 최선의 .. 2023. 12. 4. [인공지능] Chapter 10. Markov Decision Process (2) The Bellman EquationsBellman Equations지금 상태 s에서 이후 모든 상태 s’로 이어지는 값 중, 최댓값을 고르는 식최적화 문제를 푸는 데 사용순차적인 의사결정 문제를 다루는 데 활용How to be optimalTake correct first actionKeep being optimal벨만 방정식에서 agent가 얻을 수 있는 utility의 최적화된 값 (벨만 방정식의 두 가지 형태)V*(s) (상태 가치 함수)agent가 상태 s에서 시작optimal 하게 행동한다면 행동 가능한 타임 스탬프 동안 얻을 수 있는 utility 기대값Q*(s, a) (행동 가치 함수)agent가 상태 s에서 시작행동 a를 시작한뒤 optimal하게 해동한다면 이후 얻을 수 있는 utili.. 2023. 11. 27. [인공지능] Chapter 9. Markov Decision Process (1) Markov Decision Processes 다음과 같은 요소로 정의 A set of states s from S A set of actions a from A A transition function T(s, a, s’) s’: a(from s)가 s’가 될 확률 Also called the model or the dynamic A reward function R(s, a, s’) A start stae Maybe a terminal state MDPs are non-deterministic search problems One way to solve them is with expectimax search What is Markov about MDPs? Markov generally means that .. 2023. 10. 25. [인공지능] Chapter 8. Adversarial Search (2) Uncertain outcomes controlled by chance, not an adversary! Expectimax Search 어떠한 행동의 결과가 어떻게 될지 알 수 없는 이유는? Explicit randomness Unpredictable opponents Actions can fail Values should now reflect average-case (expectimax) outcomes, not worst-case (minimax) outcomes Expectimax search Compute the average score under optimal play Minimax search와 같은 max node Chance node are like min nodes but the out.. 2023. 10. 25. [인공지능] Chapter 7. Adversarial search (1) Games There are many different kinds of games Deterministic or stochastic One, two, or more players? Zero sum? Perfect information (can you see the state)? We want algorithms for calculating a strategy (policy) which recommends a move from each state Deterministic Games States Players Action Transition function Terminal test Terminal Utilities Zero-sum games Zero-sum games Agents는 서로 반대되는 utilit.. 2023. 10. 25. [인공지능] Chapter 6. Constraint Satisfaction problems What is search for? Assumptions about the world a single agent deterministic actions fully observed state discrete state space Planning: Sequences of actions Goal에 이르는 Path가 중요 Paths는 다양한 비용과 깊이(depths)를 가짐 Heuristics give problem-specific guidance Identification: assignments to variables Goal 그 자체가 중요 (Path가 아니라) 모든 Paths는 같은 depth를 가짐 CSPs are a specialized class of identification problems Con.. 2023. 10. 24. [인공지능] Chapter 5. Propositional logic Propositional Logic 명제 논리 Basic concepts of knowledge, logic, reasoning Propositional logic: syntax(구문) and semantics(의미론), Pacworld example Inference by model checking and theorem proving Agents that know things Agents는 지각, 학습, 언어를 통해 지식을 습득 Knowledge of the effects of actions trainsition model Knowledge of how the world affects sensors sensor model Knowledge of the current state of the world C.. 2023. 10. 24. [인공지능] Chapter 4. Local Search Local Search Algorithms 많은 최적화 문제에서, paths는 irrelevant하다. The goal state is the solution Then state space = set of ‘complete’ configurations; find configuration satisfying constraints (n-queens problem) or find optimal configuration (travelling salesperson problem) In such cases, we can use iterative improvement algorithms keep a single ‘current’ state, try to improve it constant space, suitable.. 2023. 10. 24. 이전 1 2 3 4 다음
