인공지능/Artificial Intelligence (COSE361)19 [인공지능] Chapter 20. Optimization and Neural Networks Gradient ascent and log likelihood objective Gradient Gradient Ascent 경사 상승법 Continuous optimization 파라미터 최적화를 위해 사용하는 방법 주로 목적함수를 최대화하기 위해 사용 목적 함수의 기울기(gradient)를 계산하고 그 기울기가 증가하는 방향으로 파라미터를 조정함으로써 목적함수 값을 증가시키는 방식 Log likelihood 로그 우도 확률 모델의 매개변수가 주어진 데이터를 생성할 확률의 로그를 취한 것 로그 사용 이유: 수치적 안정성, 계산 단순화, 미분을 쉽게 Log likelihood objective 로그 가능도 목적 주어진 데이터셋에 대한 모델의 파라미터가 얼마나 잘 맞는지를 측정 이 값을 최대화함으로써 최적.. 2023. 12. 22. [인공지능] Chapter 19. Perceptrons and Logistic Regression Perceptrons and linear classifier Perceptron 인공신경망의 가장 기본적인 형태 Linear classifier 데이터를 분류하는데 사용되는 선형 방정식 input: feature values 각각의 feature는 가중치 sum 은 activation If the activation is: Positive, output +1 Negative, output -1 Multi-class perceptrons Multi-class perceptrons 다중 클래스 퍼셉트론 구조 입력층 feature 데이터를 받고 은닉층 비선형 변환 출력층 Logistic regression Logisitc Regression 로지스틱 회귀 선형 회귀의 원리를 분류 문제에 적용한 모델 Softm.. 2023. 12. 21. [인공지능] Chapter 18. Machine Learning and Naive Bayes Machine Learning and Classification Machine Learning 데이터로부터 패턴을 학습하여 예측이나 결정을 자동으로 만들 수 있는 컴퓨터 시스템을 개발하는 분야 Classification 지도 학습의 일종 주어진 데이터를 사전에 정의된 여러 범주 중 하나로 할당 Classifier Confidences 주어진 인스턴스가 특정 클래스에 속할 확률 분류 결정의 확실성 평가 Naive Bayes Models Naive Bayes Models 베이즈 정리를 기반으로 한 확률적 분류 기준 가정: 모든 특성이 서로 조건부 독립 → features 간 영향이 없음 → 고차원 데이터셋에서도 효과적으로 작동 Parameter Estimation Parameter Estimation 모델의.. 2023. 12. 20. [인공지능] Chapter 17. Particle Filters and Dynamic Bayes Nets Particle Filtering 배경 변수 x가 커지면, exact inference 실현 불가, likelihood weighting이 실패, 시간이 지나면서 샘플의 수가 기하급수적으로 증가 Particle Filtering 비선형 모델에서 부분적으로만 관찰 가능한 상태의 확률 과정에 대한 분포를 추정하는 데 사용 새로운 관측 데이터가 주어지면 각 파티클의 가중치를 업데이트 ‘particle’ 상태 공간을 대표하는 무작위로 선택된 상태들의 집합 파티클 샘플들을 사용하여 상태 공간을 대표하고, 이 샘플들을 시간에 따라 업데이트하면서 시스템의 상태를 추정 Problem 샘플링된 상태 궤적들이 낮은 확률 영역으로 벗어나는 경향이 있을 수 있음 → 관찰된 증거를 무시하고, 합리적인 샘플들이 적게 남는 결과 .. 2023. 12. 20. [인공지능] Chapter 16. Hidden Markov Models Markov Chains & their Stationary Distribution Markov Chains 상태들의 집합과 이 상태들 사이의 전이 확률을 갖는 확률적 모델 Markov Property 미래 상태는 오로지 현재 상태에만 의존, 과거 상태와는 독립적 상태: 시간에 따른 시스템의 상태 전이 모델: 시간에 따른 상태의 변화 Stationary Assumption: 모든 시간에 걸쳐 전이 확률이 동일하다고 가정 Markov Assumption: 미래는 현재가 주어진 상태에서 과거와 독립적 Stationary Distribution Markov Chain이 충분히 많은 전이를 거친 후, 각 상태에 도달할 확률이 변하지 않고 일정해지는 분포 대부분의 마르코프 체인에서 충분한 시간이 지나고 나면 시스템.. 2023. 12. 20. [인공지능] Chapter 15. Decision Network Decision Networks Decision Networks 결정 네트워크 베이지안 네트워크 + action + utility 확률적인 이벤트의 결과와 결정의 영향을 모델링하여 최적의 결정을 내림 확률변수 노드: 시스템의 상태, 원형 결정 노드: 의사결정자가 선택할 수 있는 행동, 사각형 효용 노드: 특정 상태와 결정의 결과로 발생하는 효용 또는 가치, 다이아몬드 확률적 사건, 결정, 그 결과로 발생하는 효용 간의 관계를 모델링 Expected Utility 결정의 결과로 기대할 수 있는 효용의 평균적인 가치 각 결정 결과의 효용과 그 결과가 발생할 확률 고려 Expected Utility=∑(Utility of outcome×Probability of outcome) Maximum Expected .. 2023. 12. 19. [인공지능] Chapter 14. Bayesian Network Bayesian network Bayes Net 복잡한 결합 분포를 간단한 조건부 분포를 통해 설명한 것 graphical models의 한 형태 변수들 사이의 조건부 독립성 활용 특정 변수가 다른 변수들과 하는 local interaction을 그래픽으로 표현 → 복잡한 시스템을 이해하고 추론 가능 각 변수가 부모 변수들의 집합에 조건화된 확률 분포를 가짐 → 각각의 확률 분포는 네트워크의 노드로 표현, 변수들 사이의 의존성은 화살표로 나타남 Graphical Model Notation 그래픽 모델에서 변수들 사이의 의존성과 독립성을 시각적으로 나타낸 것 Nodes: variables (with domains) 노드는 변수를 의미 변수는 ‘할당됨(assigned, observed)’ 또는 ‘할당되지 않.. 2023. 12. 19. [인공지능] Chapter 13. Probability Basic Laws Uncertainty 예측 불가능한 실제 상황 ex. 비행기 출발 시간 1시간 전에 공항에 도착해야하는 상황 문제점 Partial Observability (부분 관측성) 모든 정보를 전부 알 수 없는 상태 ex. 도로 상태, 다른 운전자들의 계획 Noisy Sensors (잡음이 많은 센서) 라디오 교통 정보나 구글 맵 같은 정보들이 항상 정확하지 않을 수 있음 Complexity of Modelling and Predictiong (모델링과 예측의 복잡성) 교통, 대기 상태 등을 모델링 하고 예측 하는 것은 매우 복잡 Lack of Knowledge of World Dynamics 예측하지 못한 사건의 발생 Probabilistic Assertions (확률적 주장) ignoran.. 2023. 12. 18. [인공지능] Chapter 12. Reinforcement Learning (2) Exploitation VS Exploration Exploitation (활용) 지금까지 학습한 것 중 최적의 행동을 선택 이미 학습한 지식을 토대로 가장 높은 보상을 기대하는 행동을 선택 학습된 정책 또는 가치 함수를 따라가는 것 Exploration (탐험) 새로운 행동을 시도 더 많은 정보를 얻기 위해 이전에 시도하지 않은 행동을 선택 불확실한 상황에서 미래의 보상을 더 잘 이해하기 위해 리스크를 감수하고 새로운 경험을 쌓는 것 새로운 행동을 시험하며 미래에 더 나은 결정을 내릴 수 있도록 학습 → Exploration이 없는 pure exploitation은 학습의 다양성과 새로운 경험을 얻는 기회를 제한하여 optimal policy를 얻는 것을 어렵게 만든다. Exploration metho.. 2023. 12. 6. [인공지능] Chapter 11. Reinforcement Learning (1) Double Bandits Double bandits 강화학습의 한 영역 두 가지 알고리즘이 결합된 형태 1st bandit 탐험 환경과의 상호작용을 통해 가장 효과적인 행동을 선택하려고 함 알려지지 않은 환경에서 가장 좋은 결과를 얻기 위해 다양한 행동을 시도하는 과정 2nd bandit 활용 이러한 탐험을 통해 얻은 데이터를 기반으로 가장 효과적인 데이터를 예측 이미 알려진 정보를 활용하여 가장 좋은 결과를 얻는 것을 목표로 함 위 두 가지 접근 법 사이의 균형을 맞추는 것이 Double bandits의 핵심 문제 Offline Planning offline planning 환경에 대한 전체 정보를 갖고 있을 때 주로 사용 미리 모든 가능한 상태와 행동에 대한 가치를 계산하고, 이를 바탕으로 최선의 .. 2023. 12. 4. [인공지능] Chapter 10. Markov Decision Process (2) The Bellman EquationsBellman Equations지금 상태 s에서 이후 모든 상태 s’로 이어지는 값 중, 최댓값을 고르는 식최적화 문제를 푸는 데 사용순차적인 의사결정 문제를 다루는 데 활용How to be optimalTake correct first actionKeep being optimal벨만 방정식에서 agent가 얻을 수 있는 utility의 최적화된 값 (벨만 방정식의 두 가지 형태)V*(s) (상태 가치 함수)agent가 상태 s에서 시작optimal 하게 행동한다면 행동 가능한 타임 스탬프 동안 얻을 수 있는 utility 기대값Q*(s, a) (행동 가치 함수)agent가 상태 s에서 시작행동 a를 시작한뒤 optimal하게 해동한다면 이후 얻을 수 있는 utili.. 2023. 11. 27. [인공지능] Chapter 9. Markov Decision Process (1) Markov Decision Processes 다음과 같은 요소로 정의 A set of states s from S A set of actions a from A A transition function T(s, a, s’) s’: a(from s)가 s’가 될 확률 Also called the model or the dynamic A reward function R(s, a, s’) A start stae Maybe a terminal state MDPs are non-deterministic search problems One way to solve them is with expectimax search What is Markov about MDPs? Markov generally means that .. 2023. 10. 25. 이전 1 2 다음
