지능적 에이전트

• 성공적인 에이전트의 구축을 위한 엄선된 설계 원리들을 만들어 나가는 것이다.
• 최대한 바람직한 방식으로 행동하는 에이전트라는 개념으로 자연스럽게 이어진다.
• 잘 행동하는가는 환경의 성격에 의존한다.

에이전트와 환경

예)

E(환경)

방A,B

Clean

Dirty

 

환경 -> Agent -> ? -> Action -> 환경

반복

 

합리적인 에이전트

->옳은 일을 하는 에이전트이다.

'바람직함'이라는 개념

환경의 주어진 임의의 상태열을 평가하는 성과 측정(performance measure)으로 구체화된다.

-> 지금 말하는 것은 에이전트의 상태가 아니라 환경의 상태이다.

 

에이전트가 어떻게 행동해야 하는지를 기준으로 삼기보다는 환경이 실제로 어떻게 변하는 것이 바람직한지를 기준으로 삼는 것이 낫다.

합리성

합리적인지는 4 가지가 있다.

• 성공의 기분을 정의하는 성과 측정
• 환경에 대한 에이전트의 사전 지식
• 에이전트가 수행할 수 있는 동작들
• 에이전트의 지금까지의 지각열

자신의 지각열과 에이전트의 내장 지식이 제공하는 증거에 측정치를 극대화할 만한 동작을 선택해야 한다.

전지, 학습, 자율성

전지

합리성과 전지(omniscience)를 구분할 필요가 있다.

전지한 에이전트: 자신의 동작의 실제 경과를 미리 알고 그에 따라 행동할 수 있다.

-> 하지만 불가능하다

-> 나중에 평가했을 때,  최상의 동작을 수행하는 에이전트를 설계하는 것은 불가능하다

 

향후의 지각들을 수정하기 위한 동작들을 수행하는 것은 합리성의 중요한 부분이다.

학습

• 정보를 수집해야 할 뿐만 아니라 자신이 지각한 것에서 최대한 많은 것을 배워야 한다.
• 환경에 대한 일부 사전 지식이 에이전트의 초기에 반영되어 있지만,  경험을 쌓음에 따라 그러한 지식은 수정, 증강되어야 한다.

자율성

합리적 에이전트는 자율적이어야 한다.

부분적 또는 부정확한 사전 지식을 학습을 통해서 보안할 수 있어야 한다.

 

합리적 에이전트가 자신의 환경을 충분히 경험하고 나면, 사전 지식과는 독립적으로 행동을 할 수 있다.

-> 학습 능력을 주입하면 한 종류의 합리적 에이전트가 아주 다양한 환경들에서 성공할 수 있다.

환경의 본성

과제 환경(task environment)은 '문제'에 해당하고, 합리적 에이전트는 그에 해당하는 '해답'에 해당하다.

과제 환경의 명시

성과 측정 방식과 환경, 그리고 에이전트의 작동기 및 감지기들을 명시해야 한다.

 

PEAS

Performance, Encironment, Actuators, Sensors

과제 환경의 속성

완전 관찰 가능 환경과 부분 관찰 가능 환경

완전은 에이전트의 감지기가 각 시간 지점에서 환경의 완전한 상태에 접근할 수 있는 환경

-> 유관성에 의존한다.

부분은 부정확하거나 입력에 잡음이 섞이거나, 감지기의 자료에 상태의 일부가 아예 빠져 있는 환경

단일 에이전트 환경 다중 에이전트 환경 (경쟁적 / 협동적)

단일은 오직 한개의 에이전트만이 있는 환경이다. 예로 십자말풀이에 놓인 환경이다.

다중은 경쟁적 환경과 협동적 환경이 있다.

결정론적 환경 확률론적 환경

결정론적은 환경의 다음 상태가 전적으로 현재 상태와 에이전트가 수행한 동작으로만 결정되는 환경

확률론적은 결정론적의 반하는 환경이다.

일화적 환경 순차적 환경

일화적(독립적)은 현재 결정은 이전 결정들과는 무관하며, 다음 결정에 영향을 미치지도 않는다.

순차적은 현재 결정이 이후의 모든 결정에 영향을 줄 수 있다.

 

정적 환경 동적 환경

동적은 에이전트가 다음 행동을 고민하는 동안 변할 수 있는 환경

정적은 동적과는 반대로 작용하는 환경이다.

 

이산적 환경 연속적 환경

이산/연속 구분은 환경의 상태에 적용되며, 시간의 처리 방식, 그리고 에이전트의 지각과 동작에도 적용된다

 

기지 환경 미지 환경

환경의 '물리 법칙들'에 관한 에이전트의(또는 설계사) 지식 상태에 관한 것이다.

기지 환경에서는 모든 동작에 관한 결과가 주어진다.

-> 하지만 부분관찰로 관찰 가능인 환경도 있다.

 

미지 환경은 좋은 결정을 내리기 위한 작동 방식을 에이전트가 배워야 한다.

-> 완전 관찰 가능인 환경도 있다.

에이전트의 구조

인공지능 구축에서 주된 임무는 에이전트 함수를 구현하는 에이전트 프로그램을 설계하는 것이다.

에이전트 = 아키텍처 + 프로그램

아키텍처는 감지기로부터의 지각들을 프로그램에 제공하고, 프로그램을 실행하고, 프로그램이
선택한 동작들을 작동기에 공급해서 동작이 일어나게 하는 능력을 갖추어야 한다.

이처럼 표 위주로 에이전트를 구축하는 접근방식이 실패할 수 밖에 없는 이유를 생각해 보면 배울 점이 많을 것이다.

P가 가능한 지각들의 집합이고T 가 에이전트의 수명(받게 되는 총 지각 수)라고 하면, 항목 수는

이다.

 

왜 안되는 가?

• 이 우주에서 그런 표를 담을 수 있는 공간을 가진 물리적 에이전트는 없다
• 설계자가 그런 표를 만들 시간도 없다
• 적절한 표 항목을 경험으로부터 모두 배울 수 있는 에이전트도 없다
• 환경이 단순해서 표가 감당할 만한 크기라고 해도 설계자에게 표 항목들을 채우는 방법에 대한 지침이 주어지지 않는 것은 마찬가지임을 의미한다.

단순 반사 에이전트

가장 단순한 형태의 에이전트
항상 현재 지각에 근거해서 동작을 선택할 뿐, 지각 역사의 나머지 부분은 무시한다

조건 동작 규칙 (if-then 규칙)

if 앞 차가 제동 중 then 제동 시작

모형 기반 반사 에이전트

• 가장 효과적인 방법은, 세상의 어떤 부분을 아직 보지 못했는지에 관한 정보를 에이전트가 계속 유지하는 것이다.
• 에이전트는 지각 역사에 의존적인, 따라서 적어도 현재 상태의 관찰되지 않은 일부 측면을 반영하는 일종의 내부 상태(internal'state)를 유지해야 한다.

-> 세계의 작동 방식’ 에 관한 지식을 가리켜 세계의 모형(Model)이라고 이러한 모형을 활용하는에이전트를 모형 기반 에이전트이다

 

효용 기반 에이전트

• 고품질 행동을 생성하려면 목표만으로는 부족하다.
• 좀 더 일반적인 성과 측정 방식은 에이전트의 효용 기준으로 비교 할 수 있어야 한다.
• 에이전트의 효용 함수 (utility'function)는 본질적으로 성과 측정 방법을 에이전트 안에 내장한것이라 할 수 있다.

내부 효용 함수와 외부 성과 측정 사이에 모순이 없다면, 자신의 효용을 최대화하는 동작을 선택하는 에이전트는 외부 성과 측정치를 기준으로 판단할 때 합리적 에이전트가 될 것이다.

 

-> 지각, 표현, 추론, 합습에 관한 상당한 양의 연구가 필요한 과제이다.

학습하는 에이전트

4가지 개념적 구성요소

• 학습의 진척을 책임지는 학습 요소 (learning4element)
• 외부 동작의 선택을 책임지는 수행 요소 (performance4element)
• 에이전트가 얼마나 잘 하고 있는지 관한 의견을 제공하는 비평가 (critic)
• 새롭고 배울 점이 있는 경험으로 이어질 동작들을 제시하는 문제 생성기 (problem4generator)

에이전트를 설계할 때 첫 번째 질문은 “이 능력을 어떻게 배우게 할 것인가?”가 아니라 “이 능력
을 배웠을 때 에이전트가 그것을 실제로 수행하려면 어떤 종류의 수행 요소가 필요한가?”이다.

에이전트 프로그램 구성요소들의 작동 방식

보통 원자적 표현과 분해된 표현을 주로 쓴다.

원자적 표현: 하나의 상태(B나 C)는 내부 구조가 없는 블랙박스이다.

분해된 표현: 하나의 상태는 특성값들의 벡터로 이루어진다. 특성값들은 부울 값일 수도 있고 실수 값이나 고정된 기호 집합의 한 기호일 수도 있다.