Título
Learning control knowledge by observation in software agents
Autor
Costa, Paulo Roberto Almeida Moreira
Resumo
pt
Esta tese resulta da investigação da aplicação da aprendizagem por observação em agentes de
software. A tese apresenta uma arquitetura que permite a agentes de software aprender mecanismos
de controlo por observação direta das acções realizadas por agentes especialistas enquanto
estes realizam uma tarefa. A arquitetura proposta permite que agentes de software se observem
uns aos outros ao exibir informações que são essenciais para a observação, tais como os constituintes
e as capacidades do agente, as ações realizadas e as condições existentes aquando a
realização das mesmas. Esta informação é acessível a todos os agentes que queiram observar.
A abordagem proposta combina dois métodos de aprendizagem. O primeiro baseia-se na
sequência em que as ações foram observadas. O segundo categoriza a informação observada e
determina o conjunto de categorias aos quais os novos problemas pertencem. Os dois métodos
de aprendizagem são incorporados num processo de aprendizagem que cobre todos os aspetos
da aprendizagem por observação tais como a descoberta e observação de especialistas,
o armazenamento da informaçãao adquirida, a aprendizagem e a aplicação do conhecimento
adquirido. O processo de aprendizagem inclui também uma avaliação do progresso do agente
que controla a decisão de obter novo conhecimento ou de aplicar o conhecimento adquirido em
novos problemas. O processo é alargado com feedback externo sobre as acões executadas.
A abordagem foi testada em três diferentes cenários que mostram a importância da aprendizagem
por observação em situações onde agentes que compartilham características semelhantes querem aprender uns com os outros.
en
This thesis is the outcome of research on providing software agents with learning by observation
capabilities. It presents an agent architecture that allows software agents to learn control
knowledge by direct observation of the actions executed by expert agents while performing a
task. The proposed architecture makes it possible for software agents to observe each other. It
displays information that is essential for observation, such as the agent constituents and capabilities,
the actions performed and the conditions holding for them. The displayed information
is accessible to all agents that want to observe.
The proposed approach combines two methods of learning from the observed data. The first
one relies on the sequence which the actions were observed. The second one categorizes the
information in the observed data and determines which set of categories the new problems belong.
The two learning methods are incorporated into a learning process that covers all aspects
of learning by observation such as the discovery and observation of experts, storage of the acquired
information, learning and application of the acquired knowledge. The learning process
also includes an evaluation of the agent’s progress which provides control over the decision
to obtain new knowledge or apply the acquired knowledge to new problems. The process is
extended with external feedback on the actions executed by the agent.
The approach was tested on three different scenarios that show that learning by observation
can be of key importance whenever agents sharing similar features want to learn from each
other.