Você está aqui: Página Inicial > Defesas > Mestrado - Ana Flávia dos Reis
conteúdo

Mestrado - Ana Flávia dos Reis

por dirppg-ct publicado 03/02/2020 15h12, última modificação 03/02/2020 15h12
Eficiência Energética no Posicionamento de Estações Rádio-Base Móveis Baseadas em VANTs Aplicando Aprendizagem por Reforço
Quando
21/02/2020
de 14h30 até 17h30
(America/Sao_Paulo / UTC-300)
Onde
Sede Central: Sala A-306
Pessoa de contato
Prof. Glauber Gomes de Oliveira Brante
Participantes
Orientador (a): Prof. Glauber Gomes de Oliveira Brante, Dr. - UTFPR
Coorientador (a): Prof. Richard Demo Souza, Dr. - UFSC
Banca examinadora:
Presidente: Prof. Glauber Gomes de Oliveira Brante, Dr. - UTFPR
Prof. Marcelo Eduardo Pellenz, Dr. - PUCPR
Prof. Jamil de Araujo Farhat, Dr. - UTFPR
Adicionar evento ao calendário
iCal

Resumo: Para suprir as exigências de seus usuários, as redes celulares 5G devem ser altamente eficientes, tornando a eficiência energética um dos desafios e objetivos primários dos cenários de comunicações modernos. Além disso, o aumento no número de dispositivos e requisitos dos usuários dessas redes podem tornar as soluções analíticas aplicadas no contexto da eficiência energética e otimização de parâmetros da comunicação não factíveis, dada a complexidade atrelada à essas soluções. Para superar esse problema, soluções mais robustas e flexíveis, que exploram os dados gerados pela rede e tornam decisões em tempo real são as exigidas por essas redes futuras. Nesse contexto, a utilização de técnicas de Aprendizado de Máquina, capazes de analisar uma enorme quantidade de dados e aprender com eles, é uma possível solução, podendo ser aplicadas, por exemplo, em diferentes contextos de redes auto-organizáveis. O objetivo da presente dissertação é analisar uma aplicação de otimização do posicionamento de VANTs, Veículos Aéreos Não Tripulados, em um cenário de eventos temporários baseando-se em um algoritmo Q-learning, uma técnica de aprendizado por reforço, na qual os agentes das soluções propostas aprendem a agir para maximizar uma determinada recompensa. Duas diferentes recompensas são propostas e comparadas, com a primeira visando apenas minimizar o número de usuários em indisponibilidade e a segunda buscando maximizar a eficiência energética, considerando a quantidade de energia usada para a movimentação VANTs. A solução Q-learning é responsável por determinar o melhor posicionamento no espaço tridimensional e a potência de transmissão ideal, dados alguns níveis de potência possíveis. Os resultados obtidos mostram que a otimização da potência de transmissão implementada reduziu a probabilidade de indisponibilidade dos usuários da rede, uma vez que a interferência entre os VANTs foi minimizada a partir da alocação da potência adequada e, além disso, é mostrado que a introdução de um fator de desconto na recompensa do algoritmo relacionado ao gasto de energia para as movimentações VANTs foi capaz de aumentar consideravelmente a eficiência energética da rede, com uma penalidade no desempenho em relação à cobertura de usuários. Finalmente, para as duas soluções consideradas e de acordo os seus respectivos objetivos, a técnica Q-learning, a partir da sua capacidade de aprender com a iteração com um ambiente e de experiências anteriores, mostrou-se capaz de resolver o problema de auto-organização da rede baseada em VANTs de uma maneira eficiente, apresentando-se como uma solução promissora para as futuras redes celulares.
Palavras-chave: Eficiência Energética, VANTs, Aprendizado por Reforço.

Energy Efficiency in Positioning UAV-Based Mobile Base Stations Applying Reinforcement Learning
Abstract: To meet users demands, 5G cellular networks require high operational efficiency, making energy efficiency one of the primary challenges and objectives of modern communication systems. In addition, the increase in the number of devices and user requirements in these networks may turn analytical solutions applied in the context of energy efficiency and optimization of communication parameters not feasible, given the complexity associated to these solutions. To overcome this problem, more robust and flexible solutions that exploit the data generated by the network and make real-time decisions are required by these future networks. In this context, the use of Machine Learning techniques, capable of analyzing a big amount of data and learning from it, is a possible solution and can be applied, for example, in different self-organizing network contexts. The aim of this work is to analyze a positioning optimization application of UAVs, Unmanned Aerial Vehicles, in a scenario of temporary events based on a Q-learning algorithm, a reinforcement learning technique in which the agents learn to act to maximize a given reward. Two different rewards are proposed and compared, with the first aiming only to minimize the number of users in outage and the second provided to maximize energy efficiency by considering the amount of energy used for UAVs movements. The Q-learning solution is responsible for determining the best three-dimensional positioning and optimal transmit power given some possible power levels. The results show that the optimization of the transmission power reduced the percentage of users in outage, since interference between UAVs was minimized by allocating adequate power. Furthermore, it is shown that the introduction of a discount factor in the algorithm reward for UAV movements has been able to considerably increase the energy efficiency of the network, with a performance penalty over the user coverage. Finally, for the two solutions considered and in accordance with their respective objectives, the Q-learning technique, based on its ability to learn from iteration with an environment and from previous experiences, proved to be able to solve the problem of self-organization of the UAV-based network in an efficient manner, presenting itself as a promising solution for future cellular networks.
Keywords: Energy Efficiency, UAVs, Reinforcement Learning.


Lista de publicações:
Ali Imran, Muhammad ; Flávia dos Reis, Ana ; Brante, Glauber ; Valente Klaine, Paulo ; Demo Souza, Richard . Machine Learning in Energy Efficiency Optimization. Machine Learning for Future Wireless Communications. 1ed.: Wiley, 2020, v. 1, p. 105-117.

REIS, A. F.; BRANTE, G. ; PARISOTTO, R. P. ; SOUZA, R. D. . Consumo Energético no Posicionamento de Estações Rádio-Base Móveis Baseadas em VANTs Aplicando Aprendizagem por Reforço. In: XXXVII Simpósio Brasileiro de Telecomunicações e Processamento de Sinais (SBrT 2019), 2019, Petrópolis. Anais do XXXVII Simpósio Brasileiro de Telecomunicações e Processamento de Sinais (SBrT 2019), 2019.