Nome de raízes toponímicas, foi tirado da designação do Paço de Oliveira, na freguesia de Santa Maria de Oliveira, termo de Arcos de Valdevez. A família que adoptou este nome por apelido é de remotas e nobres origens, a ela pertencendo o arcebispo de Braga D. Martinho Pires de Oliveira, que instituiu um rico morgadio em Évora, que deixou à descendência de seu irmão Pedro Oliveira. As armas antigas dos Oliveiras, talvez que tão antigas que antecedessem o nascimento das chamadas regras da armaria ou, pelo menos, a sua aplicação no nosso país.