A primeira família que adotou este nome por apelido é de remotas origens, a ela pertencendo o arcebispo de Braga D. Martinho Pires de Oliveira, que instituiu um rico morgadio em Évora, herdado pela descendência de seu pai, Pedro Oliveira. As armas antigas dos Oliveiras, são talvez tão antigas que antecedem o nascimento das chamadas regras da armaria ou, pelo menos, da sua aplicação em Portugal.