Além de ter a chave, ele pode ter algum aplicativo que exporta o histórico (para onde ele tenha acesso), ou pode ter um keylogger que grava tudo que a pessoa do whats digita.

Criptografia ponta-a-ponta é tipo assim:
Imagine que você tem uma caixa, essa caixa tem 2 "andares", como um fundo falso, e dois buracos para chave.
Quando alguém coloca algo nessa caixa, e tranca com a chave prata, a caixa deixa o produto cair pelo fundo falso, e é trancada. Se você abre novamente a caixa com a chave prata, ela parece vazia.
A chave de ouro abre a caixa por baixo e permite retirar o que caiu no fundo falso, porém não permite colocar nada lá.
Você deixa centenas dessas caixas na frente de sua casa, todas com chaves prateadas ali. Assim como todas as outras pessoas do whatsapp. Todo mundo tem as caixas com a mesma chave prateada publicamente.
As pessoas que querem mandar algo pegam a caixa, abrem com a chave prateada, colocam o que querem te enviar e trancam. A carta cai pelo fundo falso e a caixa é enviada.
Só você tem a chave de ouro que tira o produto por baixo. Se outra pessoa tiver a chave de ouro, ela pode retirar também. A chave de ouro nunca pode ser usada para enviar coisas.