Para analisar a interferência entre símbolos em sinais com modulação de amplitude e fase é necessário analisar a filtragem de sinais de alta frequência e faixa limitada. Estes sinais são chamados de sinais passa-faixa. Qualquer processamento linear sobre um sinal passa-faixa é equivalente à passagem por um filtro passa-faixa, ou seja, um filtro cuja resposta ao impulso é um sinal passa-faixa. Por outro lado, todo sinal passa-faixa pode ser expresso por
 

(37)

Assim, a filtragem de um sinal passa-faixa m(t) por um filtro passa-faixa de resposta ao impulso c(t) pode ser geralmente expressa por
 

(38)

onde x(t) é o sinal de saída do filtro. Pode-se mostrar que

(39)

A análise da interferência entre símbolos pode ser feita com base no resultado acima. Deve-se lembrar que o demodulador coerente de sinais com amplitude e fase recupera as componentes em fase e em quadratura do sinal de entrada. Assim, a interferência entre símbolos deve ser avaliada observando as componentes x_c e x_s posteriormente filtradas pelo filtro h(t). Pode-se mostrar que a interferência entre símbolos é dada por
 

(40)

onde
 

(41)

Comparando-se com a expressão (12) para a interferência entre símbolos em sistemas PAM, nota-se que aqui ela apresenta uma parcela adicional correspondente à interferência dos símbolos da outra portadora
{b _k}. Genericamente, a interferência entre símbolos em sistemas com modulação de amplitude e fase faz com que, em vez de um único ponto correspondente a uma dada mensagem, se tenha no espaço de decisão, um grupamento de pontos, como indicado na Figura 11.
 

A filtragem passa-faixa pode ter uma representação formal bastante simplificada introduzindo-se a definição de envoltória complexa de um sinal passa-faixa x(t), ou seja,
 

(42)

Com isto os sistemas com modulação de amplitude e fase podem ser analisados pelo modelo da Figura 12.
 

Exemplo 3