Desvio de polarização para modelos em produção

O monitoramento de preconceitos do Amazon SageMaker Clarify ajuda cientistas de dados e engenheiros de ML a monitorar as previsões de viés regularmente. À medida que o modelo é monitorado, os clientes podem visualizar relatórios e gráficos exportáveis detalhando o viés no SageMaker Studio e configurar alertas na Amazon CloudWatch para receber notificações se um desvio além de um determinado limite for detectado. O desvio pode ser introduzido ou exacerbado nos modelos de ML implantados quando os dados de treinamento são diferentes dos dados que o modelo vê durante a implantação (ou seja, os dados dinâmicos). Esses tipos de mudanças na distribuição de dados dinâmicos podem ser temporários (por exemplo, devido a alguns eventos reais de curta duração) ou permanentes. Em ambos os casos, pode ser importante detectar essas alterações. Por exemplo, os resultados de um modelo para prever preços de casas podem se tornar tendenciosos se as taxas de hipoteca usadas para treinar o modelo diferirem das taxas de hipoteca atuais do mundo real. Com os recursos de detecção de polarização no Model Monitor, quando a SageMaker IA detecta tendências além de um determinado limite, ela gera automaticamente métricas que você pode visualizar no SageMaker Studio e por meio de alertas da Amazon CloudWatch.

Em geral, medir o desvio somente durante a fase de treinamento e implantação pode não ser suficiente. É possível que, após a implantação do modelo, a distribuição dos dados que o modelo implantado vê (ou seja, os dados dinâmicos) seja diferente da distribuição de dados no conjunto de dados de treinamento. Essa mudança pode introduzir desvios em um modelo ao longo do tempo. A mudança na distribuição de dados dinâmicos pode ser temporária (por exemplo, devido a algum comportamento de curta duração, como as festas de fim de ano) ou permanente. Em ambos os casos, pode ser importante detectar essas mudanças e tomar medidas para reduzir o desvio, quando apropriado.

Para detectar essas mudanças, o SageMaker Clarify fornece a funcionalidade de monitorar continuamente as métricas de viés de um modelo implantado e emitir alertas automatizados se as métricas excederem um limite. Por exemplo, considere a métrica de desvio da DPPL. Especifique um intervalo permitido de valores A = (a_min​, a_max​), por exemplo, um intervalo de (-0,1, 0,1), ao qual a DPPL deve pertencer durante a implantação. Qualquer desvio desse intervalo deve gerar um alerta de desvio detectado. Com o SageMaker Clarify, você pode realizar essas verificações em intervalos regulares.

Por exemplo, você pode definir a frequência das verificações para 2 dias. Isso significa que o SageMaker Clarify calcula a métrica DPPL nos dados coletados durante uma janela de 2 dias. Neste exemplo, D_win são os dados que o modelo processou durante a última janela de 2 dias. Um alerta será emitido se o valor da DPPL b_win​ calculado em D_win​ estiver fora de um intervalo permitido A. Essa abordagem para verificar se b_win está fora de A pode ser um pouco ruidosa. D_win​ pode consistir em muito poucas amostras e pode não ser representativo da distribuição de dados dinâmicos. O pequeno tamanho da amostra significa que o valor do desvio b_win​ calculado sobre D_win​ pode não ser uma estimativa muito robusta. Na verdade, valores muito altos (ou baixos) de b_win podem ser observados puramente por acaso. Para garantir que as conclusões tiradas dos dados observados D _win sejam estatisticamente significativas, o SageMaker Clarify faz uso de intervalos de confiança. Especificamente, ele usa o método Normal Bootstrap Interval para construir um intervalo C= (c_min, c_max) de forma que a SageMaker Clarify tenha certeza de que o verdadeiro valor de polarização calculado sobre os dados reais completos está contido em C com alta probabilidade. Agora, se o intervalo de confiança C se sobrepor ao intervalo permitido A, SageMaker Clarify o interpreta como “é provável que o valor métrico de tendência da distribuição de dados ao vivo esteja dentro do intervalo permitido”. Se C e A estiverem separados, a SageMaker Clarify está confiante de que a métrica de polarização não está em A e gera um alerta.

Caderno de exemplo do Model Monitor

O Amazon SageMaker Clarify fornece o seguinte caderno de amostra que mostra como capturar dados de inferência para um endpoint em tempo real, criar uma linha de base para monitorar a evolução do preconceito e inspecionar os resultados:

Verificou-se que este notebook funciona somente no Amazon SageMaker Studio. Se você precisar de instruções sobre como abrir um notebook no Amazon SageMaker Studio, consulteCrie ou abra um notebook Amazon SageMaker Studio Classic. Caso seja solicitado que você escolha um kernel, escolha Python 3 (Ciência de dados). Os tópicos a seguir contêm os destaques das duas últimas etapas e contêm exemplos de código do caderno de exemplo.