Week 21 — AI Product Engineering

1. Objetivos de Week 21

WEEK 1

"Quiero aprender IA"


        ↓


WEEK 10

"Quiero construir una aplicación"


        ↓


WEEK 20

"Quiero construirla de forma segura"


        ↓


WEEK 21

"Quiero construir algo
que la gente realmente quiera utilizar"

Al finalizar esta semana deberás saber:

• identificar problemas reales;
• definir usuarios;
• crear user journeys;
• diseñar experiencias AI;
• decidir cuándo debe intervenir la IA;
• decidir cuándo NO debe utilizarse IA;
• diseñar human-in-the-loop;
• definir métricas;
• medir adopción;
• diseñar experimentos;
• utilizar feature flags;
• analizar costes;
• priorizar funcionalidades;
• crear un roadmap AI.

2. Product Thinking

Un desarrollador tradicional suele pensar:

¿Qué tecnología puedo construir?

Un Product Engineer piensa:

¿Qué problema merece la pena resolver?

Ejemplo

Imaginemos una aplicación capaz de:

• analizar documentos;
• generar informes;
• crear presentaciones;
• hacer gráficos;
• hablar por voz;
• buscar en Internet;
• utilizar Agents.

¿Es automáticamente un buen producto?

No.

Tenemos que responder:

• ¿para quién?
• ¿qué problema resuelve?
• ¿con qué frecuencia ocurre?
• ¿cuánto cuesta actualmente resolverlo?
• ¿qué valor aporta?
• ¿por qué utilizarían nuestra solución?

3. Problem Discovery

Antes de añadir una funcionalidad preguntamos:

¿QUÉ PROBLEMA ESTAMOS RESOLVIENDO?

Problem Statement

Una buena estructura es:

[USUARIO]

tiene dificultades para

[PROBLEMA]

cuando

[CONTEXTO]

lo que provoca

[CONSECUENCIA]

Ejemplo

Los responsables de equipos

tienen dificultades para

encontrar rápidamente
información sobre sus empleados

cuando necesitan asignar
personas a proyectos

lo que provoca

mucho trabajo manual
y decisiones lentas.

Hipótesis

Creemos que

[USUARIO]

utilizará

[FUNCIONALIDAD]

porque

[VALOR]

Sabremos que funciona cuando

[MÉTRICA]

4. User Personas

Una misma aplicación puede tener usuarios con necesidades completamente diferentes.

AI cambia el concepto de interfaz

Antes:

MENU
 ↓
FORM
 ↓
BUTTON
 ↓
RESULT

Ahora:

USER INTENT
 ↓
AI
 ↓
UNDERSTAND
 ↓
PLAN
 ↓
EXECUTE
 ↓
RESULT

5. User Journey

Debemos entender todo el recorrido del usuario.

DISCOVER
   ↓
LOGIN
   ↓
ONBOARDING
   ↓
FIRST ACTION
   ↓
VALUE
   ↓
REPEAT
   ↓
HABIT
   ↓
RETENTION

Ejemplo

6. AI UX

Diseñar una aplicación AI no es simplemente añadir un chatbot.

Patrones de AI UX

Pregunta fundamental

¿Dónde ponemos la IA?

"¿Dónde puedo meter IA?"

"¿Dónde la IA reduce
fricción para el usuario?"

7. Copilot vs Automation vs Agent

Ejemplo

Supongamos que un manager quiere asignar una persona a un proyecto.

Assistant

"Estas son las personas
con skills compatibles."

Copilot

"Te recomiendo a Carlos
porque tiene 8 de 10 skills."

Agent

"Analicé las necesidades,
seleccioné candidatos,
contacté con los responsables
y preparé la propuesta."

A mayor autonomía, mayor necesidad de controles.

8. Diseñar niveles de autonomía

9. Feedback Loops

Una aplicación AI mejora cuando recibe información sobre sus resultados.

USER
 ↓
ACTION
 ↓
AI
 ↓
RESULT
 ↓
FEEDBACK
 ↓
ANALYSIS
 ↓
IMPROVEMENT
 ↓
NEW VERSION

Tipos de feedback

• 👍 / 👎
• rating;
• corrección manual;
• reintento;
• abandono;
• edición del resultado;
• aceptación;
• rechazo.

Ejemplo

La IA recomienda una persona. El usuario cambia la recomendación. Eso es información.

10. Product Metrics

Si no medimos el producto, estamos desarrollando a ciegas.

North Star Metric

Una métrica que represente el valor principal generado.

Ejemplo

Para una aplicación de staffing:

Número de asignaciones
correctas realizadas
con asistencia de IA.

Otras métricas

11. Product Analytics

Debemos registrar eventos, no únicamente páginas visitadas.

Ejemplo

user_logged_in

search_started

ai_search_used

recommendation_generated

recommendation_accepted

recommendation_rejected

document_uploaded

agent_started

agent_completed

agent_failed

Event schema

{
  "event": "recommendation_accepted",

  "user_id": "...",

  "timestamp": "...",

  "feature": "staffing",

  "ai_model": "...",

  "latency_ms": 1200,

  "cost": 0.012
}

12. Product Experiments

No debemos asumir que una funcionalidad mejora el producto. Debemos probarlo.

Ejemplo

Hipótesis:

Añadir recomendaciones AI
a la pantalla de staffing
aumentará la velocidad
de asignación.

Diseño

CONTROL
 ↓
Pantalla actual


EXPERIMENT
 ↓
Pantalla + AI


COMPARE
 ↓
Tiempo de asignación

Resultado

Ahora podemos evaluar si el incremento de coste merece la mejora.

13. A/B Testing

Dividimos usuarios en grupos.

             USERS
                │
        ┌───────┴───────┐
        ↓               ↓
     GROUP A         GROUP B
       50%             50%
        ↓               ↓
    OLD UX            NEW UX
        │               │
        └───────┬───────┘
                ↓
             COMPARE

Importante

No debemos mirar únicamente si una métrica aumenta. Debemos comprobar:

• significancia;
• tamaño de muestra;
• efectos secundarios;
• coste;
• retención;
• calidad.

14. Feature Flags

Una feature flag permite activar o desactivar funcionalidades sin desplegar una nueva versión.

if AI_RECOMMENDATIONS_ENABLED:

    show_ai_recommendations()

else:

    show_standard_search()

Ventajas

• rollout progresivo;
• experimentos;
• rollback rápido;
• beta testing;
• control por usuario;
• control por tenant.

Rollout progresivo

0%
 ↓
1%
 ↓
5%
 ↓
25%
 ↓
50%
 ↓
100%

100%
 ↓
0%

15. Cost vs Value

La IA introduce costes variables.

Ejemplo

100.000 usuarios

× 10 requests/día

× €0.01/request

=

€10.000/día

La optimización no consiste únicamente en utilizar modelos más baratos.

Debemos preguntar:

• ¿realmente necesitamos IA?
• ¿podemos cachear?
• ¿podemos reducir tokens?
• ¿podemos utilizar un modelo pequeño?
• ¿podemos procesar asíncronamente?
• ¿podemos evitar llamadas duplicadas?
• ¿la funcionalidad genera suficiente valor?

AI Unit Economics

AI COST
   ↓
COST / USER
   ↓
COST / ACTION
   ↓
VALUE / ACTION
   ↓
ROI

16. Roadmap de Producto

No podemos construir 200 funcionalidades simultáneamente.

Priorización

PRIORITY =
VALUE × CONFIDENCE
------------------
EFFORT

Ejemplo

Resultado

Construiríamos primero AI Search.

No necesariamente porque sea la funcionalidad más espectacular, sino porque tiene una relación valor/esfuerzo excelente.

17. IA como Product Manager

Actúa como Senior Product Manager
especializado en productos AI.

Producto:
[DESCRIBE EL PRODUCTO]

Usuarios:
[USUARIOS]

Problema:
[PROBLEMA]

Analiza:

1. problemas principales
2. jobs-to-be-done
3. necesidades explícitas
4. necesidades ocultas
5. oportunidades de IA
6. riesgos
7. funcionalidades prioritarias

No inventes datos.
Indica claramente qué son
hipótesis.

Tengo estas funcionalidades:

[LISTA]

Para cada una calcula:

- valor para usuario
- valor para negocio
- confianza
- esfuerzo
- riesgo
- dependencia

Propón una priorización.

Explica por qué.

No te limites a decir
qué construir.

Indica también
qué NO construir todavía.

Diseña la experiencia de usuario
de esta funcionalidad AI:

[FEATURE]

Compara:

1. chatbot
2. copilot
3. recommendation
4. automation
5. agent

Explica qué patrón
de interacción es mejor
y por qué.

Incluye:

- user flow
- estados
- errores
- loading
- feedback
- human approval
- fallback sin IA.

Diseña el sistema de
product analytics para:

[FEATURE]

Define:

- eventos
- propiedades
- métricas
- funnel
- activation
- retention
- conversion
- AI acceptance
- AI rejection
- coste por acción

Propón también un dashboard.

Quiero validar esta hipótesis:

[HIPÓTESIS]

Diseña un experimento.

Incluye:

- control
- variante
- población
- métrica principal
- métricas secundarias
- duración
- criterios de éxito
- riesgos
- posibles conclusiones.

18. Ejercicios prácticos

Feature A
Value = 10
Confidence = 8
Effort = 2

Feature B
Value = 8
Confidence = 9
Effort = 8

A = 10 × 8 / 2
  = 40

B = 8 × 9 / 8
  = 9

Número de tareas de negocio
completadas satisfactoriamente
con asistencia de la aplicación.

19. Test autocorregible

Objetivo: 80%.

20. Proyecto Week 21

PRODUCT ENGINEER
+
AI ENGINEER
+
UX DESIGNER
+
DATA ANALYST

Fase 1 — Define el problema

Documenta:

• usuario objetivo;
• problema;
• contexto;
• consecuencia;
• frecuencia;
• solución actual;
• por qué es insuficiente.

Fase 2 — Define Jobs-to-be-Done

Cuando [SITUACIÓN]

quiero [MOTIVACIÓN]

para conseguir [RESULTADO]

Fase 3 — User Journey

Dibuja:

DISCOVER
 ↓
SIGN UP
 ↓
ONBOARDING
 ↓
FIRST VALUE
 ↓
CORE ACTION
 ↓
AI ASSISTANCE
 ↓
SUCCESS
 ↓
RETURN

Fase 4 — Diseña 5 experiencias AI

Para cada una decide:

Fase 5 — Diseña Product Analytics

Define al menos 15 eventos.

Ejemplo:

user_created
onboarding_started
onboarding_completed
search_started
search_completed
ai_search_used
recommendation_generated
recommendation_viewed
recommendation_accepted
recommendation_rejected
recommendation_modified
agent_started
agent_completed
agent_failed
feedback_submitted

Fase 6 — Define KPIs

Como mínimo:

• Activation;
• DAU;
• WAU;
• Retention;
• Task Success;
• AI Acceptance;
• AI Rejection;
• Time to Value;
• Cost per AI Action;
• Cost per Active User.

Fase 7 — Diseña un experimento

Elige una funcionalidad AI.

Define:

• hipótesis;
• control;
• variante;
• métrica principal;
• métricas secundarias;
• criterio de éxito.

Fase 8 — Feature Flag

Implementa:

AI_FEATURE_ENABLED

Y permite:

0%
1%
5%
25%
50%
100%

Fase 9 — AI Cost Dashboard

Añade al dashboard:

AI PRODUCT

Requests             128,430
Active Users           4,820

AI Calls              53,290

Cost Today             €142

Cost / User            €0.029

Cost / Action          €0.0027

AI Acceptance            82%

AI Rejection             18%

Fase 10 — Roadmap

Construye un roadmap para las próximas 12 semanas.

Clasifica cada feature:

• NOW;
• NEXT;
• LATER;
• NOT NOW.

Entregables

• Product Vision;
• Problem Statement;
• User Personas;
• Jobs-to-be-Done;
• User Journey;
• AI UX Map;
• AI Autonomy Matrix;
• Analytics Specification;
• KPI Dashboard;
• Experiment Design;
• Feature Flag;
• AI Cost Dashboard;
• 12-week Roadmap.

21. Reto avanzado

Para cada una responde:

1. ¿qué valor aporta?
2. ¿cuántos usuarios la necesitan?
3. ¿con qué frecuencia?
4. ¿cuánto cuesta construirla?
5. ¿qué dependencias tiene?
6. ¿qué riesgo introduce?
7. ¿qué otra funcionalidad genera más valor?

22. Recursos externos

23. Checklist Week 21

24. Criterios para superar Week 21

25. Preparación para Week 22

¿Cómo construimos un sistema AI
que pueda crecer de

100 usuarios

a

10.000

100.000

1.000.000?