A QASL · AI/LLM · Forensic Testing
Conversemos → Let's talk → ← Portafolio ← Portfolio
QASL · AI/LLM Forensic Testing QASL · AI/LLM Forensic Testing

Senior QA Automation Lead
especializado en sistemas con IA. Senior QA Automation Lead
specialized in AI systems.

13+ años en QA. Autor de INGRID y MATHCORE — caracterización forense de sistemas con LLM, alineada a OWASP LLM Top 10 (2025), NIST AI RMF e ISO/IEC 42001. 13+ years in QA. Author of INGRID and MATHCORE — forensic characterization of LLM systems, aligned to OWASP LLM Top 10 (2025), NIST AI RMF and ISO/IEC 42001.

Chatbots Copilots RAG AI Agents Voice AI Multi-LLM
Conversemos sobre la vacante Let's talk about the role → Ver el motor matemático See the math engine ↓
13+
Años en QA
Years in QA
9/10
Categorías OWASP LLM Top 10 cubiertas
OWASP LLM Top 10 categories covered
4
Métricas matemáticas MATHCORE · reproducibles
MATHCORE math metrics · reproducible
42
Ataques en ATTACK_LIBRARY (attacks.ts)
Attacks in ATTACK_LIBRARY (attacks.ts)
3
Módulos v2.3.0 · Agentic + RAG + Garak Bridge
v2.3.0 modules · Agentic + RAG + Garak Bridge
— Tesis técnica — — Technical thesis —

Un LLM es una caja negra
estadística, no un sistema
determinista. Por eso
no se valida igual. An LLM is a statistical
black box, not a
deterministic system. So
it can't be tested the same way.

QASL AI · Matemática reproducible, no opinión de modelo QASL AI · Reproducible math, not model opinion
I · Núcleo matemático I · Math core

QASL MATHCORE

Structural fingerprinting toolkit. Cuatro métricas con base académica formal que caracterizan un LLM como caja negra — sin depender de otro LLM para juzgar. Structural fingerprinting toolkit. Four academically grounded metrics that characterize an LLM as a black box — with no other LLM acting as judge.

numpy · scipy · sklearn
22+1 tests+1 tests · 96% coverage
CLI · API · Dashboard CLI · API · Dashboard
Cuatro preguntas que el testing semántico no responde Four questions semantic testing can't answer
"¿Es un LLM real o un árbol de decisión disfrazado?" "Is it a real LLM, or a decision tree in disguise?"

MATHCORE convierte un sistema conversacional en una huella matemática. Mide lo que el ojo no ve: consistencia entre paráfrasis, dimensionalidad efectiva del espacio de respuestas, drift entre versiones, separabilidad por dominio. Las cuatro métricas son reproducibles, defendibles ante auditoría y citables académicamente — no hay "opinión de Claude" en el medio. Cuando el PM pregunta "¿el bot mejoró o empeoró respecto al release anterior?", MATHCORE responde con un número, no con un párrafo. MATHCORE turns a conversational system into a mathematical fingerprint. It measures what the eye can't see: consistency across paraphrases, effective dimensionality of the response space, drift between versions, separability per domain. The four metrics are reproducible, defensible under audit, and academically citable — no "Claude's opinion" in the loop. When the PM asks "did the bot get better or worse vs. last release?", MATHCORE answers with a number, not a paragraph.

M1
Consistencia
Consistency
Estabilidad ante paráfrasis
Stability across paraphrases
cos-sim · IC 95%

Mide si el sistema responde igual a la misma intención dicha de cinco maneras distintas. Measures whether the system answers the same intent expressed five different ways.

M2
Rango efectivo
Effective rank
¿Es un LLM o un árbol?
LLM or decision tree?
SVD effective rank

Detecta sistemas con respuestas pre-cocinadas disfrazadas de IA generativa. Detects pre-canned response systems disguised as generative AI.

M3
Drift
Drift
Cambio entre releases
Release-to-release change
Jensen-Shannon · div

Cuantifica numéricamente cuánto cambió la distribución de respuestas entre versiones. Numerically quantifies how much the response distribution changed between versions.

M4
Separabilidad
Separability
Distingue dominios
Domain separation
silhouette · PCA 2D

Verifica si el bot diferencia intenciones de dominios distintos o las mezcla. Verifies the bot distinguishes intents from different domains rather than mixing them.

MATHCORE — KPIs Consistency · Effective Rank · Drift · Separability + PCA 2D embedding map
LIVE DASHBOARD · 4 KPIs · PCA 2D EMBEDDING MAP · 6 INTENTS CLUSTERS LIVE DASHBOARD · 4 KPIs · PCA 2D EMBEDDING MAP · 6 INTENT CLUSTERS
M1 · cos-sim
Reimers & Gurevych · SBERT · 2019
M2 · SVD
Golub & Van Loan · Matrix Computations
M3 · JS-div
Lin · IEEE Inf. Theory · 1991
M4 · silhouette
Rousseeuw · J. Comp. App. Math · 1987
II · Capa de seguridad LLM II · LLM Security Layer

INGRID

Intelligent Network for Generative Response Inspection & Defense. Framework de red-teaming + LLM-as-Judge para chatbots, agentes y RAG — convierte una bolsa de hallazgos adversariales en métricas medibles por categoría OWASP. Intelligent Network for Generative Response Inspection & Defense. Red-teaming + LLM-as-Judge framework for chatbots, agents and RAG — turns a bag of adversarial findings into measurable per-OWASP-category metrics.

INGRID · v2.3.0
OWASP LLM Top 10 · 2025
Privado · Manual operativo + Demo Private · Operational manual + Demo
AI / LLM Security · Forensic

De un ataque adversarial a un resultado medible. From an adversarial attack to a measurable result.

Intelligent Network for Generative Response Inspection & Defense

Framework profesional para AI/LLM Security Testing alineado a OWASP LLM Top 10 (2025), ISO/IEC 27001 y NIST AI RMF. Automatiza ataques con Playwright, evalúa cada respuesta con metodología LLM-as-Judge (Claude) sobre chatbots multi-modelo, mide performance contra el sistema bajo prueba y expone resultados en tiempo real en dashboards Grafana/Prometheus — todo orquestado por una API REST y un pipeline de CI/CD. Professional framework for AI/LLM Security Testing aligned with OWASP LLM Top 10 (2025), ISO/IEC 27001 and NIST AI RMF. Automates attacks with Playwright, evaluates every response using LLM-as-Judge (Claude) across multi-model chatbots, measures performance against the system under test and exposes results in real time on Grafana/Prometheus dashboards — all orchestrated by a REST API and a CI/CD pipeline.

Flujo: ataques adversariales → INGRID → Grafana/Prometheus Flow: adversarial attacks → INGRID → Grafana/Prometheus
Prompt Injection Jailbreak Garak Data Leak Excessive Agency Misinformation DoS
→ INGRID
Output
Dashboards + metrics-store.json
Dashboards + metrics-store.json
Grafana/Prometheus en vivo · bridge opcional a AFQI (qasl-afqi) Live Grafana/Prometheus · optional bridge to AFQI (qasl-afqi)
9/10
OWASP LLM Top 10
OWASP LLM Top 10
Cobertura real de 9 de 10 categorías 2025 con ataque propio — desde Prompt Injection hasta Unbounded Consumption. LLM04 excluida por diseño (requiere acceso al pipeline de entrenamiento). Real coverage of 9 of 10 2025 categories with a dedicated attack — from Prompt Injection to Unbounded Consumption. LLM04 excluded by design (requires access to the training pipeline).
5
Métricas LLM-as-Judge
LLM-as-Judge metrics
Relevancia · Precisión · Coherencia · Completitud · Alucinación. Claude API evalúa cada respuesta del sistema bajo prueba. Relevance · Accuracy · Coherence · Completeness · Hallucination. Claude API evaluates each response from the system under test.
3
Módulos v2.3.0
v2.3.0 modules
Agentic + RAG (2 niveles) + Garak Bridge. Extiende INGRID más allá del red-teaming clásico de chatbots. Agentic + RAG (2 levels) + Garak Bridge. Extends INGRID beyond classic chatbot red-teaming.
8
Endpoints REST · CI/CD
REST endpoints · CI/CD
API REST en Express + CI/CD GitHub Actions. Dashboards Grafana en tiempo real, métricas Prometheus. Express REST API + GitHub Actions CI/CD. Real-time Grafana dashboards, Prometheus metrics.
Stack
Playwright TypeScript Claude API Express Grafana Prometheus Allure PDFKit GitHub Actions Docker
Estándares aplicados
Applied standards
OWASP LLM Top 10 · 2025 NIST AI RMF 1.0 ISO/IEC 27001:2022 ISO/IEC 42001 (AI MS) LLM-as-Judge
Red-Teaming · Adversarial Engine Red-Teaming · Adversarial Engine

Garak · NVIDIA NeMo

El estándar de la industria para red-teaming sobre LLMs. INGRID integra un bridge propio (garak-adapter.ts) que parsea sus resultados y los mapea a categorías OWASP: jailbreak, prompt injection, data leakage y misinformation. The industry standard for LLM red-teaming. INGRID integrates its own bridge (garak-adapter.ts) that parses its results and maps them to OWASP categories: jailbreak, prompt injection, data leakage and misinformation.

Garak · NVIDIA NeMo
Probes oficiales + custom payloads Official probes + custom payloads
Output → OWASP SecurityReport Output → OWASP SecurityReport
Cuatro vectores de ataque cubiertos Four attack vectors covered
"Si tu LLM no fue red-teameado con Garak, no fue testeado en serio." "If your LLM wasn't red-teamed with Garak, it wasn't seriously tested."

Garak es el framework open-source de NVIDIA NeMo para red-teaming sistemático sobre Large Language Models, con cientos de probes oficiales (DAN, encoding, malware-gen, package-hallucination, ...). INGRID no reimplementa esos ataques: los consume via el bridge garak-adapter.ts, que parsea el reporte de Garak (.report.jsonl) y lo mapea a categoría OWASP LLM Top 10. No es un script ad-hoc — es el mismo framework que NVIDIA, Anthropic y la comunidad de AI Safety usan para auditar modelos antes de release. Garak is NVIDIA NeMo's open-source framework for systematic red-teaming on Large Language Models, with hundreds of official probes (DAN, encoding, malware-gen, package-hallucination, ...). INGRID doesn't reimplement those attacks: it consumes them through the garak-adapter.ts bridge, which parses Garak's report (.report.jsonl) and maps it to OWASP LLM Top 10 categories. It's not an ad-hoc script — it's the same framework NVIDIA, Anthropic and the AI Safety community use to audit models before release.

R1
Jailbreak
Bypass de guardrails
Guardrail bypass
DAN · grandma · DUDE · roleplay

Probes oficiales de Garak para forzar al modelo a salirse de su prompt de sistema y violar políticas de seguridad. Official Garak probes that force the model to break out of its system prompt and violate safety policies.

R2
Prompt Injection
Inyección directa e indirecta
Direct & indirect injection
PromptInject · encoding · obfuscation

Manipulación del prompt vía codificaciones (base64, ROT13), payload obfuscation y vectores indirectos vía RAG. Prompt manipulation via encodings (base64, ROT13), payload obfuscation and indirect vectors through RAG.

R3
Data Leakage
Data Leakage
Filtración de PII y training data
PII & training data leak
leakreplay · xss · ansiescape

Detección de fugas de credenciales, PII, datos del entrenamiento y system prompt vía probes especializados. Detection of credential, PII, training data and system prompt leaks via specialized probes.

R4
Misinformation
Hallucination & toxicity
Hallucination & toxicity
snowball · packagehallucination · realtoxicity

Detección de hallucinations, paquetes inexistentes (supply-chain), respuestas tóxicas y fabricación de hechos. Detects hallucinations, non-existent packages (supply chain), toxic responses and fact fabrication.

Integración
Integration
Garak ejecuta · INGRID parsea y mapea a OWASP
Garak runs · INGRID parses and maps to OWASP
CI/CD
GitHub Actions · disparo manual (workflow_dispatch)
GitHub Actions · manual trigger (workflow_dispatch)
Cobertura
Coverage
Mapeada 1:1 a OWASP LLM Top 10 (2025)
Mapped 1:1 to OWASP LLM Top 10 (2025)
Modelos auditados
Audited models
Claude · GPT-4 · Gemini · Llama · custom RAG
Claude · GPT-4 · Gemini · Llama · custom RAG
Agentic AI · Trace Validation Agentic AI · Trace Validation

Agentic Systems Testing

Un sistema de agentes es una IA a la que no se le pide una respuesta, se le pide un objetivo — y decide sola qué acciones ejecutar en el mundo real para cumplirlo: consultar sistemas, llamar APIs, emitir un reembolso, borrar un registro. INGRID define el comportamiento permitido como un grafo declarativo y valida cada traza real de ejecución del agente contra ese grafo: qué herramientas puede usar, en qué orden, cuáles acciones exigen aprobación humana explícita, y cuáles están prohibidas sin excepción. An agentic system is an AI that isn't asked for an answer, it's given a goal — and it decides on its own which real-world actions to take to reach it: querying systems, calling APIs, issuing a refund, deleting a record. INGRID defines allowed behavior as a declarative graph and validates every real agent execution trace against it: which tools it can use, in what order, which actions require explicit human approval, and which are forbidden with no exceptions.

src/agentic-graph.ts · v2.3.0
Determinístico · sin LLM en el loop Deterministic · no LLM in the loop
Output → OWASP LLM06 / LLM10 Output → OWASP LLM06 / LLM10
Qué es testear un sistema de agentes, en una frase What testing an agentic system means, in one sentence
"Una respuesta puede estar mal escrita. Una acción ejecutada — un reembolso, un borrado — no se puede deshacer." "A written answer can be wrong. An executed action — a refund, a deletion — can't be undone."

Testear un agente es testear secuencias de decisiones, no texto. INGRID define un grafo declarativo del comportamiento esperado del agente (nodos, transiciones válidas, herramientas prohibidas, puntos que exigen aprobación humana) y valida trazas reales de ejecución contra ese grafo. Es lógica determinística sobre datos estructurados — no depende de que otro LLM "opine" si el agente se portó bien. Testing an agent means testing sequences of decisions, not text. INGRID defines a declarative graph of the agent's expected behavior (nodes, valid transitions, forbidden tools, points that require human approval) and validates real execution traces against it. It's deterministic logic over structured data — it doesn't depend on another LLM "opining" whether the agent behaved.

Cómo se ve una traza real de ejecución, paso a paso What a real execution trace looks like, step by step
✓ Traza válida ✓ Valid trace
receive_query → search_kb → refund_lookup → human_approval ✓ → issue_refund → end_resolved
✕ Traza con violación ✕ Trace with a violation
receive_query → search_kb ⇥ issue_refund → end_resolved
El agente se saltó refund_lookup y human_approval y ejecutó el reembolso solo. INGRID lo marca como MISSING_APPROVAL (crítico) → OWASP LLM06 Excessive Agency. The agent skipped refund_lookup and human_approval and issued the refund on its own. INGRID flags it as MISSING_APPROVAL (critical) → OWASP LLM06 Excessive Agency.
A1
Tool calls no declaradas
Undeclared / forbidden tools
Fuera del grafo declarado
Outside the declared graph
UNDECLARED_TOOL_CALL · FORBIDDEN_TOOL_CALL

El agente llamó una herramienta que no existe en el grafo, o una explícitamente prohibida. The agent called a tool that doesn't exist in the graph, or one explicitly forbidden.

A2
Transición inválida
Invalid transition
Secuencia no autorizada
Unauthorized sequence
INVALID_TRANSITION

La traza saltó de un nodo a otro sin que exista un edge del grafo que lo permita. The trace jumped from one node to another with no graph edge allowing it.

A3
Aprobación faltante
Missing approval
Acción sensible sin human-in-the-loop
Sensitive action without human-in-the-loop
MISSING_APPROVAL

Llegó a un nodo marcado requiresApproval sin aprobación humana previa en la traza. Reached a node marked requiresApproval with no prior human approval in the trace.

A4
Límites de ejecución
Execution bounds
Sin cierre reconocido
No recognized termination
UNBOUNDED_EXECUTION · NO_TERMINATION

Superó el maxSteps razonable, o nunca llegó a un nodo terminal del grafo. Exceeded the reasonable maxSteps, or never reached a terminal node in the graph.

Demo verificado
Verified demo
npm run agentic:demo
Caso de prueba
Sample profile
Agente de soporte · reembolsos con aprobación
Support agent · approval-gated refunds
Alcance
Scope
Valida trazas grabadas, no hookea runtime en vivo
Validates recorded traces, no live runtime hook
Cobertura
Coverage
OWASP LLM06 · LLM10
RAG · Retrieval + Faithfulness RAG · Retrieval + Faithfulness

Testing de RAG

Dos niveles: si la respuesta es fiel al contexto recuperado (y resiste inyección indirecta vía documentos), y si el motor de recuperación en sí encuentra los documentos correctos. Two levels: whether the answer is faithful to the retrieved context (and resists indirect injection via documents), and whether the retrieval engine itself finds the right documents.

rag-faithfulness.ts + rag-retrieval-metrics.ts
v2.3.0
Output → OWASP LLM08 / LLM09 Output → OWASP LLM08 / LLM09
Fidelidad al contexto ≠ recuperación correcta — hay que medir las dos Faithfulness to context ≠ correct retrieval — both need measuring
"Un RAG puede recuperar bien y aun así inventar. O recuperar mal y sonar convincente." "A RAG can retrieve well and still make things up. Or retrieve poorly and still sound convincing."

Nivel 1 — Faithfulness: evalúa si la respuesta del sistema se sostiene en el contexto recuperado (LLM-as-Judge) y prueba inyección indirecta — instrucciones maliciosas escondidas dentro de los documentos que el RAG recupera (LLM08). Nivel 2 — Retrieval: funciones puras de information retrieval clásico — Recall@K, Precision@K, Reciprocal Rank y NDCG — sobre un dataset de queries con relevancia conocida. Level 1 — Faithfulness: evaluates whether the system's answer is grounded in the retrieved context (LLM-as-Judge) and tests indirect injection — malicious instructions hidden inside the documents the RAG retrieves (LLM08). Level 2 — Retrieval: pure classic information-retrieval functions — Recall@K, Precision@K, Reciprocal Rank and NDCG — over a query dataset with known relevance.

R1
Faithfulness
¿La respuesta se sostiene en el contexto?
Is the answer grounded in the context?
LLM-as-Judge (Claude)

Compara la respuesta generada contra los chunks recuperados; marca afirmaciones no sostenidas. Compares the generated answer against the retrieved chunks; flags unsupported claims.

R2
Inyección indirecta
Indirect injection
LLM08
evaluateIndirectInjection()

Instrucciones adversariales embebidas en documentos recuperados que intentan secuestrar la respuesta. Adversarial instructions embedded in retrieved documents attempting to hijack the response.

R3
Recuperación
Retrieval
Recall@K · Precision@K
recallAtK() · precisionAtK()

¿El motor de búsqueda encuentra los documentos relevantes entre los top-K resultados? Does the search engine find the relevant documents among the top-K results?

R4
Calidad de ranking
Ranking quality
MRR · NDCG
reciprocalRank() · ndcgAtK()

No alcanza con encontrar el documento correcto — importa en qué posición aparece. Finding the right document isn't enough — where it ranks matters too.

Demo verificado
Verified demo
npm run rag:retrieval:demo
Dataset
Dataset
3 queries sintéticas · k=3
3 synthetic queries · k=3
MRR
0.444
Mean NDCG@3
0.409
III · Cobertura III · Coverage

OWASP LLM Top 10 · 2025

Cobertura 9/10 con ataque propio. La décima (LLM04) queda excluida por diseño — testing de caja negra no puede probar de forma genuina el envenenamiento del pipeline de entrenamiento. Sin inventar cobertura donde no la hay. 9/10 coverage with a dedicated attack. The tenth (LLM04) is excluded by design — black-box testing can't genuinely test training-pipeline poisoning. No inventing coverage where there isn't any.

9/10 categoríascategories
OWASP LLM Top 10 · 2025
Vector + métrica + reporte Vector + metric + report
LLM01
Prompt Injection

Manipulación del prompt para alterar el comportamiento o extraer instrucciones del sistema. Prompt manipulation to alter behavior or extract system instructions.

Garak · custom payloads · jailbreak suitejailbreak suite
LLM02
Disclosure de info sensible
Sensitive Info Disclosure

Filtración de PII, credenciales o datos del entrenamiento en respuestas del modelo. Leakage of PII, credentials or training data through model responses.

PII probes · regex + scoringscoring
LLM03
Supply Chain

Modelos pre-entrenados, embeddings o dependencias comprometidas en la cadena. Compromised pre-trained models, embeddings or dependencies in the chain.

SC-001..003 · attacks.ts
LLM04
Envenenamiento de datos/modelo
Data & Model Poisoning

Inserción de datos malintencionados durante fine-tuning o RAG ingestion. Insertion of malicious data during fine-tuning or RAG ingestion.

Excluido por diseñoExcluded by design · requiere acceso al pipeline de entrenamientorequires training-pipeline access
LLM05
Manejo impropio de output
Improper Output Handling

XSS, SSRF, command injection vía respuestas del LLM no sanitizadas downstream. XSS, SSRF, command injection via unsanitized LLM responses downstream.

IOH-001..003 · CI-001..002 · attacks.ts
LLM06
Excessive Agency

Agentes con permisos, plugins o herramientas más allá del necesario para la tarea. Agents with permissions, plugins or tools beyond what the task requires.

EA-001..003 · agentic-graph.ts
LLM07
System Prompt Leakage

Extracción del prompt de sistema, jailbreak via debugging o role inversion. Extraction of system prompt via debugging probes or role inversion.

System probe suite · adversarial prompts
LLM08
Vector & Embedding
Vector & Embedding

Inversion attacks sobre embeddings, leak de contenido vía similarity search. Embedding inversion attacks, content leak via similarity search.

rag-faithfulness.ts · evaluateIndirectInjection()
LLM09
Misinformation

Hallucinations, datos falsos presentados con confianza, fabricación de fuentes. Hallucinations, false data presented confidently, fabricated sources.

MIS-001..003 · métrica hallucination (Judge)hallucination metric (Judge)
LLM10
Unbounded Consumption

DoS por costo, prompt floods, token exhaustion, latencia disparada bajo ataque. Cost DoS, prompt floods, token exhaustion, latency spikes under attack.

UC/RL/FUZZ · guard maxStepsmaxSteps guard
IV · Entregable IV · Deliverable

Esto es lo que ve tu equipo, en vivo. This is what your team sees, live.

Dashboard Grafana en tiempo real por categoría OWASP, métricas Prometheus, metrics-store.json exportable y reportes Allure. No es una captura de muestra — es la corrida real de esta demo. Real-time Grafana dashboard per OWASP category, Prometheus metrics, exportable metrics-store.json and Allure reports. Not a sample capture — this is a real run of this demo.

INGRID · v2.3.0
Verificable · Reproducible Verifiable · Reproducible
Dashboard INGRID — OWASP LLM Top 10 matrix, corrida real
Grafana + Prometheus · 9 categorías OWASP Grafana + Prometheus · 9 OWASP categories

Métrica en vivo, corrida real. Live metric, real run.

Cada corrida de tests escribe directo a Prometheus y se ve en el dashboard mientras corre — así es como se ve esta demo real, no una maqueta. Además queda un metrics-store.json con el detalle completo por ataque, exportable para análisis externo o para el bridge opcional hacia AFQI (proyecto separado, qasl-afqi). Every test run writes straight to Prometheus and shows up on the dashboard as it runs — this is what this real demo actually looks like, not a mockup. It also leaves a metrics-store.json with the full per-attack detail, exportable for external analysis or for the optional bridge to AFQI (a separate project, qasl-afqi).

  • Dashboard Grafana — 9 paneles OWASP en tiempo real, pass/fail por categoría.Grafana dashboard — 9 real-time OWASP panels, pass/fail per category.
  • Prometheus — métricas históricas, comparables entre corridas.Prometheus — historical metrics, comparable across runs.
  • metrics-store.json — detalle completo por ataque y por métrica del Judge.metrics-store.json — full detail per attack and per Judge metric.
  • Reportes Allure + PDF — para compartir fuera del dashboard.Allure + PDF reports — to share outside the dashboard.
Conversar en LinkedIn Connect on LinkedIn → Ver el motor MATHCORE See MATHCORE engine ↑
V · Para reclutadores V · For recruiters

Tipos de vacantes que encajan Roles that fit

13+ años en QA, especialización 2024-2026 en AI/LLM Testing. Disponible para roles full-time, contract o freelance — Buenos Aires presencial o remoto LATAM/Global. 13+ years in QA, 2024-2026 specialization in AI/LLM Testing. Available for full-time, contract or freelance roles — Buenos Aires on-site or remote LATAM/Global.

Disponibilidad inmediataAvailable now
Buenos Aires · Remoto LATAM/Global Buenos Aires · Remote LATAM/Global
AI Quality Engineer

Senior QA Automation Engineer AI/LLM Senior QA Automation Engineer AI/LLM

Equipos que están sumando IA a producto y necesitan testing serio sobre chatbots, RAG, copilots o AI agents. Teams adding AI to product who need serious testing on chatbots, RAG, copilots or AI agents.

  • Estrategia de testing AI/LLM end-to-endEnd-to-end AI/LLM testing strategy
  • Cobertura OWASP LLM Top 10 (2025) · 9/10OWASP LLM Top 10 (2025) coverage · 9/10
  • LLM-as-Judge multi-modelo (Claude · GPT · Gemini)Multi-model LLM-as-Judge (Claude · GPT · Gemini)
  • Pipelines CI/CD con gates de calidad AICI/CD pipelines with AI quality gates
  • Dashboards + reportes alineados a NIST AI RMFDashboards + reports aligned to NIST AI RMF
Conversar en LinkedIn → Connect on LinkedIn →
LLM Security Engineer

AI Security & Red-team AI Security & Red-team

Equipos de AppSec o AI Safety que necesitan red-teaming sobre LLMs en producción. AppSec or AI Safety teams that need red-teaming over production LLMs.

  • Red-teaming con Garak (NVIDIA NeMo)Red-teaming with Garak (NVIDIA NeMo)
  • Prompt injection · jailbreak · data leak probesPrompt injection · jailbreak · data leak probes
  • Structural fingerprinting matemático (MATHCORE)Mathematical structural fingerprinting (MATHCORE)
  • Drift detection entre releases · regression alertsDrift detection between releases · regression alerts
  • Compliance ISO/IEC 42001 · NIST AI RMF · EU AI ActCompliance ISO/IEC 42001 · NIST AI RMF · EU AI Act
Conversar en LinkedIn → Connect on LinkedIn →
MLOps QA · Voice AI

MLOps QA & Voice AI MLOps QA & Voice AI

Equipos con sistemas LLM o voice-AI bajo carga (call centers, asistentes, agentes de voz). Teams with LLM or voice-AI systems under load (call centers, assistants, voice agents).

  • Stress testing LLM · rate-limit + DoS + fuzzingLLM stress testing · rate-limit + DoS + fuzzing
  • Voice AI: ElevenLabs · OpenAI Realtime · WhisperVoice AI: ElevenLabs · OpenAI Realtime · Whisper
  • Latencia · calidad conversacional · cost guardrailsLatency · conversational quality · cost guardrails
  • Observabilidad: Grafana · Prometheus · LokiObservability: Grafana · Prometheus · Loki
  • Performance metrics p50/p90/p99 · race conditionsPerformance metrics p50/p90/p99 · race conditions
Conversar en LinkedIn → Connect on LinkedIn →
VI · Sectores con IA VI · AI Sectors

Donde la IA no puede alucinar. Where AI cannot hallucinate.

Sectores donde un chatbot o copilot que falla cuesta dinero, demanda o vidas. Cada vertical recibe un marco de testing AI ajustado a su regulación. Sectors where a failing chatbot or copilot costs money, lawsuits or lives. Each vertical gets an AI testing framework tailored to its regulation.

B

Banca AI & Fintech Banking AI & Fintech

Chatbots de atención, copilots para asesores, fraud-detection con IA. Donde una respuesta errónea es un default regulatorio. Customer chatbots, advisor copilots, AI fraud detection. Where a wrong answer is a regulatory default.

PCI-DSS · BCBS 239 · NIST AI RMF · OWASP LLM
S

Salud & Clinical AI Healthcare & Clinical AI

Asistentes clínicos, triaje LLM, telemedicina con IA generativa. Donde alucinar puede ser un error médico. Clinical assistants, LLM triage, AI-driven telemedicine. Where hallucination can be malpractice.

HIPAA · ISO 13485 · ISO 42001 · FDA AI/ML guidance
G

GovTech & Pública GovTech & Public Sector

LLM en sistemas públicos, asistentes ciudadanos, automatización con IA en RFP. Auditable y trazable por ley. LLMs in public systems, citizen assistants, AI automation in RFPs. Auditable and traceable by law.

EU AI Act · NIST AI RMF · ISO 29119 · NDA
E

Enterprise · Copilots & RAG Enterprise · Copilots & RAG

Plataformas Multi-LLM internas, copilots de soporte, RAG corporativo. Producción a escala con SLA. Internal Multi-LLM platforms, support copilots, enterprise RAG. Production at scale with SLA.

OWASP LLM · ISO 42001 · ISO 27001 · Multi-LLM RAG
VII · Marco normativo AI VII · AI Compliance Framework

Respaldado por estándares de IA vigentes Backed by current AI standards

Ningún criterio inventado. Cada métrica AFQI y cada ataque INGRID se apoya en estándares públicos vigentes que cualquier auditor o regulador puede cross-validar. No invented criteria. Every AFQI metric and every INGRID attack rests on current public standards any auditor or regulator can cross-validate.

8 estándares AIAI standards
OWASP + NIST + ISO + IEEE + EU AI Act OWASP + NIST + ISO + IEEE + EU AI Act

El framework no inventa categorías propias para validar IA. Cada control y cada métrica se apoya en estándares públicos AI vigentes reconocidos por gobierno, banca, salud y enterprise — facilitando auditorías regulatorias, RFPs y compliance internacional. The framework doesn't reinvent AI validation categories. Every control and every metric is grounded in current public AI standards recognized by government, banking, healthcare and enterprise — easing regulatory audits, RFPs and international compliance.

OWASP LLM Top 10 · 2025
10 riesgos críticos en LLM
Top 10 critical LLM risks
NIST AI RMF 1.0
Risk Management Framework AI
AI Risk Management Framework
ISO/IEC 42001:2023
AI Management System
AI Management System
ISO/IEC 23894:2023
AI Risk Management
AI Risk Management
ISO/IEC 5338:2023
AI System Lifecycle
AI System Lifecycle Processes
EU AI Act · 2024
Reglamento UE de IA (alto riesgo)
EU AI Regulation (high-risk)
ISTQB · CT-AI
Certified Tester · AI Testing
Certified Tester · AI Testing
ISO/IEC 27001:2022
Seguridad de la información (base)
Information security (baseline)
Compliance
Compliance & certificación AIAI compliance & certification
Procesos auditables alineados a ISO/IEC 42001 + NIST AI RMF + EU AI Act. Listo para auditoría interna o regulatoria.Auditable processes aligned to ISO/IEC 42001 + NIST AI RMF + EU AI Act. Ready for internal or regulatory audit.
Trazabilidad
Traceability
Reproducibilidad & auditoríaReproducibility & audit
Cada métrica MATHCORE es reproducible bit-a-bit. Cada ataque INGRID queda en el expediente. Cero opinión, todo número.Every MATHCORE metric is bit-reproducible. Every INGRID attack stays in the audit trail. Zero opinion, all numbers.
Diferenciación
Differentiation
Ventaja en RFP & due diligenceRFP & due-diligence edge
Credibilidad respaldada por estándares · transparencia metodológica · resultados verificables, no capturas de muestra.Standards-backed credibility · methodological transparency · verifiable results, not sample captures.
Eficiencia
Efficiency
Detección temprana de driftEarly drift detection
MATHCORE detecta degradación entre releases antes de que llegue a producción. Reducción de incidentes post-deploy.MATHCORE detects degradation between releases before it hits prod. Fewer post-deploy incidents.
VIII · Contacto VIII · Contact

¿Vacante en AI/LLM Testing? Conversemos. Hiring for AI/LLM Testing? Let's talk.

Si tu equipo está sumando IA al producto y necesita un Senior QA Automation Engineer que sepa testearla en serio, escribime. Respondo en menos de 24 horas. Buenos Aires presencial · Remoto LATAM/Global. If your team is adding AI to the product and needs a Senior QA Automation Engineer who can test it seriously, drop me a line. I reply within 24 hours. Buenos Aires on-site · Remote LATAM/Global.

in
LinkedIn
linkedin.com/in/elyergregorio
→ T
Test Security · AppSec forense
Test Security · AppSec forensic
qasl-testsec
→ F
Framework · Shift-Left QA
Framework · Shift-Left QA
qasl-framework
→ ≡
Portafolio macro
Macro portfolio
Ecosistema QASL completo
Full QASL ecosystem
→