Categoría: Big Data y Analítica Avanzada

El panorama regulatorio en rápida evolución requiere una gestión rigurosa de los datos y la infraestructura adecuada implementada en los lugares adecuados. El volumen de datos que las empresas necesitan gestionar crece exponencialmente, a la vez que las regulaciones sobre la ubicación, la residencia y la soberanía de los datos se multiplican en jurisdicciones de todo el mundo. Las empresas deben estar atentas a las políticas nacionales y regionales, en constante evolución, sobre quién puede acceder a datos específicos; cómo se recopilan, procesan y almacenan; y desde dónde se acceden o adónde se transfieren. La situación se vuelve cada día más compleja. Una gobernanza de datos eficaz es esencial para garantizar la transparencia de la IA y el cumplimiento de las normativas emergentes. Esto implica considerar los requisitos para acceder a los datos y saber exactamente qué ruta seguirán hasta su destino. Antes de establecer políticas de gobernanza de datos, las empresas deben comprender las leyes locales y cómo estas afectan dónde pueden generar, recopilar y almacenar datos. Según las conclusiones de la encuesta sobre el estado de la IA de McKinsey, el 70 % de los encuestados afirmó haber experimentado dificultades con los datos, incluyendo la definición de procesos para la gobernanza de datos. [1] La gestión de datos se ve aún más complicada por la enorme cantidad de datos que las empresas obtienen para entrenar sus modelos de IA. No solo deben asegurarse de que sus datos no sean utilizados por modelos de IA inadecuados, sino también de que utilicen los datos correctos en los lugares adecuados. Para cumplir con las leyes y regulaciones globales sobre soberanía de datos, las empresas también deben considerar cuidadosamente dónde almacenarán sus datos de IA. Una infraestructura distribuida y una estrategia de datos de IA con visión de futuro pueden ayudar a las empresas a comprender y gestionar las complejidades de la soberanía de datos en un mundo impulsado por la IA. Entendiendo la soberanía de los datos La soberanía de datos se refiere a que los datos recopilados o almacenados en una localidad, país o región específica estén sujetos a las leyes y regulaciones de la entidad responsable. Muchas jurisdicciones han creado y están implementando normas sobre cómo se accede, almacena, procesa y transfiere la información dentro de sus fronteras. Los datos almacenados dentro de fronteras específicas se rigen por el marco legal de esa jurisdicción, independientemente de la ubicación o propiedad de la sede de la empresa. Por ejemplo, una empresa con sede en California que recopila datos de personas o empresas en varios países debe cumplir con las leyes de soberanía y localización de datos de cada país, incluso si la empresa está en EE. UU. Algunas leyes establecen condiciones para las transferencias transfronterizas, mientras que otras las prohíben por completo. Por ejemplo, en algunas jurisdicciones, las empresas deben demostrar un requisito legal para transferir los datos, conservar una copia local de los datos por motivos de cumplimiento normativo, o ambas cosas. Otras regulaciones regulan si las empresas pueden acceder a los datos almacenados en una región, generar información y luego exportarla a la sede central para su posterior análisis o entrenamiento de modelos. Los subconjuntos de la soberanía de datos, como la localización y la residencia de datos, se relacionan con las leyes y normativas que rigen aspectos de la gestión de datos. La residencia de datos se refiere a la ubicación física (geográfica) donde una empresa almacena sus datos. Las empresas pueden seleccionar una región específica para el cumplimiento normativo, la seguridad o la optimización del rendimiento. Sin embargo, muchos sectores, como el financiero, el sanitario y el gubernamental, pueden estar obligados a almacenar datos en jurisdicciones específicas para cumplir con las leyes locales. Es importante tener en cuenta que almacenar datos en un país determinado no implica necesariamente que se rijan únicamente por las leyes de dicho país. Las empresas pueden estar sujetas a obligaciones legales extranjeras según su país de constitución o acuerdos contractuales. Además, una entidad reguladora puede aplicar requisitos estrictos de seguridad de datos, control de acceso y localización, lo que podría incluir el control del acceso a los datos por parte de usuarios o empresas con sede fuera de sus fronteras. Algunas leyes también otorgan a las agencias gubernamentales acceso a los datos sin el consentimiento del titular. Hacer que el cumplimiento de la soberanía de datos sea una parte esencial de sus estrategias de IA puede ayudar a las empresas a incorporar y priorizar el monitoreo continuo de leyes nuevas o cambiantes. Cómo la soberanía de los datos influye en las decisiones sobre infraestructura de IA Las empresas deben adaptar sus prácticas de gestión de datos para garantizar el cumplimiento normativo y contar con la infraestructura de IA adecuada en las ubicaciones correctas. Comprender todo su patrimonio de datos (qué datos posee, de dónde provienen y cómo están estructurados) puede revelar el riesgo de privacidad o regulatorio asociado a ellos. Luego está la cuestión de dónde almacenar los datos. Si bien elegir un proveedor de nube pública puede parecer conveniente, a menudo implica renunciar a cierto nivel de control, como saber exactamente dónde se almacenan los datos. Es importante destacar que las empresas no pueden confiar en que los proveedores de nube apliquen los requisitos de soberanía de datos en su nombre. Conocer la ubicación geográfica exacta de la infraestructura en cuestión es crucial para garantizar que se ajuste a las normas de soberanía de datos pertinentes. Expandirse desde un único proveedor de nube o incorporar infraestructura privada puede ser conveniente para evitar la dependencia de un proveedor y los costos relacionados con los datos. Piense en qué sucedería si su proveedor de nube necesitara conmutar por error de una nube en Londres a otra en Ámsterdam. ¿La ruta de red iría directamente de Francia a los Países Bajos o atravesaría otros países, lo que introduciría regulaciones adicionales sobre la soberanía de datos? Si los datos que transmite están altamente regulados, sería especialmente importante tener visibilidad de la infraestructura subyacente, y normalmente solo puede obtener

Las empresas necesitan ayuda para que los LLM accedan a sus datos privados, y RAG se la proporciona. Llevamos años escuchando que «los datos son el nuevo petróleo». Se ha convertido prácticamente en un cliché. Pero incluso el petróleo necesita refinarse y transportarse antes de poder usarse como combustible. Entonces, ¿qué se necesita para convertir los datos en combustible que genere valor empresarial? Los nuevos modelos de lenguaje de gran tamaño (LLM) prometen redefinir por completo la forma en que las empresas extraen valor de sus datos. Estos LLM se entrenaron con conjuntos de datos mucho mayores que los que las organizaciones habrían podido gestionar anteriormente; por lo tanto, contienen una gama de información mucho más amplia que los modelos anteriores. Si bien el potencial de los LLM es innegable, aún queda la pequeña cuestión de cómo aplicarlos a casos prácticos empresariales reales, y esto suele ser más fácil de decir que de hacer. Los LLM se centran en comprender una base de conocimientos general para simular la forma en que se comunican los humanos. Dado que se centran en el conocimiento general, el conocimiento específico, como las perspectivas y el contexto necesarios para los casos de uso de la IA empresarial, a menudo se pasa por alto. Además, se entrenan con conjuntos de datos estáticos, lo que significa que solo son precisos hasta cierto punto. Los LLM no pueden acceder a datos en tiempo real, al menos no sin ayuda. Aquí es donde entra en juego la generación aumentada por recuperación (RAG). RAG es una técnica para optimizar la inferencia de IA y ayudar a los LLM a generar resultados más precisos. Los sistemas RAG sirven como puente que conecta dos tipos de datos diferentes para optimizar el valor de ambos: La IA empresarial se basa en RAG Como su nombre indica, un sistema RAG amplía los modelos recuperando la información relevante necesaria para generar una respuesta precisa a una solicitud. En lugar de reentrenar un modelo, RAG ayuda a orientarlo hacia datos importantes que no se incluyeron en el conjunto de datos de entrenamiento original, ya sea porque son privados o porque aún no existían. Los sistemas RAG pueden usar API o consultas de datos en vivo para obtener información en tiempo real (o casi en tiempo real) relevante para una solicitud específica. En esencia, cada vez que un usuario final formula una pregunta al modelo, RAG proporciona las pistas y los datos de apoyo que el modelo necesita para obtener una respuesta precisa. RAG puede desempeñar un papel clave en la estrategia de IA privada de una empresa , ya que permite la inferencia segura de conjuntos de datos propietarios que se ejecutan en computación habilitada para GPU bajo el control de la empresa. Esto aumenta la precisión de la información que proporcionan los LLM, sin poner en riesgo la exposición no autorizada de datos internos confidenciales. RAG es un ejemplo de cómo las empresas pueden personalizar y desarrollar los modelos preentrenados que adquieren de los mercados de modelos de IA . Otro método es el ajuste fino, que consiste básicamente en realizar un entrenamiento adicional de los modelos utilizando datos privados. Si bien el ajuste fino es ciertamente útil, también puede ser complejo y consumir muchos recursos, por lo que podría no ser práctico en todos los casos. Además, si los datos están sujetos a una política de retención, integrarlos en un LLM mediante el ajuste fino podría ser problemático. Las empresas también pueden utilizar flujos de trabajo de IA con agentes que extraen datos en tiempo real de diversas fuentes, lo que ayuda a los LLM a tomar decisiones informadas y ejecutar acciones automáticamente. La IA con agentes sin duda representará un gran avance en el desarrollo de la IA empresarial, pero existen cuestiones que deben abordarse primero. Por ejemplo, los líderes empresariales deben garantizar que los agentes de IA que operan sin supervisión humana puedan cumplir con los requisitos de privacidad y soberanía de los datos. Además, la IA con agentes requiere un flujo constante de datos precisos, oportunos y relevantes. Esto significa que la aparición de la IA con agentes en la empresa resaltará aún más la importancia de la RAG. RAG se convertirá inevitablemente en la base de la mayoría de las estrategias de IA empresarial, junto con la IA con agentes. Un flujo de datos compatible con RAG es uno de los requisitos más importantes que una empresa debe cumplir para el éxito de la IA, ya que los datos deben pasar por un sólido conjunto de procesos para garantizar su precisión, relevancia y formato adecuado antes de ser tokenizados e integrados en las bases de datos de RAG. ¿Cómo encaja RAG en el futuro de la IA empresarial? En un enfoque ideal de IA empresarial, un empleado podría hacer una pregunta directa sobre cualquier aspecto del negocio y obtener la mejor respuesta —extraída de todos los datos corporativos, estáticos o en streaming— a la que tiene derecho según los permisos otorgados y otros controles de gobernanza. Por ejemplo, un vendedor debería poder solicitar un resumen de su cuenta más importante y obtener rápidamente una visión precisa y completa de todas las oportunidades e información valiosa para ese cliente, capturadas globalmente en todos los sistemas y almacenes de datos posibles, pero no para otras cuentas que no gestiona. Para lograr este resultado, la infraestructura de RAG debería consultar toda la base de conocimientos de la organización en todas sus aplicaciones, incluyendo conjuntos de datos estáticos y dinámicos. Posteriormente, debería aplicar proactivamente controles de privacidad y soberanía de datos. Esto significa que debería filtrar en tiempo real cualquier información a la que un empleado en particular no tenga derecho, según su puesto y ubicación. La mayoría de las herramientas necesarias para hacer realidad este sueño ya existen, pero el éxito dependerá de una arquitectura flexible e interconectada, ubicada dentro de una plataforma de infraestructura que optimice la opcionalidad, el rendimiento, el coste y la proximidad a todos los puntos del ecosistema de TI empresarial. A medida que las empresas avanzan hacia ese ambicioso futuro de la IA,