modelos LLM para móviles

Modelos de Inteligencia Artificial que pueden instalarse en tu móvil

by with No Comment Tecnología

By Juan Diego Polo

modelos LLM para móviles

Los modelos de lenguaje grande (LLM) tradicionalmente requieren recursos computacionales significativos, generalmente disponibles solo en servidores potentes. Sin embargo, la evolución tecnológica ha permitido que modelos más compactos puedan ejecutarse directamente en smartphones, manteniendo la privacidad y sin necesidad de conexión a internet. Aquí te contamos sobre seis modelos open-source que puedes utilizar en tu móvil.

Lista de modelos LLM para tu móvil

Gemma 2B: Rendimiento Compacto de Google

El Gemma 2B de Google es un modelo de lenguaje que, a pesar de su tamaño reducido, ofrece un rendimiento impresionante. Gracias a su mecanismo de atención de múltiples consultas, reduce los requisitos de ancho de banda de memoria durante la inferencia. Esto es especialmente útil en dispositivos móviles, donde el ancho de banda de memoria es limitado. Con solo 2 mil millones de parámetros, Gemma 2B logra excelentes resultados en tareas de comprensión del lenguaje, razonamiento y seguridad.

Phi-2: Eficiencia de Microsoft

Phi-2, desarrollado por Microsoft, cuenta con 2.7 mil millones de parámetros y ha demostrado superar a modelos hasta 25 veces más grandes en ciertos benchmarks. Este modelo es capaz de realizar razonamiento de sentido común y comprensión del lenguaje con gran eficiencia. Además, puede ser cuantizado a precisiones de 4 o 3 bits, reduciendo su tamaño a aproximadamente 1.17-1.48 GB, haciéndolo ideal para dispositivos con recursos limitados.

Recordad que Phi-3 ya está en camino.

Falcon-RW-1B: Modelo Eficiente para Móviles

El Falcon-RW-1B es parte de la familia Falcon y destaca por su eficiencia y rendimiento. Adaptado de GPT-3, incorpora técnicas como ALiBi y FlashAttention para mejorar la eficiencia computacional. Estas optimizaciones lo hacen adecuado para la inferencia en dispositivos móviles con recursos limitados. El modelo Falcon-RW-1B-Chat añade capacidades conversacionales, mejorando la interacción con los usuarios.

StableLM-3B: Balance y Rendimiento

Desarrollado por Stability AI, el StableLM-3B es un modelo de 3 mil millones de parámetros que equilibra rendimiento y eficiencia. Aunque fue entrenado con menos tokens, superó a modelos con 7 mil millones de parámetros en algunos benchmarks. Al ser cuantizado a 4 bits, su tamaño se reduce a alrededor de 3.6 GB, permitiendo su ejecución eficiente en smartphones. Es una opción versátil para diversas tareas de lenguaje.

TinyLlama: Compacto y Poderoso

TinyLlama aprovecha optimizaciones como FlashAttention y RoPE para mejorar la eficiencia computacional mientras mantiene un rendimiento robusto. Compatible con la arquitectura Llama, puede integrarse en aplicaciones móviles existentes con mínimos cambios. Una vez cuantizado a 4 o 5 bits, su tamaño se reduce a aproximadamente 550-637 MB. En pruebas, generó 6-7 tokens por segundo en un teléfono de gama media, como el Asus ROG.

LLaMA-2-7B: Potencia de Meta para Móviles

El modelo LLaMA-2-7B de Meta, con 7 mil millones de parámetros, ha sido cuantizado a pesos de 4 bits y activaciones de 16 bits, reduciendo su tamaño a 3.6 GB. Este modelo requiere al menos 6GB de RAM para su despliegue en dispositivos móviles. Aunque la memoria pico durante la inferencia varía entre 316MB y 4785MB, su rendimiento es óptimo en smartphones de gama alta, ofreciendo capacidades avanzadas sin depender de la nube.

Conclusión

Estos seis modelos de lenguaje ofrecen una manera eficiente de utilizar LLMs directamente en tu smartphone. Desde Gemma 2B hasta LLaMA-2-7B, cada uno tiene características que los hacen únicos y adecuados para diferentes necesidades. Al elegir el modelo correcto, puedes asegurar que tus datos se mantengan privados mientras disfrutas de las capacidades avanzadas de procesamiento de lenguaje en tu dispositivo móvil.

La noticia Modelos de Inteligencia Artificial que pueden instalarse en tu móvil fue publicada originalmente en Wwwhatsnew.com por Juan Diego Polo.

Source:: Wwwath’s new

computex 2024

Lo mejor de Computex 2024: AI y silicio al poder

by with No Comment Tecnología

By Juan Diego Polo

computex 2024

Este año, Computex 2024 ha sido un festival de innovaciones en inteligencia artificial y tecnología de silicio. Aquí te traigo un resumen de lo mejor que se vio en el evento.

Pero antes de comenzar con mi lista, os dejo con el recorrido por la feria:

Intel Revoluciona con Lunar Lake

Intel ha presentado su nueva generación de chips Lunar Lake, que destacan por sus mejoras en rendimiento, eficiencia y capacidades de IA. Entre los puntos más importantes encontramos:

  • Incremento del 14% en el rendimiento de la CPU.
  • Mejora del 50% en el rendimiento gráfico.
  • Hasta un 60% más de duración de la batería.
  • Procesamiento de IA mejorado con hasta 48 TOPS de aceleración.

Estos chips incluyen hasta cuatro núcleos de rendimiento “Lion Cove» y cuatro núcleos de eficiencia “Skymont». Las laptops como el nuevo ASUS Expertbook P5 serán las primeras en utilizarlos, disponibles antes de las fiestas de 2024.

Qualcomm Snapdragon X Elite: Desafiante para Apple

Qualcomm ha redefinido la computación móvil con sus nuevos chips Snapdragon X Elite, llevando el procesamiento ARM a Windows 11. Características principales:

  • GPU integrada de alta potencia.
  • 32GB de RAM LPDDR5x y 512GB de almacenamiento NVMe.
  • Compatibilidad con Wi-Fi 7 y Bluetooth 5.4.
  • Aceleración de IA con 45 TOPS.

El Snapdragon Dev Kit, una mini PC elegante, muestra el potencial de estos chips. Los PCs con Snapdragon X Elite ya están disponibles para preordenar y comenzarán a enviarse el 18 de junio de 2024.

Mejor Laptop para Juegos: ASUS ROG Zephyrus G16 (2024)

ASUS ROG Zephyrus G16

ASUS ha destacado con su nueva laptop para juegos ROG Zephyrus G16, que incorpora características avanzadas de IA y el procesador AMD Ryzen AI 9 HX 370. Especificaciones clave:

  • Procesador AMD Ryzen AI con 12 núcleos y 24 hilos.
  • GPU NVIDIA GeForce RTX 4070.
  • Pantalla OLED de 16 pulgadas con resolución 2.5K y tasa de refresco de 240 Hz.

Esta laptop es ideal para tareas de gaming y aplicaciones impulsadas por IA, ofreciendo un rendimiento potente en un diseño delgado y ligero.

Mejor Nuevo Dispositivo para Juegos: ASUS ROG Ally X

ASUS ROG Ally X

El ASUS ROG Ally X es una versión mejorada del dispositivo portátil ROG Ally, que viene con:

  • Procesador AMD Ryzen Z1 Extreme.
  • 1TB de almacenamiento SSD y 24GB de RAM LPDDR5-7500.
  • Batería de 80 Wh para largas sesiones de juego.

Este dispositivo portátil también ha mejorado su ergonomía, ofreciendo mangos más cómodos y mejor colocación de botones, además de joysticks más duraderos.

Mejor Concepto: Laptop con Tapa E-ink de ASUS

Laptop con Tapa E-ink de ASUS

Uno de los conceptos más innovadores en Computex fue la laptop con tapa E-ink de ASUS. Este dispositivo cuenta con:

  • Una pantalla E-ink en la tapa que funciona como una segunda pantalla.
  • Permite personalizar la apariencia del laptop sin adhesivos.
  • Consume energía solo al cambiar la imagen, siendo muy eficiente en términos de energía.

Esta tecnología es ideal para mostrar notificaciones, eventos del calendario o arte sin necesidad de abrir la laptop, ofreciendo una funcionalidad adicional interesante.

Por supuesto, también tenemos el vivobook, que quita el hipo:

ASUS Vivobook S 15: El Primer PC con IA que Revoluciona el Mercado

Estad atentos, porque seguiré contando mis aventuras por Taiwan en la Computex 2024.

La noticia Lo mejor de Computex 2024: AI y silicio al poder fue publicada originalmente en Wwwhatsnew.com por Juan Diego Polo.

Source:: Wwwath’s new