LightGBM - LightGBM
 | |
| Autor (es) original (es) | Investigación de Guolin Ke / Microsoft |
|---|---|
| Desarrollador (es) | Colaboradores de Microsoft y LightGBM |
| Versión inicial | 2016 |
| Lanzamiento estable | v3.2.1 / 12 de abril de 2021
|
| Repositorio | github |
| Escrito en | C ++ , Python , R , C |
| Sistema operativo | Windows , macOS , Linux |
| Tipo | Aprendizaje automático , marco de refuerzo de gradientes |
| Licencia | Licencia MIT |
| Sitio web | lightgbm |
LightGBM , abreviatura de Light Gradient Boosting Machine, es un marco de impulso de gradiente distribuido gratuito y de código abierto para el aprendizaje automático desarrollado originalmente por Microsoft . Se basa en algoritmos de árbol de decisiones y se utiliza para la clasificación , clasificación y otras tareas de aprendizaje automático. El desarrollo se centra en el rendimiento y la escalabilidad.
Descripción general
El marco LightGBM admite diferentes algoritmos, incluidos GBT, GBDT , GBRT , GBM , MART y RF . LightGBM tiene muchas de las ventajas de XGBoost , que incluyen optimización escasa, entrenamiento paralelo, múltiples funciones de pérdida, regularización, ensacado y parada anticipada. Una gran diferencia entre los dos radica en la construcción de árboles. LightGBM no crece a nivel de árbol, fila por fila, como lo hacen la mayoría de las otras implementaciones. En cambio, crece árboles en forma de hojas. Elige la hoja que cree que producirá la mayor disminución en la pérdida. Además, LightGBM no utiliza el algoritmo de aprendizaje del árbol de decisiones basado en ordenación, que se utiliza ampliamente, que busca el mejor punto de división en valores de características ordenadas, como lo hacen XGBoost u otras implementaciones. En cambio, LightGBM implementa un algoritmo de aprendizaje de árbol de decisiones basado en histogramas altamente optimizado, que ofrece grandes ventajas tanto en la eficiencia como en el consumo de memoria. El algoritmo LightGBM utiliza dos técnicas novedosas llamadas Muestreo de un lado basado en gradientes (GOSS) y Paquete de funciones exclusivas (EFB) que permiten que el algoritmo se ejecute más rápido mientras se mantiene un alto nivel de precisión.
LightGBM funciona en Linux , Windows y macOS y es compatible con C ++ , Python , R y C # . El código fuente tiene licencia MIT y está disponible en GitHub .
Muestreo de un lado basado en gradientes
El muestreo unilateral basado en gradientes (GOSS) es un método que aprovecha el hecho de que no existe un peso nativo para la instancia de datos en GBDT. Dado que las instancias de datos con diferentes gradientes juegan diferentes roles en el cálculo de la ganancia de información, las instancias con gradientes más grandes contribuirán más a la ganancia de información. Por lo tanto, para retener la precisión de la información, GOSS mantiene las instancias con gradientes grandes y descarta aleatoriamente las instancias con gradientes pequeños.
Paquete de funciones exclusivas
La combinación de funciones exclusivas (EFB) es un método casi sin pérdidas para reducir la cantidad de funciones efectivas. En un espacio de características escaso, muchas características son casi exclusivas, lo que implica que rara vez toman valores distintos de cero simultáneamente. Las funciones codificadas en un solo uso son un ejemplo perfecto de funciones exclusivas. EFB agrupa estas características, reduciendo la dimensionalidad para mejorar la eficiencia mientras se mantiene un alto nivel de precisión. El paquete de funciones exclusivas en una sola función se denomina paquete de funciones exclusivas.
Ver también
Referencias
Otras lecturas
-
Guolin Ke, Qi Meng, Thomas Finely, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, Tie-Yan Liu (2017). "LightGBM: un árbol de decisión de aumento de gradiente altamente eficiente" (PDF) . Cite journal requiere
|journal=( ayuda )Mantenimiento de CS1: utiliza el parámetro de autores ( enlace ) - Quinto, Butch (2020). Aprendizaje automático de próxima generación con Spark: cubre XGBoost, LightGBM, Spark NLP, aprendizaje profundo distribuido con Keras y más . Presione. ISBN 978-1-4842-5668-8.
enlaces externos
 |
Este artículo relacionado con la inteligencia artificial es un fragmento . Puedes ayudar a Wikipedia expandiéndolo . |