-
Linyi Li, Shijie Geng, Zhenwen Li, Yibo He, Hao Yu, Ziyue Hua, Guanghan Ning, Siwei Wang, Tao Xie, Hongxia Yang
InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models
38th Conference on Neural Information Processing Systems Datasets and Benchmarks Track (NeurIPS 2024 D&B)
[Version complète]
[Version conférence]
[Code]
[Site Web du projet]
[Diapositives]
[BibTex]
@inproceedings{
li2024infibench,
title={InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models},
author={Linyi Li and Shijie Geng and Zhenwen Li and Yibo He and Hao Yu and Ziyue Hua and Guanghan Ning and Siwei Wang and Tao Xie and Hongxia Yang},
booktitle={The Thirty-eight Conference on Neural Information Processing Systems Datasets and Benchmarks Track},
year={2024},
}
Mots-clés:
LLM
benchmark
code
Le sommaire
Un benchmark complet pour les grands modèles de langage (LLMs) dédiés au code, évaluant leur capacité à répondre à des questions ouvertes et réalistes dans le domaine du code. À partir de l’évaluation de plus de 100 modèles, nous résumons les tendances empiriques et les lois d’échelle pour les modèles de langage open-source existants dans le domaine du code.
-
Linyi Li
Certifiably Trustworthy Deep Learning Systems at Scale
Doctoral Thesis
[Version complète]
[Version officielle]
[BibTex]
@phdthesis{li2023thesis,
title = {Certifiably Trustworthy Deep Learning Systems at Scale},
author = {Linyi Li},
year = 2023,
month = {Oct},
school = {University of Illinois Urbana-Champaign},
type = {PhD thesis}
}
Mots-clés:
certified ML
Le sommaire
Ma thèse de doctorat. Cette thèse résume de manière systématique l’état actuel de la recherche sur la fiabilité certifiée de l’apprentissage profond. Comparée à l’article SoK, la thèse va au-delà de la seule robustesse et couvre les détails techniques des méthodes représentatives.
-
Linyi Li, Tao Xie, Bo Li
SoK: Certified Robustness for Deep Neural Networks
44th IEEE Symposium on Security and Privacy (SP 2023)
[Version complète]
[Version conférence]
[Diapositives]
[Code]
[Classement]
[BibTex]
@inproceedings{li2023sok,
author={Linyi Li and Tao Xie and Bo Li},
title = {SoK: Certified Robustness for Deep Neural Networks},
booktitle = {44th {IEEE} Symposium on Security and Privacy, {SP} 2023, San Francisco, CA, USA, 22-26 May 2023},
publisher = {{IEEE}},
year = {2023},
}
Mots-clés:
certified ML
Le sommaire
Une systématisation complète des connaissances sur la robustesse certifiée des réseaux de neurones profonds (en anglais: DNN), comprenant une discussion sur les implications pratiques et théoriques, les conclusions, les principaux défis et les orientations futures, accompagnée d’une plateforme unifiée open-source pour évaluer plus de 20 approches représentatives.
-
Linyi Li, Yuhao Zhang, Luyao Ren, Yingfei Xiong, Tao Xie
Reliability Assurance for Deep Neural Network Architectures Against Numerical Defects
45th IEEE/ACM International Conference on Software Engineering (ICSE 2023)
[Version complète]
[Version conférence]
[Diapositives]
[Code]
[BibTex]
@inproceedings{li2023reliability,
author={Linyi Li and Yuhao Zhang and Luyao Ren and Yingfei Xiong and Tao Xie},
title = {Reliability Assurance for Deep Neural Network Architectures Against Numerical Defects},
booktitle = {45th International Conference on Software Engineering, {ICSE} 2023, Melbourne, Australia, 14-20 May 2023},
publisher = {{IEEE/ACM}},
year = {2023},
}
Mots-clés:
certified ML
numerical reliability
Le sommaire
Un cadre efficace et performant en boîte blanche pour les architectures génériques de réseaux de neurones profonds (en anglais: DNN), nommé RANUM, destiné à certifier la fiabilité numérique (par exemple, éviter la génération de NaN ou INF), à générer des tests système révélant des défaillances et à proposer des corrections. RANUM est le premier cadre automatisé pour les deux dernières tâches.
-
Mintong Kang*, Linyi Li*, Maurice Weber, Yang Liu, Ce Zhang, Bo Li
Certifying Some Distributional Fairness with Subpopulation Decomposition
Advances in Neural Information Processing Systems (NeurIPS) 2022
[Version complète]
[Version conférence]
[Code]
[Affiche]
[BibTex]
@inproceedings{kang2022certifying,
title = {Certifying Some Distributional Fairness with Subpopulation Decomposition},
author = {Mintong Kang and Linyi Li and Maurice Weber and Yang Liu and Ce Zhang and Bo Li},
booktitle = {Advances in Neural Information Processing Systems 35 (NeurIPS 2022)},
year = {2022}
}
Mots-clés:
certified ML
fairness
Le sommaire
Une approche de certification pratique et évolutive pour fournir une borne d’équité pour un modèle donné en cas de décalage de distribution par rapport à l’entraînement, basée sur une décomposition en sous-populations.
-
Linyi Li, Jiawei Zhang, Tao Xie, Bo Li
Double Sampling Randomized Smoothing
39th International Conference on Machine Learning (ICML 2022)
[Version conférence]
[Version complète]
[Code]
[BibTex]
@inproceedings{
li2022double,
title={Double Sampling Randomized Smoothing},
author={Linyi Li and Jiawei Zhang and Tao Xie and Bo Li},
booktitle={39th International Conference on Machine Learning (ICML 2022)},
year={2022},
}
Mots-clés:
certified ML
Le sommaire
Une approche de certification plus précise pour le lissage aléatoire, qui, pour la première fois, contourne la célèbre malédiction de la dimensionnalité sous des conditions modérées en exploitant les statistiques de deux distributions choisies stratégiquement.
-
Fan Wu*, Linyi Li*, Chejian Xu, Huan Zhang, Bhavya Kailkhura, Krishnaram Kenthapadi, Ding Zhao, Bo Li
COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks
10th International Conference on Learning Representations (ICLR 2022)
[Version conférence]
[Version complète]
[Classement]
[Code]
[BibTex]
@inproceedings{
wu2022copa,
title={{COPA}: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks},
author={Fan Wu and Linyi Li and Chejian Xu and Huan Zhang and Bhavya Kailkhura and Krishnaram Kenthapadi and Ding Zhao and Bo Li},
booktitle={International Conference on Learning Representations},
year={2022},
url={https://openreview.net/forum?id=psh0oeMSBiF}
}
Mots-clés:
certified ML
deep reinforcement learning
Le sommaire
La première approche pour certifier la robustesse de l’apprentissage par renforcement profond face aux perturbations des ensembles de données d’entraînement hors ligne, c’est-à-dire les attaques par empoisonnement, en agrégeant les politiques entraînées sur des ensembles de données partitionnés et les politiques sur plusieurs étapes temporelles.
-
Zhuolin Yang*, Linyi Li*, Xiaojun Xu, Bhavya Kailkhura, Tao Xie, Bo Li
On the Certified Robustness for Ensemble Models and Beyond
10th International Conference on Learning Representations (ICLR 2022)
[Version conférence]
[Version complète]
[Code]
[BibTex]
@inproceedings{
yang2022on,
title={On the Certified Robustness for Ensemble Models and Beyond},
author={Zhuolin Yang and Linyi Li and Xiaojun Xu and Bhavya Kailkhura and Tao Xie and Bo Li},
booktitle={International Conference on Learning Representations},
year={2022},
url={https://openreview.net/forum?id=tUa4REjGjTf}
}
Mots-clés:
certified ML
Le sommaire
En nous basant sur une borne de courbure pour les classificateurs lissés aléatoirement, nous prouvons qu’une large marge de confiance et une diversité des gradients sont des conditions suffisantes et nécessaires pour des ensembles certifiés robustes. En régularisant ces deux facteurs, nous atteignons une robustesse certifiée à l’état de l’art pour la norme L2.
-
Zhuolin Yang*, Linyi Li*, Xiaojun Xu*, Shiliang Zuo, Qian Chen, Pan Zhou, Benjamin I. P. Rubinstein, Ce Zhang, Bo Li
TRS: Transferability Reduced Ensemble via Promoting Gradient Diversity and Model Smoothness
Advances in Neural Information Processing Systems (NeurIPS) 2021
[Version conférence]
[Version complète]
[Code]
[BibTex]
@inproceedings{yangli2021trs,
title = {TRS: Transferability Reduced Ensemble via Promoting Gradient Diversity and Model Smoothness},
author = {Zhuolin Yang and Linyi Li and Xiaojun Xu and Shiliang Zuo and Qian Chen and Pan Zhou and Benjamin I. P. Rubinstein and Ce Zhang and Bo Li},
booktitle = {Advances in Neural Information Processing Systems 34 (NeurIPS 2021)},
year = {2021}
}
Mots-clés:
robust ML
Le sommaire
Nous prouvons la corrélation garantie entre la diversité des modèles et la transférabilité adversariale, sous réserve d’une douceur bornée des modèles, ce qui conduit à un régularisateur puissant atteignant une robustesse d’ensemble à l’état de l’art contre les attaques fortes existantes.
-
Jiawei Zhang*, Linyi Li*, Huichen Li, Xiaolu Zhang, Shuang Yang, Bo Li
Progressive-Scale Boundary Blackbox Attack via Projective Gradient Estimation
International Conference on Machine Learning (ICML) 2021
[Version conférence]
[Version complète]
[Code]
[Diapositives]
[BibTex]
@inproceedings{zhangli2021progressive,
title = {Progressive-Scale Boundary Blackbox Attack via Projective Gradient Estimation},
author = {Zhang, Jiawei and Li, Linyi and Li, Huichen and Zhang, Xiaolu and Yang, Shuang and Li, Bo},
booktitle = {Proceedings of the 38th International Conference on Machine Learning (ICML 2021)},
pages = {12479--12490},
year = {2021},
editor = {Meila, Marina and Zhang, Tong},
volume = {139},
series = {Proceedings of Machine Learning Research},
month = {18--24 Jul},
publisher = {PMLR},
}
Mots-clés:
attacks for ML
Le sommaire
Nous avons analysé systématiquement l’estimateur de gradient qui guide les attaques en boîte noire pour les réseaux de neurones profonds, ce qui révèle plusieurs facteurs clés pouvant permettre une estimation de gradient plus précise avec moins de requêtes. Une manière de prendre en compte ces facteurs clés est de mener l’attaque avec une estimation de gradient sur une version de l’image particulièrement mise à l’échelle, ce qui aboutit à l’attaque en boîte noire PSBA avec une efficacité de requête à l’état de l’art.
-
Linyi Li*, Maurice Weber*, Xiaojun Xu, Luka Rimanic, Bhavya Kailkhura, Tao Xie, Ce Zhang, Bo Li
TSS: Transformation-Specific Smoothing for Robustness Certification
ACM Conference on Computer and Communications Security (CCS) 2021
[Version conférence]
[Version complète]
[Code]
[Diapositives]
[BibTex]
@inproceedings{li2021tss,
title={TSS: Transformation-Specific Smoothing for Robustness Certification},
author={Linyi Li and Maurice Weber and Xiaojun Xu and Luka Rimanic and Bhavya Kailkhura and Tao Xie and Ce Zhang and Bo Li},
year={2021},
booktitle={ACM Conference on Computer and Communications Security (CCS 2021)}
}
Mots-clés:
certified ML
Le sommaire
Les transformations naturelles telles que la rotation et le redimensionnement sont courantes dans le monde physique. Nous proposons la première approche évolutive de certification contre les transformations naturelles, basée sur le lissage aléatoire, une analyse rigoureuse de Lipschitz et un échantillonnage stratifié. Pour la première fois, nous certifions une robustesse non triviale (plus de 30 % de précision certifiée robuste) sur le grand ensemble de données ImageNet.
-
Huichen Li*, Linyi Li*, Xiaojun Xu, Xiaolu Zhang, Shuang Yang, Bo Li
Nonlinear Projection Based Gradient Estimation for Query Efficient Blackbox Attacks
International Conference on Artificial Intelligence and Statistics (AISTATS) 2021
[Version conférence]
[Version complète]
[Code]
[BibTex]
@inproceedings{li2020nolinear,
title={Nonlinear Gradient Estimation for Query Efficient Blackbox Attack},
author={Huichen Li and Linyi Li and Xiaojun Xu and Xiaolu Zhang and Shuang Yang and Bo Li},
year={2021},
booktitle = {International Conference on Artificial Intelligence and Statistics (AISTATS 2021)},
series = {Proceedings of Machine Learning Research},
month = {13--15 Apr},
publisher = {PMLR},
}
Mots-clés:
attacks for ML
Le sommaire
Nous analysons les résultats de l’utilisation de projections non linéaires pour les attaques basées sur l’estimation de gradients en boîte noire, ce qui montre que des projections non linéaires appropriées peuvent améliorer l’efficacité des attaques.
-
Linyi Li, Zhenwen Li, Weijie Zhang, Jun Zhou, Pengcheng Wang, Jing Wu, Guanghua He, Xia Zeng, Yuetang Deng, Tao Xie
Clustering Test Steps in Natural Language toward Automating Test Automation
ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering (ESEC/FSE) 2020, Industry Track
[Document]
[Vidéo]
[BibTex]
@inproceedings{li2020clustep,
title = {Clustering Test Steps in Natural Language toward Automating Test Automation},
author = {Li, Linyi and Li, Zhenwen and Zhang, Weijie and Zhou, Jun and Wang, Pengcheng and Wu, Jing and He, Guanghua and Zeng, Xia and Deng, Yuetang and Xie, Tao},
booktitle = {Proceedings of the 28th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering {(ESEC/FSE 2020)}},
year = {2020},
doi = {10.1145/3368089.3417067},
url = {https://doi.org/10.1145/3368089.3417067}
}
Mots-clés:
ML for software testing
Le sommaire
Nous proposons une chaîne de traitement efficace pour regrouper les étapes de test en langage naturel, puis synthétiser des cas de test exécutables, déployée pour les tests de WeChat.
-
Linyi Li*, Zexuan Zhong*, Bo Li, Tao Xie
Robustra: Training Provable Robust Neural Networks over Reference Adversarial Space
International Joint Conference on Artificial Intelligence (IJCAI) 2019
[Document]
[Code]
[BibTex]
@inproceedings{li2019robustra,
title = {Robustra: Training Provable Robust Neural Networks over Reference Adversarial Space},
author = {Li, Linyi and Zhong, Zexuan and Li, Bo and Xie, Tao},
booktitle = {Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence (IJCAI 2019)},
publisher = {International Joint Conferences on Artificial Intelligence Organization},
pages = {4711--4717},
year = {2019},
month = {7},
doi = {10.24963/ijcai.2019/654},
url = {https://doi.org/10.24963/ijcai.2019/654}
}
Mots-clés:
certified ML
Le sommaire
Nous proposons une méthode d’entraînement visant à atteindre une robustesse certifiée en régularisant uniquement au sein de l’espace adversarial de référence à partir d’un modèle conjointement entraîné, afin d’atténuer la difficulté d’optimisation et d’obtenir une robustesse certifiée plus élevée.
