【包小可科技消息】天眼查App显示，近日，华为技术有限公司申请的“人工智能模型的量化方法、处理系统和量化单元”专利公布。
摘要显示，量化单元可以基于运行AI模型的计算设备的各个计算单元的处理粒度，将量化矩阵分割成多个适用于各个计算单元的处理粒度的分块量化矩阵。量化单元可以对分块量化矩阵进行量化处理，以得到量化后的分块量化矩阵，并存储在存储器中，可以减少AI模型占用的内存。量化矩阵可以是权重矩阵，也可以是激活矩阵。量化单元量化过程中，是基于运行AI模型的计算设备的各个计算单元的处理粒度进行量化，并不需要基于张量级别进行离群值的统计，实现AI模型对权重矩阵和激活矩阵都可以进行实时量化。
天眼查信息
而在今年1月底，国家知识产权局信息显示，华为技术有限公司还申请一项名为“一种数据处理方法及相关设备”的专利，申请日期为2024年9月。
根据介绍，该专利申请提供了一种数据处理方法及相关设备，涉及人工智能领域，能够降低模型训练过程的存储空间的开销，提高模型训练的性能。在该方法中，第一装置通过第一模型对第一数据进行前向计算，得到第二数据，该第一模型为神经网络模型，该第一数据的位数和该第二数据的位数为第一值；第一装置对该第二数据进行量化，得到第三数据，该第三数据的位数为第二值，该第二值小于该第一值；第一装置保存该第三数据，保存的该第三数据用于该第一模型的反向计算。
文章来自互联网，只做分享使用。发布者：包小可，转载请注明出处：https://www.baoxiaoke.com/article/282000.html
