为什么需要抛弃循环,拥抱向量化。简单聊聊我自己对向量化的一些研究,本人非专业人士,可能不太专业,也不一定正确和准确。
1.今天和每日互动的人员聊天,有聊到向量化。
2.每日互动是比较早拥抱向量化的公司。
3.大数据时代,数据预处理是不可避免的。向量化操作是什么?通俗讲,就是用一条指令同时处理多个数据元素。这样子不仅可以让代码更简洁,还能大幅提升运行效率。在Python中,NumPy库就是向量化操作的主要力量。
4.举个例子:
import numpy as np
# 传统循环
def loop_sum(arr):
total = 0
for num in arr:
total += num
return total
# 向量化操作
def vector_sum(arr):
return np.sum(arr)
# 测试
arr = np.random.rand(1000000)
%timeit loop_sum(arr)
%timeit vector_sum(arr)
运行这个代码,向量化比循环就会快很多倍。
5.为什么需要向量化,因为计算机无法直接处理非数值性计算,所以的计算都需要转换成数值运算才行。
但是,数字运算的方式很多,为什么要选择向量化。
6.因为向量便于计算机进行处理,向量能够表示文本,图像等之间的语义关系,使用矩阵来表示向量,计算效率更高。
7.之前我在研究一些技术性问题的时候,有一些行业内的专业人士会说,AI 大模型 + 本地知识库=安全隐患?他们的观点是,这样子做,会让人的隐私在向量化里。但是我自己研究了一下,并不是很认同这种说法,因为我自己虽然学艺不精,不是专业的专家教授,但是还是每个行业都略懂一二。首先,黑客这个东西是违法的,没有人闲着没事去干这个。当然,数据安全也是十分重要的。所以,这个时候,可信数据空间,就显得很重要了。这个可信数据空间的打造,就可以防止黑客的入侵。知识库加连自己本地的大模型,这样子就不会泄露一些数据和隐私。
个人看法,不作为任何投资建议。所有操作行为,均和本人无关。不对任何人的市场操作和投资负任何责任。
本文作者可以追加内容哦 !