作为人类,象征主义是理解我们周围世界的关键,它是我们如何解释物体、想法以及它们之间的关系。
我们完全依赖于类比,这使得我们当前的计算技术极其复杂,而且在目前还过时。
人工智能(AI)的日益普及以及我们在 OpenAI 的 ChatGPT 中已经看到的用例并不一定是超越单纯“炒作”和股票通胀的最佳应用。
在传统计算下,我们无法完全理解这些人工神经网络 (ANN) 的作用,甚至无法理解它们为何如此有效。完全缺乏透明度也使我们无法理解数据是如何收集和分析的,从而得出我们如此渴望并称之为“进步”的结果。
考虑以下能够区分“圆形”和“正方形”的 ANN 示例。
实现这种区分的一种方法很明显——如果一个输出层指示一个圆形,另一个输出层指示一个正方形。
但是如果你想让 ANN 辨别出特定形状的“颜色”——是“红色”还是“蓝色”?
由于“颜色”是一个完全独立的数据集,因此需要额外的输出神经元才能在最终输出中解释该特征。在这种情况下,需要四个输出神经元——蓝色圆圈、蓝色正方形、红色圆圈和红色正方形各一个。
现在,如果我们想要一个考虑附加信息(例如“大小”或“位置/位置”)的计算怎么办?
更多特征意味着更多的神经元需要考虑与“圆形”和“正方形”定义特定特征(或特征组合)相关的每一种可能性。
换句话说,它变得非常复杂。
加州大学伯克利分校的神经科学家 Bruno Olshausen 最近谈到了这种需要,即为所有可能的特征组合都对应一个神经元。
“这不可能是我们的大脑感知自然世界及其所有变化的方式。你必须提出......一个神经元来代表所有组合,”他说,并进一步解释说,我们本质上需要“一个紫色大众汽车探测器”或某种非常模糊的东西来解释我们希望在任何给定实验中考虑的所有可能的信息组合。
输入“超维计算”。
什么是“超维计算”?
超维计算的核心是算法从复杂图像中解读特定信息(想想元数据)的能力,然后将该集体信息表示为单个实体,称为“超维向量”。
与传统计算不同,超维计算使我们能够以符号方式解决问题,从某种意义上说,能够根据超维向量中包含的数据有效而准确地“预测”特定问题的结果。
奥尔豪森和其他同事认为,大脑中的信息是由大量神经元的活动所表示的,因此,我们对虚构的“紫色大众汽车”的感知不可能由单个神经元的活动所包含,而是需要通过数千个神经元共同组成一辆紫色大众汽车。
当同一组神经元发挥不同的作用时,我们可以看到完全不同的概念或结果,例如粉红色的凯迪拉克。
根据《连线》杂志最近的讨论,关键在于每条信息,例如汽车的概念或其品牌、型号、颜色或所有这些的组合,都表示为一个单一的实体——超维向量或超向量。
“矢量”只是一个有序的数字数组 - 1、2、3 等 - 其中 3D 矢量由三个数字组成 - 3D 空间中精确点的 x、y 和 z 坐标。
另一方面,“超向量”可以是数千或数十万个数字的数组,表示该维空间中的一个点。例如,表示 10,000 个数字的数组的超向量表示 10,000 维空间中的一个点。
这种抽象层次为我们提供了灵活性和能力,可以发展现代计算并使其与人工智能(AI)等新兴技术相协调。
“这是我整个职业生涯中最兴奋的事情,”奥尔豪森说。对他和其他许多人来说,超维计算预示着一个新世界,在这个世界中,计算高效而强大,机器做出的决策完全透明。
将“元数据”转换为超维算法以生成复杂结果
底层代数告诉我们为什么系统选择特定的答案,而传统的神经网络则无法做到这一点。
在开发混合系统中,这些神经网络可以将现实生活中的事物映射到超向量,然后让超维代数接管,这是如何使用人工智能来真正帮助我们更好地理解我们周围的世界的关键。
“这正是我们对任何人工智能系统的期望,”奥尔豪森说。“我们应该能够理解它,就像我们理解飞机或电视机一样。”
回到“圆形”和“正方形”的例子,并将其应用于高维空间,我们需要向量来表示“形状”和“颜色”的变量,但同时,我们需要向量来表示可以分配给变量的值——“圆形”、“正方形”、“蓝色”和“红色”。
最重要的是,这些向量必须足够独特,才能真正量化这些变量。
现在,让我们把注意力转向奥尔斯豪森的学生埃里克·韦斯,他在 2015 年展示了超维计算独特能力的一个方面,即如何将复杂图像最好地表示为单个超维向量,该向量包含有关图像中所有对象的信息——颜色、位置、大小。
换句话说,这是图像元数据的极其先进的表示。
“我差点从椅子上摔下来,”奥尔豪森说。“突然间,我突然灵光一闪。”
此时,更多团队开始集中精力开发“超维算法”,以复制深度神经网络二十年前已经从事的“简单”任务——例如对图像进行分类。
为每个图像创建一个“超向量”
例如,如果您要获取由手写数字图像组成的带注释的数据集,则此超维算法将分析每张图像的特定特征,并为每个图像创建一个“超向量”。
为每个数字创建一个超向量的“类”
从那里,算法会将所有“零”图像的超向量添加以创建“零的想法”的超向量,并对所有数字重复该操作,生成 10 个“类”超向量 - 每个数字一个。
现在,对这些存储的超向量类别进行测量,并根据为新的未标记图像创建的超向量进行分析,以便算法确定哪个数字与新图像最匹配(基于每个数字的预定超向量类别)。
IBM 研究深入研究
今年 3 月,苏黎世 IBM 研究中心的阿巴斯·拉希米 (Abbas Rahimi) 和两位同事利用神经网络的超维计算解决了抽象视觉推理中的一个经典问题——这对典型的 ANN 甚至一些人类来说都是一个重大挑战。
该团队首先创建了一个超向量“字典”来表示每个图像中的对象,其中字典中的每个超向量代表一个特定的对象及其属性的某种组合。
从此,该团队训练了一个神经网络来检查图像以生成双极超向量——其中特定属性或元素可以是+1 或-1。
“你将神经网络引导到一个有意义的概念空间,”拉希米说。
这里的价值在于,一旦网络为每个上下文图像以及每个空白槽候选生成了超向量,就会使用另一种算法来分析超向量,为图像中的多个对象创建“概率分布”。
换句话说,代数可以用来预测最有可能填补空缺的图像。该团队的方法在一组问题上取得了近 88% 的准确率,而仅使用神经网络的解决方案准确率不到 61%。
我们仍处于起步阶段
尽管超维计算具有诸多优点,但它仍处于起步阶段,需要针对现实世界的问题进行测试,而且规模比我们迄今为止所见的要大得多——例如,需要有效搜索超过 10 亿个项目或结果并找到特定的结果。
最终,这将随着时间而到来,但它确实提出了我们在哪里以及如何应用和整合人工智能的问题。
了解由人工智能驱动的 40 分钟教堂礼拜如何作为一项史无前例的实验吸引了超过 300 名德国参加者。
点击此处查看 Hypemoon 的完整画廊