ipfs源码go语言 ipfs源码分析

IPFS是什么？

星际文件系统。

创新互联公司10多年成都定制网页设计服务;为您提供网站建设,网站制作,网页设计及高端网站定制服务,成都定制网页设计及推广,对砂岩浮雕等多个领域拥有多年的网站制作经验的网站建设公司。

IPFS是一种内容可寻址的对等超媒体分发协议。IPFS将现有的成功系统分布式哈希表、BitTorrent、版本控制系统Git、自认证文件系统与区块链相结合的文件存储和内容分发网络协议。IPFS同时也是一个开放源代码项目。

IPFS属性：

1、永久的、去中心化保存和共享文件；

2、点对点超媒体：P2P 保存各种各样类型的数据；

3、版本化：可追溯文件修改历史。

扩展资料

IPFS优点：

1、内容寻址：所有内容（包括链接）都由其多哈希校验和进行唯一标识。

2、防篡改：所有内容都使用其校验和进行验证。如果数据被篡改或损坏，则IPFS会检测到该数据。

3、去冗余：所有内容完全相同的对象，只存储一次。

4、PFS并不会要求每一个节点都存储所有的内容，节点的所有者可以自由选择想要维持的数据，在备份了自己的数据之外，自愿的为其他的关注的内容提供服务。

参考资料来源：百度百科-星际文件系统

IPFS(四) 源码解读之-p2p

package p2p

import (

"context"

"errors"

"time"

net "gx/ipfs/QmPjvxTpVH8qJyQDnxnsxF9kv9jezKD1kozz1hs3fCGsNh/go-libp2p-net"

manet "gx/ipfs/QmV6FjemM1K8oXjrvuq3wuVWWoU2TLDPmNnKrxHzY3v6Ai/go-multiaddr-net"

ma "gx/ipfs/QmYmsdtJ3HsodkePE3eU3TsCaP2YvPZJ4LoXnNkDE5Tpt7/go-multiaddr"

pro "gx/ipfs/QmZNkThpqfVXs9GNbexPrfBbXSLNYeKrE7jwFM2oqHbyqN/go-libp2p-protocol"

pstore "gx/ipfs/QmZR2XWVVBCtbgBWnQhWk2xcQfaR3W8faQPriAiaaj7rsr/go-libp2p-peerstore"

p2phost "gx/ipfs/Qmb8T6YBBsjYsVGfrihQLfCJveczZnneSBqBKkYEBWDjge/go-libp2p-host"

peer "gx/ipfs/QmdVrMn1LhB4ybb8hMVaMLXnA8XRSewMnK6YqXKXoTcRvN/go-libp2p-peer"

)

//P2P结构保存当前正在运行的流/监听器的信息

// P2P structure holds information on currently running streams/listeners

type P2P struct {

//监听器

Listeners ListenerRegistry

//数据流

Streams StreamRegistry

//节点ID

identity peer.ID

//节点地址

peerHost p2phost.Host

//一个线程安全的对等节点存储

peerstore pstore.Peerstore

}

//创建一个新的p2p结构

// NewP2P creates new P2P struct

//这个新的p2p结构不包含p2p结构中的监听器和数据流

func NewP2P(identity peer.ID, peerHost p2phost.Host, peerstore pstore.Peerstore) *P2P {

return P2P{

identity: identity,

peerHost: peerHost,

peerstore: peerstore,

}

}

//新建一个数据流 工具方法 构建一个有节点id，内容和协议的流

func (p2p P2P) newStreamTo(ctx2 context.Context, p peer.ID, protocol string) (net.Stream, error) {

//30s 后会自动timeout

ctx, cancel := context.WithTimeout(ctx2, time.Second 30) //TODO: configurable?

defer cancel()

err := p2p.peerHost.Connect(ctx, pstore.PeerInfo{ID: p})

if err != nil {

return nil, err

}

return p2p.peerHost.NewStream(ctx2, p, pro.ID(protocol))

}

//对话为远程监听器创建新的P2P流

//创建一个新的p2p流实现对对话的监听

// Dial creates new P2P stream to a remote listener

//Multiaddr是一种跨协议、跨平台的表示格式的互联网地址。它强调明确性和自我描述。

//对内接收

func (p2p P2P) Dial(ctx context.Context, addr ma.Multiaddr, peer peer.ID, proto string, bindAddr ma.Multiaddr) ( ListenerInfo, error) {

//获取一些节点信息 network, host, nil

lnet, _, err := manet.DialArgs(bindAddr)

if err != nil {

return nil, err

}

//监听信息

listenerInfo := ListenerInfo{

//节点身份

Identity: p2p.identity,

////应用程序协议标识符。

Protocol: proto,

}

//调用newStreamTo 通过ctx（内容） peer（节点id） proto（协议标识符） 参数获取一个新的数据流

remote, err := p2p.newStreamTo(ctx, peer, proto)

if err != nil {

return nil, err

}

//network协议标识

switch lnet {

//network为"tcp", "tcp4", "tcp6"

case "tcp", "tcp4", "tcp6":

//从监听器获取新的信息 nla.Listener, nil

listener, err := manet.Listen(bindAddr)

if err != nil {

if err2 := remote.Reset(); err2 != nil {

return nil, err2

}

return nil, err

}

//将获取的新信息保存到listenerInfo

listenerInfo.Address = listener.Multiaddr()

listenerInfo.Closer = listener

listenerInfo.Running = true

//开启接受

go p2p.doAccept(listenerInfo, remote, listener)

default:

return nil, errors.New("unsupported protocol: " + lnet)

}

return listenerInfo, nil

}

//

func (p2p *P2P) doAccept(listenerInfo *ListenerInfo, remote net.Stream, listener manet.Listener) {

//关闭侦听器并删除流处理程序

defer listener.Close()

//Returns a Multiaddr friendly Conn

//一个有好的 Multiaddr 连接

local, err := listener.Accept()

if err != nil {

return

}

stream := StreamInfo{

//连接协议

Protocol: listenerInfo.Protocol,

//定位节点

LocalPeer: listenerInfo.Identity,

//定位节点地址

LocalAddr: listenerInfo.Address,

//远程节点

RemotePeer: remote.Conn().RemotePeer(),

//远程节点地址

RemoteAddr: remote.Conn().RemoteMultiaddr(),

//定位

Local: local,

//远程

Remote: remote,

//注册码

Registry: p2p.Streams,

}

//注册连接信息

p2p.Streams.Register(stream)

//开启节点广播

stream.startStreaming()

}

//侦听器将流处理程序包装到侦听器中

// Listener wraps stream handler into a listener

type Listener interface {

Accept() (net.Stream, error)

Close() error

}

//P2PListener保存关于侦听器的信息

// P2PListener holds information on a listener

type P2PListener struct {

peerHost p2phost.Host

conCh chan net.Stream

proto pro.ID

ctx context.Context

cancel func()

}

//等待侦听器的连接

// Accept waits for a connection from the listener

func (il *P2PListener) Accept() (net.Stream, error) {

select {

case c := -il.conCh:

return c, nil

case -il.ctx.Done():

return nil, il.ctx.Err()

}

}

//关闭侦听器并删除流处理程序

// Close closes the listener and removes stream handler

func (il *P2PListener) Close() error {

il.cancel()

il.peerHost.RemoveStreamHandler(il.proto)

return nil

}

// Listen创建新的P2PListener

// Listen creates new P2PListener

func (p2p P2P) registerStreamHandler(ctx2 context.Context, protocol string) ( P2PListener, error) {

ctx, cancel := context.WithCancel(ctx2)

list := P2PListener{

peerHost: p2p.peerHost,

proto: pro.ID(protocol),

conCh: make(chan net.Stream),

ctx: ctx,

cancel: cancel,

}

p2p.peerHost.SetStreamHandler(list.proto, func(s net.Stream) {

select {

case list.conCh - s:

case -ctx.Done():

s.Reset()

}

})

return list, nil

}

// NewListener创建新的p2p侦听器

// NewListener creates new p2p listener

//对外广播

func (p2p P2P) NewListener(ctx context.Context, proto string, addr ma.Multiaddr) ( ListenerInfo, error) {

//调用registerStreamHandler 构造一个新的listener

listener, err := p2p.registerStreamHandler(ctx, proto)

if err != nil {

return nil, err

}

//构造新的listenerInfo

listenerInfo := ListenerInfo{

Identity: p2p.identity,

Protocol: proto,

Address: addr,

Closer: listener,

Running: true,

Registry: p2p.Listeners,

}

go p2p.acceptStreams(listenerInfo, listener)

//注册连接信息

p2p.Listeners.Register(listenerInfo)

return listenerInfo, nil

}

//接受流

func (p2p *P2P) acceptStreams(listenerInfo *ListenerInfo, listener Listener) {

for listenerInfo.Running {

//一个有好的 远程 连接

remote, err := listener.Accept()

if err != nil {

listener.Close()

break

}

}

//取消注册表中的p2p侦听器

p2p.Listeners.Deregister(listenerInfo.Protocol)

}

// CheckProtoExists检查是否注册了协议处理程序

// mux处理程序

// CheckProtoExists checks whether a protocol handler is registered to

// mux handler

func (p2p *P2P) CheckProtoExists(proto string) bool {

protos := p2p.peerHost.Mux().Protocols()

for _, p := range protos {

if p != proto {

continue

}

return true

}

return false

}

ipfs 是什么项目是国家许可的吗?

ipfs不是项目，而是星际文件系统。

星际文件系统是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。在IPFS网络中的节点将构成一个分布式文件系统。它是一个开放源代码项目，自2014年开始由Protocol Labs在开源社区的帮助下发展。其最初由Juan Benet设计。

相关信息：

在2014年，IPFS协议利用比特币区块链协议和网络基础设施的优势来存储不可更改的数据，移除网络上的重复文件，以及获取存储节点的地址信息——用以搜索网络中的文件。

当前的实现采用Go和JavaScript，并有Python的实现正在发展。Go实现被认为是开发正式规范时的“参考实现”。

IPFS 一个分布式系统，用于存储和访问文件、网站、应用程序和数据

《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的IPFS 是一个分布式系统，用于存储和访问文件、网站、应用程序和数据。

而且，当您使用 IPFS 时，您不只是从其他人那里下载文件——您的计算机也有助于分发它们。当您在几个街区外的朋友需要相同的 Wikipedia 页面时，他们可能会像从您的邻居或任何使用 IPFS 的人那里一样从您那里获得它。

IPFS 不仅可以用于网页，还可以用于计算机可能存储的任何类型的文件，无论是文档、电子邮件，甚至是数据库记录。

可以从不由一个组织管理的多个位置下载文件：

最后一点实际上是 IPFS 的全名： InterPlanetary File System 。我们正在努力建立一个系统，该系统可以在不连贯或相隔很远的地方工作，就像行星一样。虽然这是一个理想主义的目标，但它让我们努力工作和思考，几乎我们为实现这一目标而创造的一切在家里也很有用。

IPFS 是一个点对点 (p2p) 存储网络。可以通过位于世界任何地方的对等点访问内容，这些对等点可能会传递信息、存储信息或两者兼而有之。IPFS 知道如何使用其内容地址而不是其位置来查找您要求的内容。

理解 IPFS 的三个基本原则：

这三个原则相互依赖，以启用 IPFS 生态系统。让我们从 内容寻址 和内容的唯一标识开始。

互联网和您的计算机上都存在这个问题！现在，内容是按位置查找的，例如：

相比之下，每条使用 IPFS 协议的内容都有一个 内容标识符 ，即 CID，即其 哈希值 。散列对于它所来自的内容来说是唯一的，即使它与原始内容相比可能看起来很短。

有向无环图 (DAG)

IPFS 和许多其他分布式系统利用称为有向无环图的数据结构 （打开新窗口），或 DAG。具体来说，他们使用 Merkle DAG ，其中每个节点都有一个唯一标识符，该标识符是节点内容的哈希。

IPFS 使用针对表示目录和文件进行了优化的 Merkle DAG，但您可以通过多种不同的方式构建 Merkle DAG。例如，Git 使用 Merkle DAG，其中包含许多版本的存储库。

为了构建内容的 Merkle DAG 表示，IPFS 通常首先将其拆分为 块 。将其拆分为块意味着文件的不同部分可以来自不同的来源并可以快速进行身份验证。

分布式哈希表 (DHT)

要查找哪些对等方正在托管您所追求的内容（ 发现 ），IPFS 使用分布式哈希表或 DHT。哈希表是值键的数据库。 分布式 哈希表是一种表在分布式网络中的所有对等方之间拆分的表。要查找内容，您需要询问这些同行。

libp2p项目 （打开新窗口）是 IPFS 生态系统的一部分，它提供 DHT 并处理对等点之间的连接和交谈。

一旦你知道你的内容在哪里（或者更准确地说，哪些对等点正在存储构成你所追求的内容的每个块），你就可以再次使用 DHT 来查找这些对等点的当前位置（ 路由 ）。因此，要获取内容，请使用 libp2p 查询 DHT 两次。

然而，这确实意味着 IPFS 本身并没有明确保护 有关 CID 和提供或检索它们的节点的知识。这不是分布式网络所独有的。在 d-web 和 legacy web 上，流量和其他元数据都可以通过可以推断出很多关于网络及其用户的方式进行监控。下面概述了这方面的一些关键细节，但简而言之：虽然 节点之间 的 IPFS 流量是加密的，但这些节点发布到 DHT 的元数据是公开的。节点宣布对 DHT 功能至关重要的各种信息——包括它们的唯一节点标识符 (PeerID) 和它们提供的数据的 CID——因此，关于哪些节点正在检索和/或重新提供哪些 CID 的信息是公开的可用的。

加密

网络中有两种类型的加密： 传输加密 和 内容加密 。

在两方之间发送数据时使用传输加密。阿尔伯特加密文件并将其发送给莱卡，莱卡在收到文件后对其进行解密。这会阻止第三方在数据从一个地方移动到另一个地方时查看数据。

内容加密用于保护数据，直到有人需要访问它。Albert 为他的每月预算创建了一个电子表格，并用密码保存它。当 Albert 需要再次访问它时，他必须输入密码才能解密文件。没有密码，Laika 无法查看该文件。

IPFS 使用传输加密，但不使用内容加密。这意味着您的数据在从一个 IPFS 节点发送到另一个节点时是安全的。但是，如果拥有 CID，任何人都可以下载和查看该数据。缺乏内容加密是一个有意的决定。您可以自由选择最适合您的项目的方法，而不是强迫您使用特定的加密协议。

如果您精通命令行并且只想立即启动并运行 IPFS，请遵循此快速入门指南。请注意，本指南假定您将安装 go-ipfs，这是用 Go 编写的参考实现。

ipfs将其所有设置和内部数据存储在称为 存储库的目录中。 在第一次使用 IPFS 之前，您需要使用以下ipfs init命令初始化存储库：

如果您在数据中心的服务器上运行，则应使用server配置文件初始化 IPFS。这样做会阻止 IPFS 创建大量数据中心内部流量来尝试发现本地节点：

您可能需要设置大量其他配置选项 — 查看完整参考 （打开新窗口）更多。

后面的散列peer identity:是您节点的 ID，与上面输出中显示的不同。网络上的其他节点使用它来查找并连接到您。如果需要，您可以随时运行ipfs id以再次获取它。

现在，尝试运行在ipfs init. 那个样子ipfs cat /ipfs/ /readme。

您应该看到如下内容：

您可以 探索 存储库中的其他对象。特别是quick-start显示示例命令尝试的目录：

准备好将节点加入公共网络后，在另一个终端中运行 ipfs 守护程序，并等待以下所有三行显示您的节点已准备好：

记下您收到的 TCP 端口。如果它们不同，请在下面的命令中使用您的。

现在，切换回原来的终端。如果您已连接到网络，您应该能够在运行时看到对等方的 IPFS 地址：

这些是 /p2p/ .

现在，您应该能够从网络中获取对象了。尝试：

使用上述命令，IPFS 在网络中搜索 CIDQmSgv...并将数据写入spaceship-launch.jpg桌面上调用的文件中。

接下来，尝试将对象发送到网络，然后在您喜欢的浏览器中查看它。以下示例curl用作浏览器，但您也可以在其他浏览器中打开 IPFS URL：

您可以通过转到 来查看本地节点上的 Web 控制台localhost:5001/webui。这应该会弹出一个这样的控制台：

Web 控制台显示可变文件系统 (MFS)中的文件。MFS 是内置于 Web 控制台的工具，可帮助您以与基于名称的文件系统相同的方式导航 IPFS 文件。

当您使用CLI 命令ipfs add ...添加文件时，这些文件不会自动在 MFS 中可用。要查看您使用 CLI 添加的 IPFS 桌面中的文件，您必须将文件复制到 MFS：

—END—

开源协议：MIT License

开源地址：

「官方」总结2021的IPFS:成为Web3主流势头的支柱

原文：

Web3 应用程序在 2021 年的受欢迎程度飙升。该技术用例的增长也为支持它们的基础设施带来了更大的需求。 IPFS 已成为开发人员和用户在新兴 Web3 生态系统中使用的解决方案不可或缺的一部分。 网络统计：存储在 IPFS 上的 NFT：15M+每周唯一活跃 IPFS 节点：230K+ipfs.io 网关用户每周：370 万+ipfs.io 每周网关请求：805M+

2021 年合作与整合

拥有 IPFS 和NFT.Storage等工具 , Web3.存储 , 和Estuary 在后端使项目能够提供分散存储功能作为其产品的一部分。

让我们来看看一些最值得注意的应用程序：

1 Opensea 集成 NFT.Storage 以实现安全、平台范围的 NFT 持久性

OpenSea 是去中心化网络上最大的 NFT 市场之一。它合作了 与 IPFS 和 FIlecoin 集成 NFT.Storage 并允许用户“冻结”他们的 NFT 元数据。这个过程允许创作者真正去中心化他们的 NFT，将权力交还给创作者，而不是托管者。

如今， OpenSea 用户可以创建不可变的 NFT 数据以持久存储在 Filecoin 的区块链上，并通过 IPFS 内容 ID 完成检索数据的寻址。 IPFS 内容寻址通过消除“地毯拉动”或 NFT 元数据错位的可能性，为 NFT 托管提供了完美的解决方案。

2 Brave 在其正在进行的 Web3 集成中添加了对 IPFS 的本地支持

在包含自己的加密货币钱包之后，Brave 通过集成 IPFS，继续为其桌面 Web 浏览器添加 Web3 功能。 现在允许用户通过本地解析 IPFS 地址来访问存储在协议上的内容。

整合是多年合作的结果 两个团队之间的合作， 目标是让最终用户尽可能地访问 IPFS。这是朝着将 IPFS 转变为所有浏览器最终可能支持的公认互联网标准迈出的一大步。

3 Opera 扩展了对 IPFS 协议寻址的支持

Opera 于 2020 年首次在其 Android 浏览器中添加了对 IPFS 的支持 。今年，它将相同的功能扩展到其Opera Touch iOS 用户的浏览器，允许他们导航到 ipfs:// 和 ipns:// 地址。

4 Pinata 让任何人都可以轻松利用 IPFS

这种固定和文件管理服务允许用户以简单无缝的方式存储区块链经常引用的内容。 Pinata 充分利用IPFS 固定服务 API 将内容发布到 IPFS 网络，允许基于 CID 的去中心化存储和高效检索 。

5 ScalaShare 通过 IPFS 为 Web3 带来了安全的文件共享

互联网上用户之间的文件共享始于 P2P 共享，但ScalaShare 带来了 在 IPFS 的帮助下将此功能应用于 Web3。 对于那些不愿意将数据交给大公司的人来说，这个简单的开源工具可能会成为首选的文件存储系统。

6 Audius 依靠 CID 按需流式传输音乐

Audius 将 Web3 上的音乐流媒体服务带入了一个新的方向。 Audius使用 IPFS 集成来存储和检索数据 可以确保没有断开的曲目链接，并且所有音乐都交付给用户，而不依赖于集中式服务器 。

IPFS 的 CID 是确保此音乐流媒体服务正常运行并继续使用的关键 流行的 Web 2.0 应用程序（如 TikTok）上的 Web3 基础架构。

7 Palm 在其可持续的 NFT 平台上使用 IPFS 进行存储

这个相对较新的 NFT 工作室最近与 IPFS 合作。Palm 具有用于生成 NFT 的可持续架构。它使用基于代币的经济来维持具有快速交易时间和低gas费用的生态系统，所有这些都基于节能技术。 IPFS 提供了它需要的解决方案，以确保用户始终可以访问他们的工作 。

8 Valist 信任 IPFS 以实现安全的 Web3 软件分发

通过网站或应用商店发布软件有时会引入安全问题，正如 2020 SolarWinds 攻击所证明的那样。Valist通过允许开发团队以 Web3-native 方式分发软件来解决这个问题。 IPFS 通过提供大量开箱即用的安全保证，充当 Valist 的主要存储层。

9 Snapshot 确保 DAO 投票过程通过 IPFS 去中心化

流行的 DAO 投票系统快照 依赖 IPFS 作为其基础设施的核心部分。 它允许 DAO 成员通过去中心化投票过程就特定协议提案达成共识。快照是从产品到协议的一切社区治理不断增长的空间中最常用的工具之一

技术更新

2021 年还见证了 IPFS 工作方式的多项技术更新。其中的核心是：

1 IPFS 0.11.0

这是面向 Go 开发人员的 IPFS 实现。除了重要的修复之外， 最新版本还改进了 UnixFS 分片和 PubSub 实验以及对 Circuit-Relay v2 的支持 。在这一年中，还进行了其他改进，例如：

对 go-ipfs 的 IPLD 内部结构的更改使使用非 UnixFS DAG 更容易提供多种新命令和配置选项网关支持通过 DAG 导出端点下载任意 IPLD 图自定义 DNS 解析器支持非 ICANN DNSLink 名称单独打包的迁移为 Apple M1 硬件构建固定服务的 WebUI 支持远程固定服务更快的固定和取消固定

2 JS IPFS 0.60.0

JS IPFS 是基于 JavaScript 的类似实现。 它缓解了将 IPFS 数据与 JavaScript 应用程序链接的问题，允许开发人员使用它来本地访问 IPFS 数据 。最新版本包括重要的错误修复，并且全年进行了重要的改进，例如：

ESM 和 CJS 双重发布一个更简单的 globSource APIPubSub 支持解决浏览器连接限制ipfs.get 上的压缩包输出默认从 RSA 切换到 Ed25519Dag 导入导出实现更好的类型定义启用 NAT UPnP 打孔在 ipfs-http-client 中添加了对支持远程固定服务的支持

3 IPFS 集群 0.14.1

用于设置和运行 IPFS 集群的源代码 。这个开源发行版向更多用户和开发人员打开了 IPFS 的世界。在这一年中，它收到了更新，包括：

提高可以列出 pinset 的速度将内容迁移到新集群时更灵活CAR导入支持批量固定摄取对 Badger 数据存储的自动垃圾收集

为了更好地理解为什么这些改进很重要，请务必查看本技术指南 到 IPFS。

采用的下一步

尽管 IPFS 在去年取得了长足的进步，但仍有增长空间。新的合作伙伴关系和进步将是更广泛的 Web3 可用性的关键。 随着越来越多的主流用户意识到对去中心化互联网的需求，对 IPFS 等工具的需求将会增加 。随着他们继续进入这个领域，我们将看到 2022 年会带来什么。