戻る『GiGA CHANNEL Module APX-740』詳細
『GiGA CHANNEL Module APX-740』の内部ブロック図を 図９に示します。APX-740ではPCI Expressのインターフェイスとしてインテル社製『41210』を使用しています。 『41210』はPCI ExpressからPCI-Xへブリッジするデバイスとなっており、PCI-X (133MHz/64bit)バスがFPGAのインターフェイスとして使用されています。 PCI Expressからのデータは２つのFPGAを介して3.125Gbps x2チャンネルの光通信部から外部へ送信されます。 光通信部にはファイバーチャネル準拠の光モジュール『AFBR-57R5AP』 （アジレントテクノロジー社製）を使用しオリジナルプロトコルによる通信を行います。 パケットの生成及び解析はハードウェア処理（FPGA）となりますので、ユーザはPCI Expressのメモリ空間へアクセスする要領でボード間の通信が可能となります。
PCI Express周辺の回路
図10 (PCI Express周辺回路)にPCI Express周辺の回路図を示します。PCI Express ×8ですのでコネクタから『41210』までの間は差動信号16対で接続されています。基板設計仕様（抜粋）が表６となります。PCI Expressの仕様とデバイスのデザインルールを考慮し、主にインピーダンスコントロールと配線長に関して規定をしています。基板外形とアドインカードのカードエッジ（コネクタ）部分は図11(PCI Express基板外形寸法)の様になっています。また実際の基板写真を図12に示します。
| 表６(１) PCI Express周辺の基板層構成 | ||
層 |
面 |
信号 |
L1 |
部品面 |
PCI Express(受信) |
L2 |
内層 |
GND |
L3 |
内層 |
+5V |
L4 |
内層 |
GND |
L5 |
内層 |
GND |
L6 |
内層 |
+5V |
L7 |
内層 |
GND |
L8 |
半田面 |
PCI Express(送信) |
| 表６(２) PCI Expressの配線ルール | ||
| インピーダンス コントロール |
差動:100Ω±20%(シングルエンド:60Ω) | |
| 等長 | ペア(+と-):0.127mm以下、レーン※:50.8mm以下 | 受信と送信の間は問わない |
| 配線長 | 90mm以下 | |
| Via数 | 0個(受信),1個(送信) ただし、ペアのVia位置は等しくなるようにしてください。 |
|
| 他の信号との距離 | 同じ方向の信号:1.02mm以上 異なる方向の信号:0.56mm以上 PCI Express以外:0.64mm以上 |
ペア(+と-)間は除く |
APX-740今後の課題
本ボードはホストバスとしてPCI Express x8ではありますが内部バスがPCI-X133MHz/64bitとなっているため ｘ8の帯域をフルに活用する事が出来ません。設計当初はデバイスの選択肢がありませんでしたが、 今後の設計ではPCIExpress PHYチップなどを活用した、PCIExpressの帯域を生かせる回路構成の検討が必要です。 また通信部分も１チャンネルあたり3.125Gbpsとなっていますが、 Virtex4やStratixIIGXを使用する事により更なる高速化が必要と考えています。
その他補足資料
PCI Expressを実現できるFPGAについて
最近のFPGAではGbpsクラスの高速シリアルインターフェイスを内蔵するデバイスが多数存在します。 代表的なものとしてXILINX社製『VirtexIIPro』,『Virtex4』や ALTERA社製『StratixGX』,『StratixIIGX』などが挙げられます。 これらのデバイスを用いて１チップでPCIExpressを実現するために 各メーカからIPが販売されています。 高速シリアルインターフェイスを内蔵していないFPGAでもPCI ExpressPHYチップと組み合わせる事で実現可能です。 どのような手法で実現するか迷うところですが、FPGAメーカとPHYチップメーカが協力する内容のニュースをよく見かける現状から、 今後PHYチップとの組み合わせが主流ではないかと考えています。
6.25Gbps光通信路について
ファイバーチャネル準拠の物理層を用い、１チャンネルあたり3.125Gbpsを２チャンネル使用して 合計6.25Gbpsの通信路を実現しています。 ファイバーチャネルは4Gbpsが主流になりつつあり、１世代前の２Gbpsの物と比べても 比較的安価に光モジュールを入手できるようになってきました。 本来であれば１チャンネルあたり4.25Gbpsで動作させたいところですが、 FPGAの仕様により3.125Gbpsに留めて使用しています。
おわりに
ＣＰＵの処理能力は向上していますが、CPU周辺に接続されるIO系のデバイスとのデータ通信に限界が生じ、 PCI Expressなどのシリアル接続に移行されます。 次世代高性能サーバ向けメモリも、メモリコントローラとDIMM間をシリアル接続する FB-DIMM（Fully Buffered DIMM）が登場しています。 今までは、ケーブルの省配線が主目的であったシリアル接続が、 ボード内の省配線化と超高速データ転送への伝送路として注目され適用範囲が広がりつつあります。 今後、PCI Expressも含めシリアル化が進み、それを実現させるデバイスも数多くリリースされ、 設計者は注目して行く必要があります。
『参考文献』
・ PCI Express Base Specification Revision1.0a
・ PCI Express Electromechanical Specification Revision 1.0a
・ PCI-X Electrical and Mechanical Addendum to the PCI Local Bus Specification Revision 2.0a
・ Interface 2003年 7月号『高速バスシステムの徹底研究』
・ Interface 2004年 1月号『基礎からわかるPCI＆PCI-X活用技法』図研セミナ
・ Design Wave Magazine2005年5月号 別冊付録『ギガビット伝送技術ガイド』
・ 株式会社PALTEK『PCI-ExpressソリューションセミナVer1.0』