ノート/シーケンサ出力の解読

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

11/08/10　AB1ファイル（ABIF）の解読　 †

拡張子 AB1 (AB-one) や ABI (AB-ai) の付いたファイルは、Applied Biosystems社の 3100/3130/3500/3730 (xlを含む)シーケンサの出力として得られるデータで、下記の資料にある書式を持つ、バイナリファイルである。

http://www6.appliedbiosystems.com/support/software_community/ABIF_File_Format.pdf (リンク切れ？)

https://projects.nfstc.org/workshops/resources/articles/ABIF_File_Format.pdf

サンプルデータ（東邦大学理学部生物分子科学科岸本准教授のご好意による）

フォーマットにのっとって実データを解釈してみよう。

↑

ヘッダー部分の解釈 †

フォーマットを簡単に整理すると、

先頭の128バイトは、Headerであり、その内容は次の通り。
- 先頭４バイトは文字'A', 'B', 'I', 'F'　（16進で0x41, 0x42, 0x49, 0x46）であり、このバイト順に並ぶ。次の2バイトはバージョン番号　101（10進で101、16進で0x0065）である。
- 次の28バイトに、「ディレクトリエントリー」が１つ入っている。構造は、
```
struct DirEntry{
    SInt32 name;          //tag name                      この先頭エントリでは'tdir'
    SInt32 number;        //tag number                    この先頭エントリでは1
    SInt16 elementtype;   //element type code             この先頭エントリでは1023
    SInt16 elementsize;   //size in bytes of one element  この先頭エントリでは28
    SInt32 numelements;   //number of elements in item
    SInt32 datasize;      //size in bytes of item
    SInt32 dataoffset;    //item's data, or offset in file
    SInt32 datahandle;    //reserved
}
```
  たとえば次のようなデータ（ファイルの16進ダンプ、od -Ax -txCa ABIF.ab1 > ABIF.ab1.hexで作成）の場合、
```
000000  41  42  49  46  00  65  74  64  69  72  00  00  00  01  03  ff
         A   B   I   F nul   e   t   d   i   r nul nul nul soh etx del
000010  00  1c  00  00  00  77  00  00  0e  00  00  03  3a  cf  00  00
       nul  fs nul nul nul   w nul nul  so nul nul etx   :   O nul nul
```
  DirEntryに当てはめると、
  - SInt32 name 'tdir'
  - SInt32 number 0x0000 0x0001 (1)
  - SInt16 elementtype 0x03ff (10進で1023)
  - SInt16 elementsize 0x001c （10進で28)
  - SInt32 numelements 0x0000 0x0077 (10進で112個)
  - SInt32 datasize 0x0000 0x0e00 (10進で3584バイト、reserved spaceがあって112x28=3136より大きい)
  - SInt32 dataoffset 0x0003 0x3acf
  - SInt32 datahandle 0x0000 0x....
- その後、47個の2バイトエントリー（内容は0）が続く。ここはreservedであり、読み込み時は無視する。

上記のDirEntryの中の、dataoffsetの位置（上記の場合、ファイル先頭から数えて0x0003 3acfバイト目）のところに、次の段のディレクトリ情報が入っている。
次の段のディレクトリは上記のディレクトリ情報によれば、112個の28バイトの要素からなる。そのエントリーを読んでみると

033ac0  d8  27  e7  27  f3  28  04  28  0e  28  18  28  21  28  2e  41
         X   '   g   '   s   ( eot   (  so   ( can   (   !   (   .   A
033ad0  45  50  74  00  00  00  01  00  04  00  02  00  00  00  01  00
         E   P   t nul nul nul soh nul eot nul stx nul nul nul soh nul
033ae0  00  00  02  2b  34  00  00  00  00  00  00  41  45  50  74  00
       nul nul stx   +   4 nul nul nul nul nul nul   A   E   P   t nul
033af0  00  00  02  00  04  00  02  00  00  00  01  00  00  00  02  2b
       nul nul stx nul eot nul stx nul nul nul soh nul nul nul stx   +
033b00  34  00  00  00  00  00  00  41  50  46  4e  00  00  00  02  00
         4 nul nul nul nul nul nul   A   P   F   N nul nul nul stx nul
033b10  12  00  01  00  00  00  13  00  00  00  13  00  01  90  19  00
       dc2 nul soh nul nul nul dc3 nul nul nul dc3 nul soh dle  em nul
033b20  00  00  00  41  50  58  56  00  00  00  01  00  13  00  01  00
       nul nul nul   A   P   X   V nul nul nul soh nul dc3 nul soh nul
033b30  00  00  02  00  00  00  02  32  00  00  00  00  00  00  00  41
       nul nul stx nul nul nul stx   2 nul nul nul nul nul nul nul   A
033b40  50  72  4e  00  00  00  01  00  13  00  01  00  00  00  17  00
         P   r   N nul nul nul soh nul dc3 nul soh nul nul nul etb nul

これを解読すると、

[0] name AEPt^A, tagnum 1, e_type 4, e_size 2, num_e 1, datasize 2, offset 2b340000
  11060 0
[1] name AEPt^B, tagnum 2, e_type 4, e_size 2, num_e 1, datasize 2, offset 2b340000
  11060 0
[2] name APFN^B, tagnum 2, e_type 18, e_size 1, num_e 19, datasize 19, offset 19019
>>>  ^RKB_3730_POP7_BDTv3
[3] name APXV^A, tagnum 1, e_type 19, e_size 1, num_e 2, datasize 2, offset 32000000
2^@
[4] name APrN^A, tagnum 1, e_type 19, e_size 1, num_e 23, datasize 23, offset 3005e
>>>  06IsUD￣，??8or96-PCRstop^@
[5] name APrV^A, tagnum 1, e_type 19, e_size 1, num_e 2, datasize 2, offset 37000000
7^@
[6] name APrX^A, tagnum 1, e_type 2, e_size 1, num_e 4560, datasize 4560, offset 30075
  >>>  （略）

のようになっている。但し、

offsetは、datasizeが4バイトまでのデータの場合はそのまま含むと解釈し、4バイトを超えるデータの場合はファイル内の位置を示すオフセットと解釈する。上記[0][1][3][5]はdatasizeが4までであるからその値が書かれていると解釈し、[2][4][6]はオフセットが書かれていると解釈する。上記の>>>の後ろはそのオフセットの指す先を読み出したものである。
element typeは（上記ABIFファイルのフォーマットのマニュアルによると）
- e_type 4　＝　2バイト(short)型の符号付整数
- e_type 18　＝　(Pascal型文字列) = 1バイトの文字数データ＋1バイト(char)型の文字列
- e_type 19　＝　1バイト(char)型のASCII文字（列）
- e_type 2　＝　1バイト(char)型のASCII文字（列）か符号付8ビット整数などである。（以下略）

このようにして、データを読み取ることができる。サンプルプログラムをreadabif.cに掲げる。あくまでサンプルである。

↑

データの解釈 †

ABIFの情報は、シーケンスに関する値が書かれており、それは次のようなタグに対応する。（一部のみ紹介）

tag name = "DATA", tag number = 1～4　⇒　シーケンサが読み取ったraw data。　tag number 1～4まで４色分書かれており、A/G/C/T成分にそれぞれ対応する。１つのデータは2バイト（signed short）で、numelements個が並んでいる。
tag name = "DATA", tag number = 9～12　⇒　シーケンサ内で読み取り値補正などの作業をした結果の値。読み方はtag 1～4と同じ。numelements個並んでいる。raw dataから見るとかなり個数が減っている。
tag name = "PLOC", tag number = 2　⇒　シーケンサ内で各塩基のピーク位置を検出した結果。上記 "DATA" の 9～12 上の場所（何番目のデータ化）を指している数値が並んでいる。たとえば　2 11 21 36 43 52 59 ... であるが、これはDATA 9～12上の、位置2番目、11番目、21番目、36番目、... を塩基位置の値として拾え、と指示していることになる。2バイト（signed short）で表されている。また、このPLOCのデータ個数（numelements）が、配列の塩基の個数と一致する。
tag name = "PBAS", tag number = 2　⇒　シーケンサが判定した塩基名（A/G/C/T）の列。文字（A/G/C/T、１バイト、char型）がnumelements個並んでいる。
その他のタグはマニュアルを見ること

↑

追加情報 †

08/08　ABIFのpeakのindexの意味　⇒　Bio::SangerChromatogram In: lib/bio/db/sanger_chromatogram/chromatogram.rb
08/06　PythonによるABIFリーダー

最新の5件

11/08/10 AB1ファイル（ABIF）の解読 †

ヘッダー部分の解釈 †

データの解釈 †

追加情報 †

11/08/10　AB1ファイル（ABIF）の解読　 †