Разделить большой файл XML по определенному узлу на более мелкие файлы
У меня есть файл XML с 1 ГБ (около 6000000 строк). Цель состоит в том, чтобы разбить этот файл на более мелкие .xml файлы с более или менее 20000 строками в каждом.
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE ICECAT-interface SYSTEM "http://data.icecat.biz/dtd/files.index.dtd">
<!-- source: Icecat.biz 2012 -->
<ICECAT-interface xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="http://data.icecat.biz/xsd/files.index.xsd">
<files.index Generated="20120418012252">
<file path="export/level4/PT/726463.xml" Product_ID="726463" Updated="20110815090811" Quality="ICECAT" Supplier_id="393" Prod_ID="174174" Catid="575" On_Market="0" Model_Name="Caplio R4 6.0MPix Silver" Product_View="4052" HighPic="http://images.icecat.biz/img/norm/high/726463-490.jpg" HighPicSize="102843" HighPicWidth="800" HighPicHeight="600" Date_Added="20070219000000">
<EAN_UPCS>
<EAN_UPC Value="4961311027048" />
</EAN_UPCS>
</file>
...
<file path="export/level4/PT/738860.xml" Product_ID="738860" Updated="20101217151007" Quality="ICECAT" Supplier_id="169" Prod_ID="HEJ423020F9AT0C" Catid="219" On_Market="0" Model_Name="Endurastar J4K30" Product_View="1160" HighPic="http://images.icecat.biz/img/norm/high/738860-3355.jpg" HighPicSize="52197" HighPicWidth="175" HighPicHeight="212" Date_Added="20070219000000"></file>
</files.index>
</ICECAT-interface>
Для подобных ситуаций я использовал split или grep, но в данном конкретном случае это становится сложнее:
1)
Процесс расщепления должен происходят под определенным именем узла, , например, </file> для сохранения целостности файла.
2)
Файлы назначения должны содержать header и footer, чтобы сделать файл действительным и правильно читаемым.
HEADER
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE ICECAT-interface SYSTEM "http://data.icecat.biz/dtd/files.index.dtd">
<!-- source: Icecat.biz 2012 -->
<ICECAT-interface xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="http://data.icecat.biz/xsd/files.index.xsd">
<files.index Generated="20120418012252">
FOOTER
</files.index>
</ICECAT-interface>
3)
Наконец, мое отсутствие решений эта проблема связана с тем, что это «действие» будет повторяться время от времени по расписанию cron.
Примечание: Файлы назначения могут иметь любое имя, каталог позволяет предположить, что он совпадает с местом выполнения скрипта.
1 ответ
Одним из решений является использование Saxon-EE, которое поддерживает потоковую передачу. Например
<xsl:stylesheet version="3.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:mode streamable="yes" on-no-match="shallow-copy"/>
<xsl:template match="file">
<xsl:result-document href="??????"
doctype-system="http://data.icecat.biz/dtd/files.index.dtd">
<ICECAT-interface xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:noNamespaceSchemaLocation="http://data.icecat.biz/xsd/files.index.xsd">
<files.index Generated="20120418012252">
<xsl:copy-of select="."/>
</files.index>
</ICECAT-interface>
</xsl:template>